知识分子上最近有个AI的科学40人圆桌，有些报告和讨论挺有意思的。
港大马毅关于百模大战能耗惊人的报告我觉得很好，对于理解DS的创新也有帮助。
预训练的灾难性遗忘是个大问题，每次都需要重新从头训练，这是高成本的一大原因。DS的思路和模式显著降低了灾难性遗忘的影响，其重要性和文字的出现在人类进化史上的重要性还不能相比，但意义是相近的。

【 在 Jingweizz 的大作中提到: 】
: 现在看到的是结果，理论创新在哪里？
: 知识蒸馏的创新在哪里？如果是分布式，结构化，那么新的在哪里？
--
FROM 114.247.52.*