机器人三大定律要派上用场了
【 在 qtpr (Transcendence constitutes selfhood.) 的大作中提到: 】
: 不断增加训练数据并不必然能不断提高深度学习和大模型的整体性能。事实上这类基于梯度的数据驱动模型的可解释性很差，没有人能预见新的训练数据会对模型之前“学到”的信息造成何种潜在影响。有时候，这种影响是剧烈而负面的，即所谓的“灾难性遗忘”。虽然最近大模型在文本理解和生成方面取得了明显的进步，但“幻觉”问题依然是普遍存在的，目前看不到有效的根治办法。一段由AI生成的文本是一本正经的胡说八道，也许问题不大。但是，一个由“智驾”控制的汽车操作序列，也是一本正经的胡说八道呢？呵呵。奉劝智驾吹们收敛一些。如果你们想自己当小白鼠，没人阻拦。但不要误导他人。
:
: An Empirical Study of Catastrophic Forgetting in Large Language Models During Continual Fine-tuning arXiv:2312.10549
:
--
FROM 36.112.195.*