有一大类问题叫做Compositional Task,说得都是语言模型的局限。比如以下论文:
On the Paradox of Learning to Reason from data, 2022 (
https://arxiv.org/pdf/2108.04378.pdf)
Making Transformers Solve Compositional Tasks, 2022 (
https://arxiv.org/pdf/2205.11502.pdf)
一个最简单的例子就是做加法。如果你的训练数据集只有N位数以下的,而你用N位数以上的加法做测试,它基本就很难答对。
我试了一下,ChatGPT也有这问题:
-能答对的:12345+345678=?
-不能答对的:123453623645764+4546456575467687689=?
【 在 xiucaijiang 的大作中提到: 】
: 我正巧了解这块,人工智能虽说很强,但几乎都可以用数据拟合来综述,他并没有严格的逻辑推断,至少目前看不太像人类儿童的学习方式,更像是人云亦云的傻小子。
: 不知道你加入的信息,他是永久记住了(即加入后续的模型中),还是只是针对你的回答,进行了模型结果的微调。如果是前者,学习能力更强。
: 不过,相比语言模型的搜索排序,我们可能更重要的是他是否有人类的推断能力,例如:
: ...................
--
修改:LouisaSquare FROM 174.160.179.*
FROM 174.160.179.*