越长训练越花时间和算力，效果也不是一定好，国内的超长上下文更多的时候只不过是一个噱头罢了
【 在 Xjt 的大作中提到: 】
: 无论是CodeGemma还是Llama3，都都是8K上下文。最搞笑的是Llama3-70b，居然也只有8k上下文
: 反观国内的开源比如QWen1.5，基本都几十K上下文了。铺天盖地的宣传大海捞针
: 这样的开源上明显的技术路线区别，是什么原因导致的呢？
--
FROM 113.227.191.*