我没用它做太复杂的测试，主要是22token这速度还是不够快。
单卡4b倒是挺快的，我跟这个版本聊了几个小时。

总体感觉这货确实是很有实力的模型，这个体量实用度很高。当然距离claude还有很大的距离，但也算是突破实用阈值的模型了。
【 在 poocp 的大作中提到: 】
: 它思考过程还是挺久的，不过本地运行的智力水平已经满足很多场景了，我单张显卡让它改个小程序每次都要想2分多钟。最大词元数用的默认值4k。
: 你四张卡最大88k词元出现过长输入死循环吗？
:
--
FROM 117.135.80.*