大哥你在开玩笑么
能达到gpt3.5的水平?想多了
我本地M2 MacBook,20G内存,跑的是llama3 4bit量化
英文效果还可以,推理能力明显强于10b左右规模的其他模型吧
另外微软出的那个phi mini,那个参数规模才3.8b,你不要指望它能有多神奇
规模小的大模型,别梦想能有多牛的能力
【 在 chunhui 的大作中提到: 】
: 求详情。跑的啥模型?机器会不会长时间狂转?最重要的量化的版本使用效果能否达到gpt3.5的水准?
: 另外据说微软出了小模型性能很好。甚至可以在手机上跑。
--
FROM 222.129.4.*