llama.cpp 确实这个感觉还是挺有前途的.
私人/私有化定制
如果还能导入私有数据,

原来只是大公司才能玩,现在普通人人手一支枪,还能放到手机里.
升级手机有动力了.

【 在 ArchLinux 的大作中提到: 】
: 我手上的 10 年前的 Haswell 4核的电脑，12GB内存，用 llama.cpp 跑 LLaMa 13B 是没问题的，最新版 llama.cpp 可以跑到大约每秒2个token.
:
--
修改:lyqcchl FROM 114.250.177.*
FROM 114.250.177.*