可以的。llama-cpp 这个项目就是专门为个人电脑设计的。只要一张显卡就可以跑起来。但是出 token 的速度有点慢。

后续可以来说说你有没有找到什么有趣的玩法。

【 在 abettor 的大作中提到: 】
:   rt
--
FROM 112.48.72.*