- 主题:虽然用不上,但心里觉得爽
这个需要本地的什么样的资源啊?
【 在 sgdf 的大作中提到: 】
: 装个llama 3,本地gpt4级别的ai
--
FROM 117.133.52.*
几十G不难。cpu和内存不需要多大么?macbook pro就可以装?
【 在 sgdf 的大作中提到: 】
: 有个几十G的硬盘空间即可,安装教程网上搜一搜
: - 来自 水木说
--
FROM 117.133.52.*
我刚才网上搜了一圈,有不少都说要显卡的。在macbook上跑用cpu,那mac的神经核是不是没用到。你用着感觉怎么样?给介绍一下,考虑是不是也装一个本地的。都说有gpt4水准,那搞一个本地的还是挺好的。
【 在 sgdf 的大作中提到: 】
: 统一内存的机器,内存48G的可以装70b的模型,小了就只能装8b的,但小的这个就达不到gpt4水准了
: - 来自 水木说
--
FROM 117.133.52.*
我搜了一圈,都是说安装8b的,没说70b的安装使用感受。就怕安装可以,但是使用起来毕竟卡,或者太热。
【 在 sgdf 的大作中提到: 】
: 我也是网上看到的,m系列的cpu都可以,主要看内存大小,好像速度还可以
: - 来自 水木说
--
FROM 117.133.52.*
所以我想调查一下使用感受,然后考虑是否下手。
现在也有小模型,据说性能不输gpt3.5。果真如此,是值得本地部署的。
【 在 sgdf 的大作中提到: 】
: 那是因为有48G以上内存的机器少啊,苹果的内存那么贵。
: - 来自 水木说
--
FROM 111.196.132.*