加内存不是绝对必要，
LLM的算力对于GPU来说不是瓶颈
问题在于怎么在最短时间把算好的东西挪走
把还没算的部分加载进来
所以实际问题是计算单元的吞吐量
也就是显存/内存吞吐量
当然如果你的PCIe足够宽RAID足够大
即使只有4G内存也可以跑的嗖嗖的
【 在 chunhui 的大作中提到: 】
: 加内存加性能都意义不大了。当务之急是如何本地跑ai，而且要本地的ai不次于gpt3.5....
--
修改:tgfbeta FROM 60.24.248.*
FROM 60.24.248.*