搞大模型还是弄个像样的GPU吧，CPU推理小点的模型其实生成速度也还可以，但是预处理速度不行。便宜点的卡可以考虑二手的 AMD Instinct MI50 16G/32G, 新卡可以看看 Intel Arc A770 16G 还有摩尔线程。如果 CPU 是你说的 6 代 i7 的话，倒是也不算慢。
【 在 dadou 的大作中提到: 】
: 以前就文档看个电影，现在随大流弄弄大模型，像语音识别之类，感觉好慢，不知道是不是硬件不行，
: i7 3.4G 显卡GT270 2G 内存16G 是不是主要是显卡不行？
--
FROM 114.254.9.*