671b 十几个token可以了吧。

我看他们测试AI-395，70b+q8的，每秒才几个token。


【 在 iwannabe 的大作中提到: 】
: 也就是个玩具的水平
: mac studio m3 ultra, 512g内存/显存， 671b q4_k_m， gpu和内存都跑满了，10几个
: tokens/s
: ...................
--
FROM 124.64.129.*