试试2080ti
14b有39 token/s
32b有21 token/s



【 在 hiei 的大作中提到: 】
: 14b 是9G多
: 我用3070 8G显存的卡，速度能有9 token/s
: 这个速度可以正常用了
: ...................
--
修改:LYMing1986 FROM 115.171.216.*
FROM 115.171.216.*