Q4量化的吧？应该不算完全满血吧……

【 在 gofly 的大作中提到: 】
: 目前清华的开源方案一块24显存的显卡+512G内存，可以跑满血DS-R1
: 每秒好像是8tokens，不支持并发，个人可用
--
FROM 223.70.232.*