没事你跑什么FP16
INT8 99%精度
【 在 lvsoft 的大作中提到: 】
: 我用4卡3090跑了下fp16版，最大token只能拉到88k，再多就爆显存了。然后这种情况下速度感觉也不够快，vllm跑了22token/s左右。
: 不过这个bench是google gemini写的，我对它不是很有信心，但也懒得去看细节了，姑且认为这个结果是对的吧。
:
--
FROM 124.79.118.*