噢，fp8才是满血
据说8卡H100云主机共640G的显存，跑671b Q4速度24tps。
如果跑fp8速度要砍半吧？
【 在 alexlaugb 的大作中提到: 】
: q8不是满血吧，fp8才是，据说q8的答不对左木右乞那个问题
: 公司用直接买8卡h20机器吧，130万左右
:
: ...................
--
FROM 111.63.136.*