- 主题:什么样的配置，跑671b-Q8速度能达到32token/s
RT
公司要部署离线满精满血DS给大家用，预算未定。如果要使推理速度能跑到8t/s 32t/s 128t/s，分别需要多少经费？
--
FROM 111.63.136.*
q8不是满血吧，fp8才是，据说q8的答不对左木右乞那个问题
公司用直接买8卡h20机器吧，130万左右
【 在 Akyrum 的大作中提到: 】
:
: RT
: 公司要部署离线满精满血DS给大家用，预算未定。如果要使推理速度能跑到8t/s 32t/s 128t/s，分别需要多少经费？
#发自zSMTH@BRA-AL00
--
FROM 112.224.193.*
噢，fp8才是满血
据说8卡H100云主机共640G的显存，跑671b Q4速度24tps。
如果跑fp8速度要砍半吧？
【 在 alexlaugb 的大作中提到: 】
: q8不是满血吧，fp8才是，据说q8的答不对左木右乞那个问题
: 公司用直接买8卡h20机器吧，130万左右
:
: ...................
--
FROM 111.63.136.*