估算的话，干脆直接记 1就好了，也就是 7B-BF 就是 7 * 2 = 14 GB 的显存，因为除了参数，推理还需要另外的显存，溢出一点没坏处。


【 在 artech51 的大作中提到: 】
: 4090的话是不是跑不了34B？
--
FROM 222.129.3.*