你这只是加载，推理还要更多一点。反正按4k context len 12G算差不多。

【 在 ArchLinux 的大作中提到: 】
: “性能接近”这个说法其实没问题。然而用户要大内存并不是因为需要更好的性能，而是内存的确不够用。
: 就拿现在流行的大模型来说，用 llama.cpp 跑个 13B 4-bit 量化模型就要接近 8G 内存。
: https://github.com/ggerganov/llama.cpp#memorydisk-requirements
: ...................
--
FROM 101.254.182.*