这叫quantization
能用int8就不用fp16，能用tf32就不用fp32
【 在 lyqcchl 的大作中提到: 】
: llama.cpp 确实这个感觉还是挺有前途的.
: 私人/私有化定制
: 如果还能导入私有数据,
: ...................
--
FROM 218.12.19.*