4bit/8bit quantization 好像对精确度影响挺大的
【 在 syssky 的大作中提到: 】
: 友提：已经有移动端运行的了，全平台覆盖
: https://github.com/mlc-ai/mlc-llm
: 应用商店搜mlc chat直接下载安装运行。
: ...................
--
FROM 60.24.249.*