这个生成代码的效果怎么样？可用么？如果可以的话，有必要弄一个可以跑起来的笔记本在本地用。
【 在 tgfbeta 的大作中提到: 】
: https://github.com/ggerganov/llama.cpp/pull/1642
: M2 Max上7B模型达到40tok/s，完全使用GPU
: 13B 24tok/s
: ...................
--
FROM 117.133.52.*

那我不折腾了。如果能达到可用水准,宁可买个高配电脑部署一个本地的。
【 在 omelet 的大作中提到: 】
: 我自己试过GPT4All，里面的13B模型看评分的话很接近ChatGPT3.5的分数
: 但实际效果很差，主要是不支持用GPU跑
: 我的12700K跑起来很费劲，送进prompt风扇立马飚
: ...................
--
FROM 117.133.52.*

赞。我试试。。。
【 在 syssky 的大作中提到: 】
: 友提：已经有移动端运行的了，全平台覆盖
: https://github.com/mlc-ai/mlc-llm
: 应用商店搜mlc chat直接下载安装运行。
: ...................
--
FROM 117.133.52.*