llama.cpp全面支持Apple Silicon

水木社区手机版

主题:llama.cpp全面支持Apple Silicon
楼主|tgfbeta|2023-06-05 02:12:16|只看此ID
https://github.com/ggerganov/llama.cpp/pull/1642

M2 Max上7B模型达到40tok/s，完全使用GPU
13B 24tok/s
65B 5tok/s
--
FROM 111.163.122.*
1楼|omelet|2023-06-05 09:42:38|只看此ID
跟N卡比起来如何？
m芯片上GPU规模还是小很多吧？

【在 tgfbeta 的大作中提到: 】
: https://github.com/ggerganov/llama.cpp/pull/1642
: M2 Max上7B模型达到40tok/s，完全使用GPU
: 13B 24tok/s
: ...................
--
FROM 114.249.194.*
2楼|tgfbeta|2023-06-05 11:03:05|只看此ID
但是M1 Max有64GB统一内存可以玩
M1 Ultra如果花钱可以弄到128GB
这个N卡可能有些麻烦，不知道现在支持不支持组合几张N卡
【在 omelet 的大作中提到: 】
: 跟N卡比起来如何？
: m芯片上GPU规模还是小很多吧？
--
修改:tgfbeta FROM 60.24.249.*
FROM 60.24.249.*
3楼|tgfbeta|2023-06-05 11:08:05|只看此ID
貌似比3090的数值略弱

https://www.reddit.com/r/LocalLLaMA/comments/13h7cqe/detailed_performance_numbers_and_qa_for_llamacpp/

【在 omelet 的大作中提到: 】
: 跟N卡比起来如何？
: m芯片上GPU规模还是小很多吧？
--
FROM 60.24.249.*
4楼|tgfbeta|2023-06-05 11:19:14|只看此ID
按这个架势，过两年iPad上也许就能本地运行LLM了
【在 tgfbeta 的大作中提到: 】
: 貌似比3090的数值略弱
: https://www.reddit.com/r/LocalLLaMA/comments/13h7cqe/detailed_performance_numbers_and_qa_for_llamacpp/
--
FROM 60.24.249.*
5楼|omelet|2023-06-05 12:44:03|只看此ID
这么厉害么？
看功耗的话，已经很牛了啊

【在 tgfbeta 的大作中提到: 】
: 貌似比3090的数值略弱
: https://www.reddit.com/r/LocalLLaMA/comments/13h7cqe/detailed_performance_numbers_and_qa_for_llamacpp/
:
--
FROM 114.249.194.*
6楼|chunhui|2023-06-05 17:23:15|只看此ID
这个生成代码的效果怎么样？可用么？如果可以的话，有必要弄一个可以跑起来的笔记本在本地用。
【在 tgfbeta 的大作中提到: 】
: https://github.com/ggerganov/llama.cpp/pull/1642
: M2 Max上7B模型达到40tok/s，完全使用GPU
: 13B 24tok/s
: ...................
--
FROM 117.133.52.*
7楼|syssky|2023-06-05 18:51:24|只看此ID
友提：已经有移动端运行的了，全平台覆盖
https://github.com/mlc-ai/mlc-llm
应用商店搜mlc chat直接下载安装运行。

我的iphone 14 pro max实测可以6 token每秒输出，还是可以的。

【在 tgfbeta 的大作中提到: 】
: 按这个架势，过两年iPad上也许就能本地运行LLM了
--
修改:syssky FROM 106.121.166.*
FROM 106.121.166.*
8楼|omelet|2023-06-05 23:29:56|只看此ID
以后会不会出现采购一大堆Mac mini放在机房当集群用来跑llama，哈哈
以前有过用mini当服务器用的

【在 tgfbeta 的大作中提到: 】
: 貌似比3090的数值略弱
: https://www.reddit.com/r/LocalLLaMA/comments/13h7cqe/detailed_performance_numbers_and_qa_for_llamacpp/
:
--
FROM 114.249.194.*
9楼|omelet|2023-06-05 23:31:18|只看此ID
感觉除了openai的，其他的还是玩具属性大点

【在 chunhui 的大作中提到: 】
: 这个生成代码的效果怎么样？可用么？如果可以的话，有必要弄一个可以跑起来的笔记本在本地用。
--
FROM 114.249.194.*