确实，难道以后一个扫地机器人都要跑一套本地模型，根本没必要啊。
我公司就在搞GPU服务器集群，其他业务只要调用接口。
在终端跑模型，留给机器跑其他任务的资源基本都用光了，
比如我打游戏后台开个大模型实时翻译，一块24G显存的显卡基本就不行。
玩个小游戏GPU消耗都能起飞。。。
【 在 newway007 的大作中提到: 】
: 为啥你们都盯着mac跑ai
: 这有啥意义？你是干这个的嘛？
: 搞个服务器不香吗？mac就适合轻办公
: ...................
--
FROM 221.224.127.*