- 主题:希望M4的Mac别再8G起步了
只要价格更便宜，多个选择有什么不好？
【 在 laputa2013 的大作中提到: 】
: 这都2024了，也该16G起步了吧。
发自「快看水母 于 DIO-AN00」
--
FROM 183.229.60.*
换个说法，其实就是新发布16G的机器卖上一代8G的价格，这是要苹果的命
【 在 Hakintosh 的大作中提到: 】
: 只要价格更便宜，多个选择有什么不好？
: 发自「快看水母 于 DIO-AN00」
--
FROM 221.224.127.*
70b就是700g个参数，就算是int4量化，最少也需要350G内存。60G咋可能跑得了。跑7b差不多。
【 在 chunhui (北瓜) 的大作中提到: 】
: 貌似不需要量化，直接跑。我听说的，没试。
: 【 在 Xjt 的大作中提到: 】
: : 60G跑什么模型？70b的int4量化版？
:
--
FROM 223.68.164.*
大模型跑在终端上就莫名其妙，放服务器通过api等方式提供服务，
客户端按需调用才是方向。每台设备跑个高不成低不就的模型，完全就是浪费。
【 在 ensonmj 的大作中提到: 】
: 70b就是700g个参数，就算是int4量化，最少也需要350G内存。60G咋可能跑得了。跑7b差不多。
--
FROM 221.224.127.*
本地大模型非常有用。云端ai服务有数据带宽限制以及隐私问题两个显著缺点，而本地模型就能解决这两个问题。
【 在 richiter (健康第一) 的大作中提到: 】
: 大模型跑在终端上就莫名其妙，放服务器通过api等方式提供服务，
:
: 客户端按需调用才是方向。每台设备跑个高不成低不就的模型，完全就是浪费。
:
--
FROM 221.71.133.*
第一个本地部署不是所有终端都得布，其次本地部署有更多显著的缺点。
【 在 dodd85 的大作中提到: 】
: 本地大模型非常有用。云端ai服务有数据带宽限制以及隐私问题两个显著缺点，而本地模型就能解决这两个问题。
--
FROM 221.224.127.*
70g个参数
你搞错了
【 在 ensonmj 的大作中提到: 】
: 70b就是700g个参数，就算是int4量化，最少也需要350G内存。60G咋可能跑得了。跑7b差不多。
--
FROM 60.24.248.*
本地部署除了吃硬件吃算力外还有什么缺点？而且又不是说有了本地ai后云端ai就不让用了，更不是说本地部署一定要强制开启。
就像计算器应用一样，现在几乎在任何常用的桌面或者移动系统里都已经普及了，你不愿意用就不用呗，也不碍你什么事。现在还有谁喊着要从win/macos ios/android里移除计算器应用的？
【 在 richiter (健康第一) 的大作中提到: 】
: 第一个本地部署不是所有终端都得布，其次本地部署有更多显著的缺点。
:
: 【 在 dodd85 的大作中提到: 】
: : 本地大模型非常有用。云端ai服务有数据带宽限制以及隐私问题两个显著缺点，而本地模型就能解决这两个问题。
--
FROM 221.71.133.*
吃算力还不算缺点么，不要钱的？
【 在 dodd85 的大作中提到: 】
: 本地部署除了吃硬件吃算力外还有什么缺点？而且又不是说有了本地ai后云端ai就不让用了，更不是说本地部署一定要强制开启。
: 就像计算器应用一样，现在几乎在任何常用的桌面或者移动系统里都已经普及了，你不愿意用就不用呗，也不碍你什么事。现在还有谁喊着要从win/macos ios/android里移除计算器应用的？
--
FROM 221.224.127.*
你嫌吃算力的话不开不就完了，或者买便宜的不支持本地模型的型号呗
【 在 richiter (健康第一) 的大作中提到: 】
: 吃算力还不算缺点么，不要钱的？
:
: 【 在 dodd85 的大作中提到: 】
: : 本地部署除了吃硬件吃算力外还有什么缺点？而且又不是说有了本地ai后云端ai就不让用了，更不是说本地部署一定要强制开启。
--
FROM 221.71.133.*