- 主题:Windows 12、AI PC可能会带来近年最强换机潮
这个包括后面的都在讨论啥啊？
现在本地玩大模型大部分都是量化跑的啊，很多都量化到4bit。有好显卡就gpu上跑，12G的3060就能跑13B的大模型，3090/4090都能跑34B了，跑得飞快。
没显卡或者显存不够，就是cpu或者显卡/cpu混合跑。
苹果的统一内存带宽高也可以加速，只不过速度比不上显卡（当量化后完全能在显存里面跑的时候），比cpu或者cpu显卡混合强。
能忍受慢配个64G/128G的高端pc，也可以用cpu跑 70b模型，大概每秒吐1~2.5个token。
本地几乎没人用fp16跑大语言模型，然后这些开放模型又不分国内国外，怎么限制国内不能跑?
【 在 Acui 的大作中提到: 】
: 骁龙X Elite表现突出。它能在设备上运行拥有超过130亿参数的生成式AI模型，将AI处理能力提升了4.5倍。这种卓越的AI性能，使得生成式AI不仅是数据中心的特权，更是个人PC终端的实力展现。
: 这句话怎么理解
:
--
FROM 101.254.182.*
原新闻没提到win 12有AI功能啊？
感觉这两个算半独立促进换机潮的因素？
英文本地大模型其实挺厉害了，尤其是精度要求不高的总结/扩写等应用，属于完全可跑状态，理论上新PC架构上扩扩内存带宽，有个64G内存，cpu里面有点加速可能就行，新的24G内存的手机也能很舒服的跑13/14b模型。
M1/M2 Ultra配合800G带宽，跑70b的大模型量化版本都是完全可用状态。
【 在 Acui 的大作中提到: 】
: 我们在讨论win12的ai功能能不能正常使用
:
--
FROM 101.254.182.*
不妨怼标题对应的原文。
这个标题下我只讨论 AI PC只能对应本地运行AI相关模型的PC。
【 在 bom 的大作中提到: 】
: 除了搞大模型的，我不觉得普通人在自己电脑上运行大模型有任何意义
--
FROM 101.254.182.*