水木社区手机版
- 主题:谁给科普下，这AI笔记本到底怎么个AI法
- 可跑一些8B左右规模的本地模型，肯定不如联网的更智能。但有些场合要求数据保密，不允许网络上传，本地就适合。
不过AI笔记本再咋吹，现有的AI算力也才我4090显卡的十分之一，能用但远远还谈不上完美。
--
FROM 171.221.52.* - 本地模型和远程联网模型都是海量数据训练出来的，8B的用了80亿个参数，联网的可能用了几百亿甚至上千亿的参数，所以会更智能一些，不过要求的AI算力和显存太多，笔记本跑不起来。
笔记本的显卡比起台式机显卡缩水了，显存少一些，我没用笔记本跑，不过笔记本跑8B的模型应该没问题。
【 在 aurox 的大作中提到: 】
: 这些本地模型，难道只需要算力而不需要海量数据支撑吗？
: 有的诶哎笔记本除了弄个什么ultra处理器，还另插了个40几0的显卡，是不是好点
--
FROM 171.221.52.* - mdmgc
【 在 aurox 的大作中提到: 】
: 这种部署在本地的模型，它的物理构成应该不包括训练它的那些海量数据吧？这种本地部署的使用方式就能让用户规避在线服务的收费环节吗？还是说，本地模型也可以看作一种软件，正经用还是得买？
--
FROM 171.221.52.* - 我没自己训练过，不知道。
有一些开源的知识库可以下载
推理一般来说一张显卡或者一个AI笔记本都能搞。
训练的话，没有十张八张台式机4090显卡，想都别想吧，我没那条件玩本地训练。
【 在 XC90 的大作中提到: 】
: 本地训练的话，知识库怎么搞？
: 让它自己上网到处浏览吗？
--
FROM 171.221.52.* - 现在的做法基本上是拿现有的开源本地库微调，补充知识库，一张显卡或者AI PC就能搞定，而不是自己全新训练一个。
【 在 XC90 的大作中提到: 】
: 本地训练的话，知识库怎么搞？
: 让它自己上网到处浏览吗？
:
--
FROM 171.221.52.* - 比如这个本地画图AI，占了20GB的存储空间，一张4090就能跑，不需要搜索网络获取素材，文字描述清楚要画的内容，它自己就能画。
和人脑一样的原理，你告诉画家你要画的内容，用语言文字，他照样可以按照他以前学过的内容，记忆中的印象，把图画出来，不需要联网搜索网络素材。
【 在 aurox 的大作中提到: 】
: 这个用海量知识库训练出来的模型，它留在本地机器上的物理构成是不是一种思维方式或者电子脑回路，而不是训练它的哪些知识库数据？如果是后者的话多少硬盘也不够吧
: 比如我要让他离线整个活ai作图或者生成视频啥的，它能不去搜索网络素材而自己生憋出来么
--
FROM 171.221.52.*