我用五年前买的旧电脑，一台没有独立显卡的小主机，
i5-8500Cpu，32G内存，win10系统
也能跑14b的模型，就是cpu占用率干到了100%
速度虽然有点慢，但是个人用也可以接受
【 在 heideggerr 的大作中提到: 】
: 标 题: Re: 本地部署一个“小”模型，能玩啥呢？
: 发信站: 水木社区 (Mon Feb 3 17:46:42 2025), 站内
:
: 我对比过很多问题，本地部署的7b、14b和deepseek官网的差别没那么大。小模型时代的特点就是模型体积越来越小，三四个月前要用双卡4090，5万块钱服务器才能达到的效果，现在不到2000块钱配个单卡3060，改用14B模型，大概也能跑出来个9成。
:
: 【 在 poocp 的大作中提到: 】
: : 我说的是671b的正式版本，不是像个智障一样的70b，或者连弱智都不如的更低参数版本。
: : 目前的地球科技还做不到把671b装在手机上并且完成推理。
: :
: [upload=1][/upload]
: --
:
: ※ 来源:·水木社区
http://www.mysmth.net·[FROM: 113.233.201.*]
:
--
FROM 111.196.215.*