- 主题:弱弱的问：本地跑大模型的差别
现在ollama都已经支持a卡来跑本地大模型了，同价位情况下a卡的显存也大
那么对于普通人而言，N卡在跑本地大模型方面会有什么样的优势吗？
比如当下买4060ti跑大模型对比买7800xt跑大模型会有什么不同么？
--
FROM 223.104.40.*
N卡支持一种本地化的操作，大致是把通用指令翻译成N卡优化指令，效果是能让大规模计算加速。
要实现这些，需要程序员干活。
【 在 TinyHuang 的大作中提到: 】
: 现在ollama都已经支持a卡来跑本地大模型了，同价位情况下a卡的显存也大
: 那么对于普通人而言，N卡在跑本地大模型方面会有什么样的优势吗？
: 比如当下买4060ti跑大模型对比买7800xt跑大模型会有什么不同么？
: ...................
--
FROM 112.47.224.*
如果需求只是在16g显存加持下跑一下本地大模型，当本地工具来使用，避免敏感数据外泄，是不是买A卡就够了？
多花钱买N卡对比买A卡获得的增益是什么？
【 在 zszqzzzf 的大作中提到: 】
: N卡支持一种本地化的操作，大致是把通用指令翻译成N卡优化指令，效果是能让大规模计算加速。
: 要实现这些，需要程序员干活。
:
--
FROM 221.216.140.*
对性能不敏感，难道不是怎么样都行吗？
想榨取显卡最后一滴算力的人，才需要N卡。
也正因为如此，我们对显卡阉割行为，是深恶痛疾的。
N卡现在也是垃圾了。
【 在 TinyHuang 的大作中提到: 】
: 如果需求只是在16g显存加持下跑一下本地大模型，当本地工具来使用，避免敏感数据外泄，是不是买A卡就够了？
: 多花钱买N卡对比买A卡获得的增益是什么？
--
FROM 112.47.224.*
所以，N卡是可以实现更高的性能，而如果只是体验，在可以本地运行大模型的前提下（显存足够），并且可以接受一定程度（比如30%）的输出速度下降，是可以考虑使用A卡的。我理解是这个意思吧？
【 在 zszqzzzf 的大作中提到: 】
: 对性能不敏感，难道不是怎么样都行吗？
: 想榨取显卡最后一滴算力的人，才需要N卡。
: 也正因为如此，我们对显卡阉割行为，是深恶痛疾的。
: ...................
--
FROM 221.216.140.*
7800xt跑不了大模型，不是说显存大就有用的，至少现在的框架都是依赖cuda，7800xt可没有这玩意
--
修改:zengraoli FROM 114.64.236.*
FROM 114.64.236.*
真正上手试试就好了，
--
FROM 117.70.145.*
【 在 TinyHuang 的大作中提到: 】
: 现在ollama都已经支持a卡来跑本地大模型了，同价位情况下a卡的显存也大
: 那么对于普通人而言，N卡在跑本地大模型方面会有什么样的优势吗？
: 比如当下买4060ti跑大模型对比买7800xt跑大模型会有什么不同么？
大模型算例需要软硬件一套基础设施，
N卡之所以这么有底气卖出垄断价格， 就是它的技术设施做的最成熟，
其它的AMD还有国产大模型库， 都还在模仿它的路上艰难行进。
基础设施完善成熟， 一个就是能最大发挥优势， 还有就是支持的软件多。
换句话说， 你的本地大模型如果只能支持CUDA， 大概率你买的A卡连跑起来都是奢望。
--
FROM 115.171.155.*
16G显存可以试试amd 雷7，或者mi 50
--
FROM 115.171.216.*
谢谢 最近想折腾一下EXO。就是体验一下而已
【 在 LYMing1986 (LYMing1986) 的大作中提到: 】
: 16G显存可以试试amd 雷7，或者mi 50
: --
:
:
--
FROM 221.216.140.*