- 主题:弱弱的问：本地跑大模型的差别
现在ollama都已经支持a卡来跑本地大模型了，同价位情况下a卡的显存也大
那么对于普通人而言，N卡在跑本地大模型方面会有什么样的优势吗？
比如当下买4060ti跑大模型对比买7800xt跑大模型会有什么不同么？
--
FROM 223.104.40.*
如果需求只是在16g显存加持下跑一下本地大模型，当本地工具来使用，避免敏感数据外泄，是不是买A卡就够了？
多花钱买N卡对比买A卡获得的增益是什么？
【 在 zszqzzzf 的大作中提到: 】
: N卡支持一种本地化的操作，大致是把通用指令翻译成N卡优化指令，效果是能让大规模计算加速。
: 要实现这些，需要程序员干活。
:
--
FROM 221.216.140.*
所以，N卡是可以实现更高的性能，而如果只是体验，在可以本地运行大模型的前提下（显存足够），并且可以接受一定程度（比如30%）的输出速度下降，是可以考虑使用A卡的。我理解是这个意思吧？
【 在 zszqzzzf 的大作中提到: 】
: 对性能不敏感，难道不是怎么样都行吗？
: 想榨取显卡最后一滴算力的人，才需要N卡。
: 也正因为如此，我们对显卡阉割行为，是深恶痛疾的。
: ...................
--
FROM 221.216.140.*
谢谢 最近想折腾一下EXO。就是体验一下而已
【 在 LYMing1986 (LYMing1986) 的大作中提到: 】
: 16G显存可以试试amd 雷7，或者mi 50
: --
:
:
--
FROM 221.216.140.*