【 在 TinyHuang 的大作中提到: 】
: 现在ollama都已经支持a卡来跑本地大模型了，同价位情况下a卡的显存也大
: 那么对于普通人而言，N卡在跑本地大模型方面会有什么样的优势吗？
: 比如当下买4060ti跑大模型对比买7800xt跑大模型会有什么不同么？

大模型算例需要软硬件一套基础设施，
N卡之所以这么有底气卖出垄断价格， 就是它的技术设施做的最成熟，
其它的AMD还有国产大模型库， 都还在模仿它的路上艰难行进。
基础设施完善成熟， 一个就是能最大发挥优势， 还有就是支持的软件多。
换句话说， 你的本地大模型如果只能支持CUDA， 大概率你买的A卡连跑起来都是奢望。
--
FROM 115.171.155.*