弱弱的问：本地跑大模型的差别

水木社区手机版

主题:弱弱的问：本地跑大模型的差别
1楼|zszqzzzf|2025-01-10 21:46:37|展开
N卡支持一种本地化的操作，大致是把通用指令翻译成N卡优化指令，效果是能让大规模计算加速。
要实现这些，需要程序员干活。

【在 TinyHuang 的大作中提到: 】
: 现在ollama都已经支持a卡来跑本地大模型了，同价位情况下a卡的显存也大
: 那么对于普通人而言，N卡在跑本地大模型方面会有什么样的优势吗？
: 比如当下买4060ti跑大模型对比买7800xt跑大模型会有什么不同么？
: ...................
--
FROM 112.47.224.*
3楼|zszqzzzf|2025-01-10 22:12:36|展开
对性能不敏感，难道不是怎么样都行吗？
想榨取显卡最后一滴算力的人，才需要N卡。
也正因为如此，我们对显卡阉割行为，是深恶痛疾的。
N卡现在也是垃圾了。

【在 TinyHuang 的大作中提到: 】
: 如果需求只是在16g显存加持下跑一下本地大模型，当本地工具来使用，避免敏感数据外泄，是不是买A卡就够了？
: 多花钱买N卡对比买A卡获得的增益是什么？
--
FROM 112.47.224.*

BYR-Team©2010. KBS Dev-Team©2011 登录完整版