- 主题:问下本地部署入门问题
16G的5060Ti卡能部署什么大模型，能达到什么水平，千问，DS还是哪个更好？
--发自 ismth(丝滑版)
--
FROM 114.254.10.*
Qwen3.5 35B-A3B Q4或者Q3量化，用 llama.cpp 推理，部分权重放到内存上用CPU跑，如果不需要视觉功能可以不加载视觉部分的权重。
【 在 dadou 的大作中提到: 】
: 16G的5060Ti卡能部署什么大模型，能达到什么水平，千问，DS还是哪个更好？
: --发自 ismth(丝滑版)
--
FROM 114.246.237.*
我作为过来人
建议如下：堆便宜的tesla 16g（P100）4个 ubuntu ollama(vllm好像需要某个级别以上跑不了） 64g可以跑比较有用的ollama模型了
16g的实在不建议
【 在 dadou 的大作中提到: 】
: 16G的5060Ti卡能部署什么大模型，能达到什么水平，千问，DS还是哪个更好？
--
FROM 125.33.218.*
个人为什么一定要考虑自己配大模型呢？
开源的再好，能比官方的更好？
我不明白的是：开源大模型是怎么训练的啊？如果不是商业公司的话，普通人无法无力
支撑起训练大模型的任务吧？
【 在 xeh 的大作中提到: 】
: 我作为过来人
: 建议如下：堆便宜的tesla 16g（P100）4个 ubuntu ollama(vllm好像需要某个级别以上跑不了） 64g可以跑比较有用的ollama模型了
: 16g的实在不建议
: ...................
--
FROM 117.143.169.*
自己本地配置就不用花钱了啊
而且安全性也更好
【 在 ssteym 的大作中提到: 】
: 个人为什么一定要考虑自己配大模型呢？
: 开源的再好，能比官方的更好？
: 我不明白的是：开源大模型是怎么训练的啊？如果不是商业公司的话，普通人无法无力
: ...................
--
FROM 119.80.6.*
电不用钱吗？
安全性？
普通人还够不上安全性这个词吧？
【 在 RAV4 的大作中提到: 】
: 自己本地配置就不用花钱了啊
: 而且安全性也更好
--
FROM 117.143.169.*
大多数开放权重的大模型都是商业公司训练的，真正的开源（包括数据集）模型像Allen AI OLMo和NVIDIA Nemotron这些也是有公司搞的。
【 在 ssteym 的大作中提到: 】
: 个人为什么一定要考虑自己配大模型呢？
: 开源的再好，能比官方的更好？
: 我不明白的是：开源大模型是怎么训练的啊？如果不是商业公司的话，普通人无法无力
: ...................
--
FROM 114.246.237.*
所以我总觉得普通人没有必要考虑本地部署
多数人甚至都没有安装Agent的需求
我们普通人对安全性的要求没有那么高
【 在 ArchLinux 的大作中提到: 】
: 大多数开放权重的大模型都是商业公司训练的，真正的开源（包括数据集）模型像Allen AI OLMo和NVIDIA Nemotron这些也是有公司搞的。
--
FROM 117.143.169.*
4个PCIe口要上服务器主板了吧，另外这卡好像要自己改散热。
【 在 xeh 的大作中提到: 】
: 我作为过来人
: 建议如下：堆便宜的tesla 16g（P100）4个 ubuntu ollama(vllm好像需要某个级别以上跑不了） 64g可以跑比较有用的ollama模型了
: 16g的实在不建议
: ...................
--
FROM 114.246.237.*
电才几个钱
现在最高的消费就是token
都是在线调用的话分析几个大文件就得花不少
安全问题主要是各种文档上传各个单位都是比较敏感
哪怕不是涉m文件
【 在 ssteym 的大作中提到: 】
: 电不用钱吗？
: 安全性？
: 普通人还够不上安全性这个词吧？
: ...................
--
FROM 119.80.6.*