我作为过来人
建议如下：堆便宜的tesla 16g（P100）4个 ubuntu ollama(vllm好像需要某个级别以上跑不了） 64g可以跑比较有用的ollama模型了
16g的实在不建议
【 在 dadou 的大作中提到: 】
: 16G的5060Ti卡能部署什么大模型，能达到什么水平，千问，DS还是哪个更好？
--
FROM 125.33.218.*