- 主题:版友们平时用cppreference多还是用AI多？
鄙中喜欢用通义千问
免费而且不卡，解决不了再问gpt
deepseek从除夕后就很难用了
--
FROM 36.163.208.*
local qwen2.5-coder 32b
【 在 wanllow 的大作中提到: 】
: 鄙中喜欢用通义千问
: 免费而且不卡，解决不了再问gpt
: deepseek从除夕后就很难用了
--
FROM 115.205.65.*
赞?
【 在 ziqin 的大作中提到: 】
: local qwen2.5-coder 32b
发自「快看水母 于 iPhone 12」
--
FROM 120.245.24.*
这个跟本地部署的deepseek v3相比怎么样？
【 在 ziqin 的大作中提到: 】
: local qwen2.5-coder 32b
:
--
FROM 106.44.1.*
这个响应速度和质量如何？ 本地部署，除非拉满硬件， 速度太慢了 ，还不如打开浏览器呢。
【 在 ziqin 的大作中提到: 】
: local qwen2.5-coder 32b
:
--
FROM 14.154.44.*
干嘛浪费生命
【 在 wanllow 的大作中提到: 】
: 鄙中喜欢用通义千问
: 免费而且不卡，解决不了再问gpt
: deepseek从除夕后就很难用了
--
FROM 114.249.21.*
这个好点，专门coder-instruct过，32B部起来也方便，算上18K的input缓存，量化以后也就是两张显卡的事
ds的思考过程实在是太烦了
【 在 wanllow 的大作中提到: 】
: 这个跟本地部署的deepseek v3相比怎么样？
--
FROM 115.205.65.*
不会，每秒40 token output
E5 2697 v4 x 2
128G
3080 20G + 3060ti 8G
ollama全部load在显卡上
然后会调用intel cpu的avx2，挂个embed模型，把in house的库都做成知识库，很好用
写个yaml, cmake, py脚本, 网页界面都用这个。
【 在 Algoquant 的大作中提到: 】
: 这个响应速度和质量如何？ 本地部署，除非拉满硬件， 速度太慢了 ，还不如打开浏览器呢。
:
--
FROM 115.205.65.*
如果真的下功夫，换个蓝宝石激流的单路，256G，用ktransformer，开intel amx做杂活，核心层放显卡上，两张3090可以跑ds满血coder，成本大概5w多，这个更适合团队，
--
FROM 115.205.65.*
本地部署可以把私有库上传变成知识库，还可以用私有库微调，这样AI会用私有库写代码
【 在 Algoquant 的大作中提到: 】
: 这个响应速度和质量如何？ 本地部署，除非拉满硬件， 速度太慢了 ，还不如打开浏览器呢。
:
--
FROM 115.205.65.*