- 主题:自托管开源的LLM和官网在线的有多大差别？
比如DeepSeek这种100%开源的LLM，自己本地托管，和它的网站上相比，
性能或者说完整度要打多少折扣？
是不是只有LLM开源了，RAG得自己搞？
--
FROM 220.167.79.*
自己部署硬件性能没大运营商的好，软件优化可能不够。过大的模型需要量化造成一些性能损失，system prompt这些细节可能会和官网的不一样。
【 在 mingtong 的大作中提到: 】
: 比如DeepSeek这种100%开源的LLM，自己本地托管，和它的网站上相比，
: 性能或者说完整度要打多少折扣？
: 是不是只有LLM开源了，RAG得自己搞？
: ...................
--
FROM 114.254.10.*
【 在 ArchLinux 的大作中提到: 】
: 自己部署硬件性能没大运营商的好，软件优化可能不够。过大的模型需要量化造成一些性能损失，system prompt这些细节可能会和官网的不一样。
:
如果只是跑小的呢？比如7B，然后官网也选7B
--
FROM 61.157.76.*
从使用过gemini的网页版和调用api来看，网页版本好一些；
盲猜官方网页版集成工具更多，类似功能强大的agent，本地部署就只是llm
【 在 mingtong 的大作中提到: 】
: 比如DeepSeek这种100%开源的LLM，自己本地托管，和它的网站上相比，
: 性能或者说完整度要打多少折扣？
: 是不是只有LLM开源了，RAG得自己搞？
--
FROM 101.204.135.*
至少不会出现话说一半吞回去吧？
【 在 ArchLinux 的大作中提到: 】
: 自己部署硬件性能没大运营商的好，软件优化可能不够。过大的模型需要量化造成一些性能损失，system prompt这些细节可能会和官网的不一样。
--
FROM 183.255.219.*