- 主题:deepseek 671b r1一出，洋垃圾又要暴涨了
请问搭建本地主要是用在哪些方面,大数据不是需要联网吗？
【 在 coollpe 的大作中提到: 】
:
: 作为最强大的模型，它本地运行只需要768G内存，势必大幅增加洋垃圾服务器需求
:
#发自zSMTH@PJF110
--
FROM 223.104.204.*
我刚刚斥2K巨资买了一个七彩虹的显卡（RTX 3060 DUO 12G），因为这是我能买得起的、又有稍微大一些的显存的（性能不足训练慢我可以忍，但是显存小的话 模型是真的放不进去，反复权衡之后，发现12G是刚需）、全新卡（担心矿卡可能会出各种问题，解决起来非常麻烦，3060居然还能在旗舰店买到新品，估计这是最后一批货了）、不用升级电源的（550w电源刚刚好）、能放在我的小机箱中的 唯一的选择。 现在整个14b模型都可以跑在显存中了，输出速度非常快。
过一段时间，打算用这块显卡对7b模型进行下微调训练，然后建立一个私有模型，来回答我的私有问题。
这可能是投资最小的deepseek本地部署方案了。
【 在 Mikov 的大作中提到: 】
: 我的电脑是 128G 内存的, 运行 8b 好像没怎么用内存, 看内存用量才 12G 不到.
: 14b会很耗内存吗?
:
--
修改:heideggerr FROM 60.16.232.*
FROM 60.16.232.*
2k巨资可以上2080ti x22g。远比你这个方案好的多
【 在 heideggerr 的大作中提到: 】
: 我刚刚斥2K巨资买了一个七彩虹的显卡（RTX 3060 DUO 12G），因为这是我能买得起的、又有稍微大一些的显存的（性能不足训练慢我可以忍，但是显存小的话 模型是真的放不进去，反复权衡之后，发现12G是刚需）、全新卡（担心矿卡可能会出各种问题，解决起来非常麻烦，3060居然还能在旗舰店买到新品，估计这是最后一批货了）、不用升级电源的（550w电源刚刚好）、能放在我的小机箱中的 唯一的选择。 现在整个14b模型都可以跑在显存中了，输出速度非常快。
: 过一段时间，打算用这块显卡对7b模型进行下微调训练，然后建立一个私有模型，来回答我的私有问题。
: 这可能是投资最小的deepseek本地部署方案了。
: ...................
--
FROM 222.68.51.*
想多了，时间不值钱的话，你用算盘都能跑
【 在 coollpe 的大作中提到: 】
: 作为最强大的模型，它本地运行只需要768G内存，势必大幅增加洋垃圾服务器需求
--
FROM 222.68.51.*
这种都是基于矿卡改的，不敢下手！
【 在 lvsoft 的大作中提到: 】
: 2k巨资可以上2080ti x22g。远比你这个方案好的多
--
FROM 175.164.31.*
差不多就是这个感觉，有人搞了R1+3.5 sonnet的混合api，就是截了R1的think部分直接传sonnet，然后拿最后结果。
【 在 Auguster 的大作中提到: 】
: Cline自己说的是：
: Want to pick the right LLM for Cline? Here's what our users actually use (Feb 2025):
: 1. 3.5 Sonnet (200k) - Best coder, $3/15/M in/out
: ...................
--
FROM 119.57.72.*
个人经常混用下来的体感。（flash靠ai studio免费，4o/sonnet 3.5 o1/3 mini靠you的混合账号）
只要你把页面拿过去，或者直接ctrl+a作为context给LLM，这之后的编码才是考验llm的逻辑的。
否则会各有侧重点的，以前不同编程语言测下来各模型的能力都有差异。
【 在 smthhz 的大作中提到: 】
: 哦，我知道4o本来编码和逻辑方面也不咋样， v3肯定也学了相关页面，编码问题不是太大主要是乱解释，比如拿同服务另一个api参数给这api，编造参数，输出前后不一致，我觉得根本不是没在知识库的问题，所以很怀疑它的能力。你这排名是都自己试过？
--
FROM 119.57.72.*
嗯，想来也应该是各个模型侧重点不同，但如果公开很久的常用文档都要复制过去，那效率就太低了。
【 在 haili (人尔有窍 风吹为籁) 的大作中提到: 】
: 个人经常混用下来的体感。（flash靠ai studio免费，4o/sonnet 3.5 o1/3 mini靠you的混合账号）
:
: 只要你把页面拿过去，或者直接ctrl+a作为context给LLM，这之后的编码才是考验llm的逻辑的。
:
--
FROM 223.104.41.*