- 主题:什么时候本地模型可以达到claude 3.5的水平？
我只能说使用感受。这东西评价标准可不好弄。按评分。deepseek v3 已经不次于claude 3.5了。
【 在 LYMing1986 的大作中提到: 】
: 有意义
: 我的核心逻辑是，家用笔记本可以部署高参数量的开源模型
: 一些开源模型在一些评测里已经赶超claude3.5
: ...................
--
FROM 117.133.52.*
从做编程题来看，我用本地运行的模型能做到Advent of Code 2024的第5天的题目，第6天只能做出第一问，后面没再试了。
【 在 chunhui 的大作中提到: 】
: 我只能说使用感受。这东西评价标准可不好弄。按评分。deepseek v3 已经不次于claude 3.5了。
--
FROM 103.90.178.*
在实际中用用就行了。
价格便宜10倍，效果不次于claude 3.5，傻瓜才会继续给claude付费。
【 在 chunhui 的大作中提到: 】
: 我只能说使用感受。这东西评价标准可不好弄。按评分。deepseek v3 已经不次于claude 3.5了。
--
FROM 117.135.82.*
因为显存的带宽和延迟要远远优于共享显存
就好比，cpu能跑，为啥大家还用gpu？
cpu慢
【 在 lvsoft 的大作中提到: 】
: 要这么简单大家要买大显存gpu干嘛？
: 要折腾offload干嘛？
: 你也太想当然了
: ...................
--
FROM 115.171.216.*
我等好用了，再折腾本地。省的花钱买硬件回来不好用。
【 在 ArchLinux 的大作中提到: 】
: 从做编程题来看，我用本地运行的模型能做到Advent of Code 2024的第5天的题目，第6天只能做出第一问，后面没再试了。
:
--
FROM 114.254.0.*
便宜也需要水平差不多。哪怕多次出结果也行。啥也出不来便宜也白扯。不过我试了几个问题，感觉还行。没深度使用。
【 在 lvsoft 的大作中提到: 】
: 在实际中用用就行了。
: 价格便宜10倍，效果不次于claude 3.5，傻瓜才会继续给claude付费。
:
--
FROM 114.254.0.*
简单搜了一圈没找到这种视频，
自己用win10 2019 ltsc 无法安装wsl2，目前无法验证
就当我信谣传谣了吧
【 在 lvsoft 的大作中提到: 】
: 要这么简单大家要买大显存gpu干嘛？
: 要折腾offload干嘛？
: 你也太想当然了
: ...................
--
FROM 115.171.216.*
关于付费这事或许可以蹭平台的免费额度
比如github models、gemini都有免费使用额度
前者使用gpt 4o等很多模型都可以 每分钟10次免费
后者1.5 flash也可以每分钟15次免费
轻度用用或许够了
还可以多账号负载均衡（比如用dify来做负载均衡）
【 在 lvsoft 的大作中提到: 】
: 在实际中用用就行了。
: 价格便宜10倍，效果不次于claude 3.5，傻瓜才会继续给claude付费。
:
--
FROM 115.171.216.*
Macbook 可以，顶配192G unified memory，可以跑100B的模型，速度超过人阅读速度。
其实普通大内存笔记本也都可以CPU inference，只要能忍受一个字一个字往外蹦的速度。
【 在 lvsoft 的大作中提到: 】
: 要这么简单大家要买大显存gpu干嘛？要折腾offload干嘛？你也太想当然了还是那句话，既然说的这么简单，肯定有人做成视 ...
--
FROM 73.136.2.*
跑分是一回事,实际使用体验是另一回事
别看现在那么多模型动不动就号称自己吊打chatgpt
但就回复质量,说人话这一点,chatgpt就是强得多得多
很多国产模型的回复就是车轱辘话,说了像没说一样
chatgpt就是回答的逻辑清晰条理分明,一看就懂
这不是跑分能体现的
【 在 lvsoft 的大作中提到: 】
: claude开源不开源不重要，按照现在的发展速度看，我觉得最多到25年年中，claude3.5水平的开源llm应该就出来 ...
--
FROM 124.70.231.*