水木社区手机版
- 主题:什么时候本地模型可以达到claude 3.5的水平？
- 啥？win划走一半内存当共享内存？哪个windows会这么搞啊？
另外划不划内存，也不表示显卡能用这部分内存啊，啥时候4060笔记本可以直接用内存当显存了？
另外官宣超过claude 3.5的一大堆，你信可以拉出来走两步试试。
【 在 LYMing1986 的大作中提到: 】
: 现在已经可以达到了
--
FROM 117.135.82.* - 你在说啥？
显存是显存，内存是内存。
显存和内存能互相共享的唯一可能是没有显存的集显。
而且这年头哪有什么硬性划走一半这种说法？
连集显的显存要从内存里划多少都是动态的。
至于nv的显卡，它能访问内存，但它不会把内存当扩展的显存用。over
【 在 LYMing1986 的大作中提到: 】
: win10和win11都会这么干
: 显卡会把这些共享显存当显存用，wsl环境下的显卡都能用
--
FROM 117.135.82.* - 你这个说法毫无意义啊，就是在玩文字游戏。
同样的事情，一个能做到一个做不到，那就是有本质区别。
这样的事情多来几个，或者大概率会落入这种场景，那这两个东西就有本质差距。
排名算个屁，现在的llm排名，本质上都是些micro bench，根本无法反应实际性能。
尤其是qwen这种以高分低能著称的llm了。
【 在 LYMing1986 的大作中提到: 】
: 我说“官宣”“OpenCompass评测榜”就是等你这最后一句“另外官宣超过claude 3.5的一大堆，你信可以拉出来走两步试试。”
: 实际体验千差万别，排行榜各种都有
: lz问的是达到水平，如果在某个排名相近，或许可以认为他们水平相近
: ...................
--
FROM 117.135.82.* - claude是175b模型，
本地化部署是可能的，但大概率塞不进普通笔记本里。
【 在 chunhui 的大作中提到: 】
: 那还是有点距离。我是希望普通的笔记本能部署达到claude 3.5的水平的话（而且有达到3.5水平开源模型）。就可以在本地部署一个了。目前感觉claude用来编码完全够用了。
--
FROM 117.135.82.* - claude开源不开源不重要，按照现在的发展速度看，我觉得最多到25年年中，claude3.5水平的开源llm应该就出来了。
另外多模型配合这个说法，其实o1就是个思维链的应用技巧，而思维链里本来就是要用不同的模型去干不同的事情的。但这里更未必要用不同的模型，更关键的是用不同的提示词让模型代入不同的角色。
【 在 chunhui 的大作中提到: 】
: 是啊。3.5也不是开源的。所以得等硬件升级或者本地模型发展。
: 另外，编程效果是多个模型配合更好。aider的blog中有个介绍。它拿o1当架构师聊架构，拿其他的模型输出文本。据说这样可以让o1集中精力到逻辑推理。否则如果它既聊架构又输出格式文本，会导致格式文本比较乱。
:
--
修改:lvsoft FROM 117.135.82.*
FROM 117.135.82.* - 模型没有会话这个概念，
会话是模型的应用技巧。
另外越是大模型，越不需要特化。
只有小模型才需要某个方向的特化能力。
【 在 chunhui 的大作中提到: 】
: 能出来那自然好，可以本地部署一个。
: 多个模型分工他们的blog中是这么说的。如果一个模型开多个会话用不同的提示作不同的角色。可能也和多个模型差不多。反正分工肯定是需要的。如果跟他讨论了一大堆逻辑推理，然后突然让它生成一个文件的修改格式，它肯定做不好。格式要求越复杂（不如json）就越不好。
:
--
修改:lvsoft FROM 117.135.82.*
FROM 117.135.82.* - 客观标准？
openrouter的ranking榜行如何？
来这里的都是要付费的，而且比起去官网直连api，来这里的更多的是为了哪个好马上就切哪个。
这种掏钱的ranking榜最能说明问题。
至于用家用笔记本部署高参数量开源模型，
既然你说的这么言之凿凿，要不你找个视频出来吧，我懒得跟你掰扯了。
【 在 LYMing1986 的大作中提到: 】
: 有意义
: 我的核心逻辑是，家用笔记本可以部署高参数量的开源模型
: 一些开源模型在一些评测里已经赶超claude3.5
: ...................
--
修改:lvsoft FROM 117.135.82.*
FROM 117.135.82.* - 要这么简单大家要买大显存gpu干嘛？
要折腾offload干嘛？
你也太想当然了
还是那句话，既然说的这么简单，肯定有人做成视频出来demo了，
这种事情总比搭个4卡2080ti 22g要简单吧？b站搜：BV1y1421k75j
这是4卡集群跑110b的模型的例子。
现在轮到你给我一个笔记本跑大模型的例子了。不要求110b这么大，你找个70b的就行。
先说清楚，别给我整offload到cpu的例子。
【 在 LYMing1986 的大作中提到: 】
: 独显在windows下和macos下，也可以共享部分内存
: 不是硬划，而是可以
: 而且我搜了相关信息，有很多印证，确认wsl2里 独显可用这部分共享内存。
: ...................
--
修改:lvsoft FROM 117.135.82.*
FROM 117.135.82.* - 在实际中用用就行了。
价格便宜10倍，效果不次于claude 3.5，傻瓜才会继续给claude付费。
【 在 chunhui 的大作中提到: 】
: 我只能说使用感受。这东西评价标准可不好弄。按评分。deepseek v3 已经不次于claude 3.5了。
--
FROM 117.135.82.*