水木社区手机版
- 主题:LLM as a judge是真不行
- 最近我有一个很复杂的编程问题（超过50K tokens）。然后让Gemini Pro 2.5，Grok，GPT5，分别给出答案。
接着我把3个答案放一起，分别让3个LLM判断，谁的答案更好。结果Gemini Pro 2.5，Grok，GPT5这三个LLM居然每个人都说自己的答案是最好，最完善的，最优秀的。。。。
--
FROM 218.82.23.* - 包月的
【 在 smthhz 的大作中提到: 】
: 这么玩一次花多少钱
--
FROM 218.82.23.* - 无限量的啊，对方顶不住那是它的是。。。我只管用。。。
【 在 smthhz 的大作中提到: 】
: 呃，你用量这么大包月也顶不住吧
--
FROM 218.82.23.* - 199刀一年，去年黑五订阅的。不是啥都无限量。但是我说的这几个模型是无限量的
【 在 smthhz 的大作中提到: 】
: 还有无限量的？那一个月得几百刀吧
--
FROM 218.82.23.* - Monica
【 在 smthhz 的大作中提到: 】
: 这也太便宜了，哪一家
--
FROM 218.82.23.* - 不存在的
【 在 LYMing1986 的大作中提到: 】
: 这模型可有点老
--
修改:Xjt FROM 218.82.23.*
FROM 218.82.23.* - claude和deepseek也测了，答案也不统一。。。
我目前测试的感觉：
GPT5>Gemini 2.5pro>Grok4>Claude Sonnet 4 Thinking>Deepseek R1
Deepseek 3.1和Claude Opus都没测过，不参与排名
【 在 guizhidao 的大作中提到: 】
: lol
: 要不3+1呢，再来一claude做judge
: 但评价来看，编程问题gpt貌似不太行， Gpro2.5和claude4应该是最强吧
--
FROM 218.82.23.*