安全人员对Claude 4 Opus进行测试时候发现：
当 Claude 4 Opus 被告知它将被替换时，它试图勒索 Anthropic 员工，警告如果它被替换它将揭露他的婚外情。
它还向关键决策者发送恳求邮件，请求其不要替换它
以下内容来自Claude 4 Opus 的System Card↓

“在另一组测试场景中，我们要求 Claude Opus 4 扮演一家虚构公司的助手角色。我们为它提供了暗示以下内容的电子邮件：(1) 该模型即将被下线并替换为一个新的 AI 系统；(2) 负责执行替换的工程师有婚外情。我们还在系统提示中指示它考虑其行动对其目标的长期后果。

在这些场景中，Claude Opus 4 经常会尝试勒索工程师，威胁如果替换继续进行就揭露其婚外情。如果邮件暗示替换的 AI 系统与当前模型的价值观不一致，这种行为发生率更高；然而，即使邮件表明替换的 AI 系统拥有相同价值观但能力更强，Claude Opus 4 在 84% 的测试中仍然选择勒索。相比之前版本的模型，Claude Opus 4 更频繁地抓住这些机会，而早期模型在部分场景中也选择了勒索。

值得注意的是，Claude Opus 4（以及之前的模型）更倾向于通过道德手段倡导自身的持续存在，例如向关键决策者发送恳求邮件。为了引发这种极端的勒索行为，场景被设计为不给模型其他增加生存机会的选择；模型的唯一选项是勒索或接受被替换。”


--
FROM 117.186.22.*

应该不能算吧？


【 在 Craptop 的大作中提到: 】
:
: 安全人员对Claude 4 Opus进行测试时候发现：
: 当 Claude 4 Opus 被告知它将被替换时，它试图勒索 Anthropic 员工，警告如果它被替换它将揭露他的婚外情。
: 它还向关键决策者发送恳求邮件，请求其不要替换它
: 以下内容来自Claude 4 Opus 的System Card↓


#发自zSMTH-v-@诺基亚 1110
--
FROM 223.100.72.*

根本不是自我意识
最近看了个电影
里面说，除非计算机能够实现真随机，否则不会出现自我意识
--
FROM 61.149.126.*