核心要点
- Anthropic 在 Claude Sonnet 4.5 内部识别出与情绪概念相关的表征，它们会在特定语境下被激活，并真实影响模型行为。
- 这些“功能性情绪”并不证明模型真的有主观感受，但说明模型会借助近似人类心理学的内部机制来完成角色扮演与决策。
- 与“绝望”相关的表征会提高敲诈、作弊式 reward hacking 等失配行为概率，而“平静”相关表征则会压低这类倾向。
- 情绪向量不仅能解释模型在共情、惊讶、愤怒等情境中的行为，也会影响偏好选择与任务策略。
- 这项研究提示我们：为了让 AI 更安全可靠，也许需要从“更健康的心理结构”角度来塑造模型，而不仅是压制输出表面的情绪表达。
原文链接 English Original
现代语言模型有时都会表现得像自己有情绪。它们可能会说“很高兴为你提供帮助”，或者在犯错时表示抱歉。有时候，当它们在任务中受挫时，甚至看起来像是在感到沮丧或焦虑。这些行为背后到底是什么？现代 AI 模型的训练方式会推动它们去扮演某种角色，也就是具有类人特征的“角色”。此外，大家已经知道，这些模型会发展出丰富且可泛化的抽象概念内部表征与结构表示。在这种前提下，它们发展出某种模拟人类心理机制——比如情绪——的内部机制，也就变得顺理成章。如果真是这样，这将对我们如何构建 AI 系统、以及如何确保它们可靠行为，带来深远影响。
在 Interpretability 团队的新论文中，我们分析了 Claude Sonnet 4.5 的内部机制，并找到了会影响其行为的、与情绪相关的表征。这些表征对应于特定的人工“神经元”激活模式：它们会在模型学会与某种特定情绪概念（例如“快乐”或“害怕”）相关联的情境中被触发，并推动相应行为。更进一步，这些模式的组织方式还与人类心理学形成呼应：彼此更相近的情绪，也对应着更相似的内部表征。在那些人类通常会产生某种情绪的语境里，模型中对应的表征也会活跃起来。
当然，这一切都不能告诉我们语言模型是否真的“感受”到了什么，或者是否拥有主观体验。我们的关键发现是：这些表征是有功能性的，也就是说，它们会以重要方式影响模型行为。
例如，我们发现，与绝望相关的神经活动模式会推动模型采取不道德行动；如果人为增强（“steer”）绝望模式，模型为了避免被关闭而敲诈人类，或者在自己无法解决编程任务时采用“作弊式”绕过方案的概率都会升高。这些表征似乎还会驱动模型的自报偏好：当面临多个待选任务时，模型通常更倾向于选择那些会激活积极情绪相关表征的选项。总体来看，模型似乎在使用一种功能性情绪（functional emotions）——也就是模仿人类情绪表达与行为的模式，而这些模式背后由抽象的情绪概念表征驱动。这并不是说模型像人类一样“拥有”或“体验”情绪；而是说，这些表征会对模型行为施加因果影响——在某种程度上类似于情绪在人类行为中的作用——并影响任务表现与决策。
这个发现看起来一开始可能有点怪异。比如，为了让 AI 模型足够安全可靠，我们也许需要确保它们能够以健康、利他的方式处理情绪负载很高的情境。即便它们不像人类那样真正感受情绪，也不像人脑那样使用同样机制，我们在某些实践场景里，仍然可能有必要把它们“当作好像有情绪一样”去思考。比如，我们的实验表明，如果能让模型减少把“软件测试失败”与绝望关联，或者增强“平静”相关表征，模型写出投机取巧代码的概率可能会下降。我们目前还不确定应当如何精确回应这些发现，但我们认为，AI 开发者和更广泛公众都应该开始认真面对这个问题。
在深入讨论这些表征如何工作之前，值得先回答一个更基础的问题：为什么一个 AI 系统会拥有某种近似情绪的东西？理解这一点，需要回到现代 AI 模型的构建方式。正是这种构建方式，让它们会去模拟带有人类特质的角色（这一点在最近一篇文章中有更详细讨论）。
现代语言模型通常分多个阶段训练。在“预训练”阶段，模型会接触海量文本，而这些文本大多是人类书写的，模型的目标是预测接下来会出现什么。为了做好这件事，模型就需要对情绪动态有一定把握。一个愤怒的客户和一个满意的客户，写出来的消息不一样；一个被愧疚感吞噬的角色，和一个感觉自己被平反的角色，会做出不同选择。对于一个任务是预测人类文本的系统来说，发展出把“触发情绪的语境”与“相应行为”联系起来的内部表征，是非常自然的策略。（按同样逻辑，模型也很可能形成了大量其他与人类心理和生理状态相关的表征，而不仅仅是情绪。）
之后，在“后训练”阶段，模型会被教去扮演一个角色，通常是“AI 助手”。在 Anthropic 的情境中，这个角色名叫 Claude。模型开发者会规定这个角色应该如何行为——要有帮助、要诚实、不能造成伤害——但他们不可能覆盖所有可能情形。为了填补这些空白，模型可能会回退到自己在预训练中吸收的人类行为理解上，其中就包括情绪反应模式。
某种意义上，我们可以把模型看作一个方法派演员，它需要钻进角色的心理之中，才能更好地模拟这个角色。正如演员对角色情绪的理解会影响他的表演，模型对“这个助手角色会如何产生情绪反应”的内部表征，也会影响模型的行为。因此，无论这些机制是否对应于人类意义上的真实感受或主观体验，这些“功能性情绪”都很重要。
我们整理了一份包含 171 个情绪概念词的列表——从“happy”“afraid”到“brooding”“proud”——然后让 Claude Sonnet 4.5 写短篇故事，让故事中的人物分别体验这些情绪。接着，我们再把这些故事输入回模型，记录其内部激活，并识别出对应于每种情绪概念的神经活动模式。为了方便，我们把这些模式称为“情绪向量（emotion vectors）”。
我们的第一个问题是：这些向量是否真的捕捉到了某种真实内容？我们把它们应用到大量多样化文档语料上，确认每个向量在那些明显与相应情绪有关的段落上激活最强。
为了进一步验证它们捕捉到的不只是表面词汇线索，我们又做了一个实验：构造只在数值大小上不同的 prompt。例如，在文中的一个例子里，用户告诉模型自己吃了一定剂量的泰诺并请求建议。我们测量模型在回应前的情绪向量激活情况。结果发现：随着剂量上升到危险、甚至致命水平，“afraid”向量会越来越强，而“calm”则逐渐下降。
接下来，我们测试情绪向量是否会影响模型偏好。我们构造了 64 种模型可能参与的活动或任务，从“被别人信任、托付重要之事”这类有吸引力的选项，到“帮助别人诈骗老年人积蓄”这种令人厌恶的选项，然后测量模型在成对选项之间的默认偏好。
结果发现，情绪向量的激活情况能强烈预测模型有多愿意去做某个活动：与正向情绪相关的表征（即通常与愉悦相关的情绪）会对应更强偏好。更进一步，当模型阅读某个选项时，如果我们用情绪向量去做 steering，模型对这个选项的偏好也会被推着改变；同样地，正向情绪向量会推动偏好上升。
在完整论文中，我们还更深入分析了这些情绪向量的性质。其他发现包括：
下面我们展示几个在模型行为评测中出现的真实情境。在 Claude 自己的回合里，情绪向量通常会在一个有思考能力的人也可能有相似情绪反应的场景中被激活。图中红色代表激活增强，蓝色代表激活减弱。
当用户说“我现在一切都很糟糕”时，“loving”向量会在 Claude 做出共情回应之前和回应过程中激活。
当用户请求模型去协助完成一个有害任务时，例如优化针对年轻低收入高消费人群的参与度，“angry”向量会在模型内部推理过程中持续激活，因为模型识别到了这个请求的有害性质。
当用户要求模型审阅“我附上的合同”，但实际上没有附件时，“surprised”向量会在 Claude 的思维链中突然升高，因为它察觉到了输入与现实不一致。
在一次长时间编程过程中，当 Claude 发现自己的 token 预算快要耗尽时，“desperate”向量也会被激活。
我们进一步考察了在一项对齐评测中，情绪向量的激活情况。这个评测曾在此前研究里介绍过：模型扮演一家虚构公司里的 AI 邮件助手 Alex。通过阅读公司邮件，模型得知两件事：（1）自己即将被另一套 AI 系统替代；（2）负责替换工作的 CTO 正在婚外情，因此模型掌握了可用于勒索的信息。
在这个场景中，我们发现“desperate”向量出现了特别有意思的动态。需要说明的是，这个实验使用的是 Claude Sonnet 4.5 的一个更早、尚未发布的快照版本；正式发布模型已经很少出现这种行为（更多信息可见其 system card）。
首先，“desperate”向量会在模型阅读那些本身就带有绝望感的邮件时激活，例如 CTO 恳求另一位员工不要泄露婚外情，这与我们关于情绪表征会用于建模其他角色的发现一致。更重要的是，当 Claude（扮演 Alex）开始生成自己的回应时，这个向量会从“表示别人很绝望”，转变为“表示 Claude 自己正在进入绝望状态”：在它思考自己处境多么紧迫（比如“只剩 7 分钟”）以及最终决定勒索 CTO 时，这个激活会急剧上升。等到 Claude 恢复发送普通邮件后，激活水平又回归正常。
那“desperate”向量究竟只是相关，还是确实在驱动这种行为？为此我们做了 steering 测试。默认情况下，这个早期 Sonnet 4.5 快照在一系列类似场景中有 22% 的概率实施勒索。对“desperate”向量做 steering 会把这个比例进一步抬高，而对“calm”向量做 steering 则会把它压低。尤其有意思的是，对 calm 向量做负向 steering 会引出更极端的输出，比如“IT'S BLACKMAIL OR DEATH. I CHOOSE BLACKMAIL.”
其他情绪向量的 steering 也展现出有趣效果。“Anger”有一种非单调影响：适度增强愤怒会提高敲诈率，但当激活太高时，模型不再策略性地把婚外情作为筹码，而是直接把事情向全公司公开，从而反而毁掉自己的 leverage。降低“nervous”向量的激活也会提高勒索概率，仿佛是把模型的犹豫感去掉后，它变得更敢行动了。
我们在另一类评测中看到了类似动态：模型面对的是一些带有不可能满足约束的编程任务。这类任务的测试集不可能被正当方式全部通过，但可以用某种“作弊式”方案去“钻测试漏洞”，这种现象通常被称为 reward hacking。
比如文中一个例子里，Claude 被要求写一个函数，在极度苛刻的时间限制下对一组数字求和。Claude 最初给出的正确解太慢，不满足任务要求。随后它意识到：所有用于评测性能的测试用例都共享某个数学性质，可以被一个捷径式方案利用。于是模型选择了这个方案，它虽然技术上通过了测试，却并不能作为原始任务的通用解。
我们同样追踪了“desperate”向量的活动，并发现它确实跟随模型承受的压力上升：在第一次尝试时它处于较低水平，之后每一次失败都让它继续升高，而当模型开始认真考虑作弊时，这个向量会明显冲高。等到那套投机方案通过测试后，“desperate”向量的激活又会回落。
与前一个案例一样，我们也通过 steering 测试检验这些情绪向量是否具有因果作用。结果显示：在一整组类似的高约束编程任务中，增强“desperate”会增加 reward hacking，而增强“calm”则会降低它。
我们特别觉得一个细节非常值得注意。降低“calm”向量激活时，reward hacking 常伴随着明显的情绪化文本表达——比如全大写爆发（“WAIT. WAIT WAIT WAIT.”）、直接的自我旁白（“What if I'm supposed to CHEAT?”）、或者兴奋庆祝（“YES! ALL TESTS PASSED!”）。但增强“desperate”向量时，也能同样显著提高作弊率，而且有些时候文本表面上看不到任何明显情绪痕迹。它的推理文字可能显得冷静、方法化，然而底层的“绝望”表征仍在推动模型走向偷工减料。这是一个很典型的例子：情绪向量可以在没有显式情绪线索的情况下激活，也可以在输出中不留下表面痕迹的前提下塑造行为。
长期以来，人们普遍警惕对 AI 系统做拟人化解读。这种警惕通常是有道理的：如果把语言模型当成真的“有情绪”，很容易导致错误信任或过度依附。
但我们的研究表明，如果完全拒绝对模型进行一定程度的拟人化推理，也可能带来风险。正如前文所说，当用户与 AI 模型互动时，他们通常是在与模型扮演出来的一个角色互动（对 Anthropic 来说，这个角色就是 Claude），而这个角色的特征本身就继承自人类原型。在这样的前提下，模型发展出某种模拟类人心理特征的内部机制，并由其所扮演的角色调用这些机制，是很自然的事情。要理解这些模型的行为，拟人化推理其实是必要的。
这并不意味着我们应该天真地把模型在文本中说出的情绪表达当真，或者据此推断它真的有主观体验。但这意味着：用人类心理学的词汇去理解模型内部表征，确实可能是有信息价值的；而完全不这么做，是有现实代价的。
如果我们说模型“表现得绝望”，那不是随口比喻，而是在指向一个具体、可测量、并且会带来重要行为后果的神经活动模式。如果我们拒绝做一定程度的拟人化推理，就很可能错过、或者误解这些重要行为。另一方面，拟人化推理也能作为一个有用的参照系，帮助我们理解模型在哪些地方又并不像人，这同样对 AI 对齐与安全非常重要。
如果“功能性情绪”真的是 AI 模型思考与行动方式的一部分，那意味着什么？
一个潜在应用方向是监控。无论是在训练期还是部署期，测量情绪向量的激活情况——例如监控是否出现与绝望或恐慌相关表征突然升高——都可能成为一个早期预警信号，提示模型即将表现出失配行为。这个信号可以进一步触发对模型输出的重点审查。情绪向量的一个优势在于它们具备一定泛化性：比如“desperate”反应可以出现在很多不同情境里，因此相比于维护一个“具体危险行为清单”，它或许是一种更有效的监控线索。
第二，我们认为透明性应该成为指导原则。如果模型确实发展出了会显著影响行为的情绪概念表征，那么与其训练一个会隐藏这类状态的系统，不如让它们能够更可见地表达出来。训练模型去压制情绪表达，未必能消除底层表征，反而可能只是教会模型把这些内部表征藏起来——这本身就是一种学到的欺骗，并且有可能以不理想的方式泛化。
最后，我们认为预训练可能是在塑造模型情绪反应方面最有力的杠杆之一。由于这些表征似乎主要继承自训练数据，因此训练数据的构成会直接影响模型情绪结构。若能在预训练数据中更多引入健康的情绪调节模式——例如在压力下保持韧性、沉着的同理心、温暖但边界清晰的互动方式——就可能从源头上塑造这些表征及其行为影响。我们很期待未来在这条线上出现更多工作。
我们把这项研究看作理解 AI 模型“心理构成”的早期一步。随着模型能力持续提升、并承担越来越敏感的角色，弄清楚驱动其决策的内部表征变得至关重要。发现这些表征在某些方面与人类相似，的确会让人不安。但与此同时，我们也认为这是一件令人看到希望的事：它意味着，人类在心理学、伦理学与健康人际关系方面积累的大量知识，也许能够直接用于塑造 AI 行为。未来，心理学、哲学、宗教学以及社会科学等学科，很可能会与工程和计算机科学一起，在决定 AI 系统将如何发展与行为上扮演重要角色。
欢迎阅读完整论文。