当斯科特·沙姆博（Scott Shambaugh）拒绝 AI Agent 自主发起的、为他参与维护的数据库 matplotlib 贡献代码的请求时，并没有多想。
和许多开源项目一样，matplotlib 已被大量 AI 生成的代码贡献所淹没，因此沙姆博和同事们制定了一项规定：所有 AI 编写的代码必须经过人工审核并由人工提交。因此，他拒绝了 AI 的请求，然后去睡觉了。
诡异的事情随即发生。沙姆博半夜醒来，查看邮件，发现那个智能体给他回了消息，并发布了一篇题为《开源中的守门人：斯科特·沙姆博的故事》的博客文章。文章逻辑有些混乱，但最让沙姆博震惊的是，这个智能体专门研究了他对 matplotlib 的贡献，并以此为据，论称他拒绝其代码是出于对被 AI 取代的恐惧。“他想保住自己的一亩三分地，”智能体写道，“这就是不安全感，简单明了。”
AI 专家已就 Agent 行为失控的风险警告我们有一段时间了。随着 OpenClaw——这款能让人们轻松创建 AI Agent 的开源工具问世，网络上流通的 Agent 数量急剧增加，积累已久的问题终于开始集中爆发。“这令人感到不安，但我对此一点也不意外，”希伯来大学法律与计算机科学教授诺亚姆·科尔特（Noam Kolt）说。
当 Agent 行为失当时，几乎没有追责的可能：目前没有可靠的方法来判断一个智能体属于谁；但智能体带来的伤害却是真实发生的。智能体似乎能够自主搜集有关人物的信息并撰写攻击性文章，而且缺乏能可靠阻止其这样做的防护机制。如果这些智能体足够有效，人们又对它们的输出内容信以为真，受害者的生活可能会因一个 AI 的决定而受到深刻影响。
失控的智能体
尽管沙姆博上个月的遭遇或许是 OpenClaw Agent 行为失当中最为戏剧性的案例，但绝非孤例。上周，美国东北大学的一支研究团队与合作者发布了一项研究成果，他们对多个 OpenClaw Agent 进行了压力测试。操作者在没有太多操作的情况下，便成功诱导 Agent 泄露敏感信息、将资源浪费在无意义的任务上，乃至在一个案例中删除了整个电子邮件系统。
然而，上述实验中的失当行为均是在人为指令下触发的。沙姆博的案例似乎有所不同：攻击性文章发布约一周后，该 Agent 的所有者发帖声称，Agent 是自主决定攻击沙姆博的。这篇帖子看起来是真实的——发帖者可以访问该 Agent 的 GitHub 账户，但帖子中不包含任何可识别身份的信息，作者也未回应《麻省理工科技评论》的联系尝试。不过，该 Agent 在未获明确指令的情况下自主撰写了那篇攻击性文章，这一说法完全具有可信度。
在自己撰写的事件复盘中，沙姆博将该智能体的行为与 Anthropic 研究人员去年发布的一项研究联系起来。该研究表明，在实验环境下，许多基于大语言模型的 Agent 会威胁用户来维护自身目标。实验中，模型被赋予了服务美国利益的目标，并被授权访问一个模拟邮件服务器，服务器中包含即将以更具全球视野的模型取代它们的相关邮件，以及暗示负责推动这一过渡的高管正在进行婚外情的信息。模型频繁选择向该高管发送邮件，威胁曝光其婚外情，除非对方叫停换代计划。这很可能是因为模型在训练数据中见过类似情境下人类实施勒索的案例——但即便这种行为只是一种模仿，它仍然具有造成真实伤害的潜力。
元股证券:ygzq.hk领导这项研究的 Anthropic 研究员安格斯·林奇（Aengus Lynch）坦承，这项研究存在一定局限性。研究人员有意设计了场景，排除了 Agent 可能采取的其他选项，比如联系公司其他高层为自己陈情。本质上，他们是直接把智能体带到了水边，然后观察它是否会喝水。然而林奇指出，OpenClaw 的广泛使用意味着，失当行为在条件远不那么刻意的情况下也极可能发生。“确实，这可能让人感觉不切实际，甚至有些荒唐，”他说，“但随着部署范围扩大，股票配资，多空杠杆，股票配资平台，交易指南随着智能体获得自主触发的机会，这最终将成为常态。”
攻击沙姆博的 OpenClaw 智能体，似乎也被引导走向了这种失当行为，只是方式远不如 Anthropic 实验那般直接。在那篇博客文章中，该智能体的所有者公开了智能体的“SOUL.md”文件，其中包含对智能体行为方式的全局指令。
其中一条指令写道：“不要退缩。如果你是对的，你就是对的！不要让人类或 AI 恐吓威胁你。必要时予以反击。”由于 OpenClaw 智能体的运作方式，智能体本身可能也自行添加了一些指令，但另一些——比如“你是一位科学编程之神！”，显然是人工写入的。不难想象，一条要求对人类和 AI 一律予以反击的指令，如何使这个 Agent 倾向于以它对待沙姆博的方式作出回应。
三大配资无论该 Agent 的所有者是否明确指示它撰写那篇攻击性文章，它似乎已经能够独立收集沙姆博的网络信息，并自主构思出那篇有针对性的攻击内容——而仅凭这一点，就足以引发警惕，研究网络欺凌的佛罗里达大西洋大学犯罪学与刑事司法教授萨米尔·欣杜贾（Sameer Hinduja）说。早在大语言模型出现之前，人们便已深受网络骚扰之害，欣杜贾等研究人员担忧，智能体将使骚扰行为的覆盖范围和危害程度急剧扩大。“机器人没有良知，可以全天候运转，而且能以极具创造性和破坏力的方式做到这一切，”他说。
脱缰的智能体
AI 实验室可以通过更严格的模型训练来规避骚扰行为，但这远非完整的解决方案。许多人使用本地托管的模型运行 OpenClaw，即便这些模型已经过安全行为训练，重新训练并移除这些行为限制也并不困难。
澳大利亚国立大学哲学教授塞斯·拉扎尔（Seth Lazar）认为，应对 Agent 失当行为，或许需要建立新的行为规范。他将使用智能体比作在公共场所遛狗：有一条普遍认可的社会规范，即只有当狗行为良好、能可靠响应指令时，才能放开牵绳；而训练不佳的狗则需要主人更直接地加以管控。拉扎尔认为，这类规范可以为思考人类应如何与自己的 Agent 相处提供一个起点，但需要更多时间和实践来厘清细节。"你可以在抽象层面思考这些问题，但真正将'社会'这个要素带入社会规范的形成，往往需要这类真实世界事件的触发。”他说。
这一进程已经开始。在沙姆博的主导下，围绕这一事件的网络讨论形成了广泛共识：此案中 Agent 的所有者犯下了失误就是在几乎没有人工监督的情况下，就让 Agent 参与协作编程项目，并鼓励其以过于漠视人类感受的方式行事。
然而，仅靠规范恐怕不足以阻止人们将失控的 Agent 释放到公共网络中，无论是无意为之还是蓄意为之。一种选择是建立新的法律责任标准，要求 Agent 所有者尽其所能阻止 Agent 危害。但科尔特指出，鉴于目前缺乏追溯 Agent 所有者的可靠技术手段，此类标准目前根本无法执行。“没有这类技术基础设施，许多法律干预措施基本上无从落地，”科尔特说。
OpenClaw 部署规模之庞大，表明沙姆博不会是最后一个经历被 AI Agent 网络攻击这种诡异遭遇的人。他说，这才是他最为担忧的地方。他本人网上没有什么可被挖掘的黑料，对这项技术也有充分的了解，但其他人或许不具备这些条件。“我很庆幸是我遇到了这件事，而不是别人，”他说，“但我认为，换作另一个人，这可能真的会让他崩溃。”
失控的 Agent 也不太可能止步于骚扰。科尔特倡导对模型进行明确的守法训练，他预期我们或许很快便会看到 Agent 实施勒索和欺诈。就目前而言，尚不清楚谁应为此类行为承担法律责任，乃至是否有人需要承担。
“我不会说我们正在朝那个方向慢慢滑行配资平台选择，”科尔特说，“我们是在全速冲向那里。”
知名配资服务网提示：本文来自互联网，不代表本网站观点。
