AI护栏如何阻碍攻击性网络安全研究人员的工作

几个月来，AI巨头设计了经过特殊审查的程序和严格的护栏，以限制恶意黑客使用其模型。但这些限制现在阻碍了合法网络防御者以及攻击性网络安全研究人员的工作。6月，美国政府对Anthropic大肆宣传的AI模型Mythos和Fable实施了出口管制限制。

此举至少部分源于一份报告，该报告声称可以绕过这些模型旨在防止用户构建和执行恶意网络攻击的护栏。无论该事件是否真的出于对越狱的担忧，事实是Anthropic一再将Mythos营销为某种末日网络机器，只能提供给经过仔细审查的用户，并且即使如此也设有严格的护栏。

（此后对Fable 5和Mythos 5的出口管制已解除。Fable 5于7月1日恢复普遍访问；Mythos 5仅作为政府审查过程的一部分重新引入给经过审查的美国组织。）这种把关并非Mythos独有。

Anthropic的其他模型以及OpenAI都为网络安全研究人员提供了可申请审查的程序，如果获批，则可访问网络安全限制较少的模型：OpenAI的Trusted Access for Cyber和Anthropic的Cyber Verification Program。

这些护栏受到了广泛批评，尤其是那些负责在系统中发现未知漏洞并在犯罪分子之前设计利用方法的研究人员。著名安全研究员Mark Dowd最近在网络安全播客中表示：“这些随机的大公司对安全领域什么安全、什么不安全做出任意决定，这让我感到不舒服。

”Dowd几十年来一直寻找并向西方政府出售“零日漏洞”——即先前未知的软件缺陷及其利用方法——而不是向软件制造商报告以便修补。政府为漏洞支付溢价正是因为它们保持开放，这对情报行动很有用。Dowd承认他的工作可能让他有偏见，但他并不孤单。

几位从事攻击性网络安全工作的人——他们主动探测系统弱点——向TechCrunch描述了如何使用AI工具并应对其护栏。安全咨询巨头NCC Group的首席科学家Chris Anley表示，要求AI模型尝试利用漏洞是确认其是否值得修复的关键步骤。

但他说，如果护栏促使模型直接拒绝回答，那么护栏反而伤害了防御者。

Anley说：“这就是整个攻击与防御及护栏部分的关键所在，因为‘修复此代码’这个提示既是防御的重要机制，也是在代码库中寻找关键漏洞的路线图。所以同一工具既是攻击工具又是防御工具，两者无法真正分离。

”他继续说道，这“就像一把锤子。没有锤子你无法建造房子。它绝对是一种工具，但也不可避免地是一种武器。”当他和同事遇到此类障碍时，他们有时会求助于完全没有护栏的开源AI模型。

CrowdFense（一家开发、收购并向政府机构出售未知漏洞的知名公司）的首席技术官Paolo Stagno同意Dowd的观点，称AI公司“本质上像对待需要保姆的孩子一样对待客户”，通过其审查程序和护栏。

Stagno说，他和同事确实使用前沿模型——但仅用于逆向工程。他们避免使用AI来帮助发现漏洞或构建利用，因为将此类工作输入基于云的模型可能会泄露敏感的漏洞数据或被吸收到未来的训练中。他说，对于这一步，他们使用本地运行的开源模型，因为不依赖模型外部的数据共享。

发现零日漏洞并开发利用的安全研究员Giuseppe Cali表示，护栏并未阻碍他的工作。这是因为他不使用AI进行攻击性工作；相反，他将其用于初始逆向工程、理解正在分析的代码以及构建辅助工具。他说，AI工具可以加速这一过程，让他专注于发现漏洞。

Cali说：“我仍然想自己拥有实际的漏洞发现和武器化，即使明天所有护栏都解除，这也不会改变。我珍惜自己的漏洞，太喜欢这个游戏了，不想让模型替我玩。

”一家智能手机组件制造商的研究员（因无权与媒体交谈而要求匿名）表示，其雇主未加入Anthropic的CVP计划，因此其工具因护栏过于严格而几乎无法用于发现漏洞。该人士说：“如果它察觉到我们在做任何与安全相关的事情，就会停止并无法使用。

”网络安全公司RemoteThreat的首席执行官兼Offensive AI Con（一个专注于攻击性安全和AI的活动）创始人Chris Thompson表示，根据他使用前沿AI模型的经验，护栏可能不一致，每天的工作方式都不同。

即使在Anthropic和OpenAI审查程序的较宽松边界内也是如此。

Thompson说：“我认为实际影响是，你花大量时间与模型协商，而不是处理核心安全计划。你不是在分析漏洞并通过可利用性进行推理，而是在试图找出为什么得到不一致的结果，或者为什么模型过度净化输出。

”因此，Thompson说，研究人员依赖或被迫转向GLM等中国开源模型——这些模型可免费下载，在本地运行，无需审查或使用限制。他说：“这些负责任的研究人员正被从美国管辖的系统推向外国拥有的系统。

我认为设置这些护栏弊大于利。”Thompson呼吁AI前沿实验室开放其程序，提供负责任的访问，并追究滥用工具者的责任，而不是进一步收紧限制。他认为，否则防御者将在AI竞赛中落败。Thompson说：“一场大风暴即将来临。

一波前所未有的速度和规模的攻击即将到来。但那些试图有所作为的安全咨询公司和合法研究人员现在正被扼杀。”