最危险的AI黑客技术仍需人类参与

智能体AI已永久改变网络安全，使发现和修复软件漏洞或开发所谓漏洞利用代码变得更快捷。

但长期从事网络安全的研究员詹姆斯·凯特尔希望超越漏洞搜寻，探索一个随着主要AI组织披露现实世界中恶意AI黑客攻击案例而变得更加紧迫的问题：智能体AI能否从概念到实际攻击，开发出新颖、抽象的黑客方法？

周三在拉斯维加斯举行的Black Hat安全大会上，凯特尔展示了其研究结果，这些结果既体现了AI快速提升的网络安全能力，也揭示了其局限性。目前，凯特尔问题的答案很微妙。他总结道，AI或许具备最低限度的能力，但在完全自主设计新攻击路径方面极为有限。

然而，重要的是，当在关键时刻与人类指导和洞察相结合时，凯特尔发现AI在构思和发现新黑客策略方面是极其强大的伙伴。

在花费数年研究网络安全漏洞后，凯特尔表示，由于AI对使用共享代码处理请求和响应的Web服务器的启示，他发现了一个全新的潜在漏洞领域——称为Shared-Parser Confusion。

凯特尔在会议演讲前告诉《连线》杂志：“这绝对是一个重大事件，因为如果你想想，对网站的请求是完全不可信的，它们可以是任何东西，但响应是可信的。所以这是一个主要的攻击面，可能波及许多不同的攻击类型。

”这一发现源于2025年9月开始的数月实验，当时使用了Anthropic和OpenAI的最新模型。凯特尔想探索AI进行理论安全研究的能力，但很快意识到一个障碍是系统试图通过返回关于难以审查的极其深奥主题的发现来将现有研究冒充原创。

考虑到这一点，他决定将测试范围缩小，使AI系统在他自己的Web安全专业领域内工作。这样他就能完全掌握材料，知道AI无法欺骗他。此外，凯特尔意识到，通过综合自己的研究方法并训练模型，他可以更深入地探究系统自行推断的能力。

凯特尔说：“我有兴趣将AI推向绝对极限，看看它在哪里失败，哪里需要人类。仍然很少有人讨论极限在哪里，尤其是在安全领域，因为没有动力去讨论这个角度。”

每个人都想被视为AI原生，而不是谈论他们的系统在哪里完全崩溃。”随着凯特尔完善实验——为模型提供更多方法论数据和更精细的参数——以及随着时间推移和更强大模型的推出，他说系统以远超他自己的速度产生越来越多的发现，形成了他所描述的生产性研究反馈循环。

“这个过程真的很有趣。它可能每两天就有显著发现，而我甚至没有登录系统，以至于让我感到焦虑，”凯特尔说，“就像我几乎不想知道一样。研究线索太多，你会因为无法全部探索而感到错失恐惧，所以这迫使你自动化更多分析。

”除了在几个月内找到比几年内可能找到的更多某些漏洞的实证例子外，凯特尔还希望AI系统能发现一整类全新的此类错误。他说，在某种程度上它确实成功了，但这一发现与一种极其罕见的错误类型有关，并且在唯一可用的脆弱目标上实际上无法利用。

不过，凯特尔强调，Shared-Parser Confusion的发现非常重要，尽管这是人类与AI合作的成果，因为它说明了当前AI系统如何最有力地贡献于网络安全工作，无论是防御性还是进攻性黑客。

凯特尔说：“它本身无法证明这一点，但它分析了一些真实、已验证的发现并提出了假设，我评估并确认了它。这可能是具有最大长期影响的发现。它自己做不到，但我自己肯定永远找不到。即使你给我[文档]中的那一行，我也不会看到。

但我们一起设法找到了它。”