检测和打击人工智能的滥用:2026年9月
检测和打击人工智能的滥用:2026年9月在过去的八个月里,我们的威胁情报团队发现并破坏了威胁行为者试图利用克劳德进行恶意活动的行动。
在本报告中,我们分享了这些操作的案例研究,并描述了自2025年3月、8月和11月我们之前的威胁报告以来,对Claude的恶意使用是如何演变的。在每种情况下,我们都扰乱了活动,利用我们学到的知识来加强我们的保障措施,并在适当的情况下与当局和行业合作伙伴分享情报。
本报告涵盖了2025年12月至2026年8月期间我们在七个危害领域破坏的活动:网络行动、影响力行动、监视、诈骗和欺诈、生物滥用、常规武器开发和蒸馏。使用了Claude Haiku、十四行诗和Opus模型。
除了一起非法蒸馏案件外,所有滥用案件都不涉及克劳德·寓言或神话级模型的使用。我们在这里分享的案例不是典型的滥用,而是我们迄今为止发现的最引人注目、最新颖的威胁活动的例子。我们发布此作品是因为我们相信我们有责任披露恶意滥用我们服务的行为。
随着模型的能力越来越强,它们的风险将会增加,除非人工智能开发人员和社会的捍卫者采取行动使它们变得更安全。
本报告涵盖的威胁行为者包括涉嫌国家支持的团体、出于经济动机的犯罪分子、商业间谍软件供应商、国家宣传机构和出于政治动机的个人。这些案件的范围从旨在欺骗用户的虚假约会应用程序网络,到旨在识别和监控持不同政见者的监控系统。
复杂且持久的威胁行为者不断测试我们的防护措施,并试图规避我们用来检测和防止滥用的技术措施。我们将继续完善我们的保障措施并与合作伙伴协调,以提高我们检测、破坏和防止未来滥用的能力。
我们希望本报告中的调查结果能够帮助其他开发者认识到其平台上的类似模式,让政府和民间社会更清楚地了解新兴威胁的形成方式,并加强集体防御。人工智能增强网络运营网络运营:从助理到编排者在过去的六个月里,我们的威胁情报团队发现并破坏了一系列威胁行为者利用克劳德的网络行动。
参与者包括涉嫌国家支持的团体、出于经济动机的犯罪分子和出于政治动机的个人。本节介绍了其中一些案例。在这些案例研究中,该报告将参考生成性威胁组(GTG)。这些是Anthropic对被观察到滥用人工智能的演员的内部指示符。
该报告还试图衡量提升(我们用这个术语来描述人工智能能力的提升),或者使用人工智能与没有人工智能相比造成了多少伤害。我们通过速度、规模和深度的视角来看待提升,并试图确定演员对人工智能的采用如何有意义地影响其中的每一个特征。
许多评论员关注人工智能大规模开发漏洞的风险。虽然这是一种危险,但采用人工智能的风险在整个网络杀伤链中更为明显,对手可以在更广泛、更深的表面积上以更少的资源更快地运作。这些案件的时间跨度为2025年12月至2026年8月。
在所有情况下,使用了Claude Haiku,Sonnet和Opus模型;在Claude Fable或Mythos上没有发现恶意活动(这些都有一系列保护措施,大大降低了执行有害网络任务的能力)。
在每一种情况下,我们都中断了相关活动,根据我们所了解到的情况加强了我们的人工智能保护措施,并在适当的情况下与当局和行业合作伙伴分享情报。在下面的报告中,我们首先讨论我们在这些网络行动中观察到的主要趋势,然后报告案例研究以及它们如何突出这些趋势。
趋势复杂的攻击不再需要复杂的攻击者人工智能模型的网络安全技能意味着人工智能已经缩小了劳动力和工具差距,这些差距曾经将资源充足、国家支持的运营与个体运营商区分开来。
在我们下面报告的案例研究中,一个使用被盗API密钥的黑客活动家,不同的经济动机的个人,以及一个国家间谍操作员,每个人都持续了多受害者活动,即使是一年前,也需要许多熟练的操作员和专业知识。对于威胁情报调查人员来说,复杂程度已不再是行动幕后黑手的可靠信号。
从侦察和工具开发到数据处理和利用,每一层进攻行动都得到了人工智能的提升。案例研究GTG-50014(如下所述)记录了这种能力提升的一个示例。这种能力提升的净效应是获得知识的广度和深度增加,这反过来又推动能力开发和实施的速度加快。
2025年11月,我们记录了一个疑似国家支持的活动用于进行自主攻击的操作模型。这种运营模式现在已经在我们调查的每一类参与者中扩散。公开可用的攻击性代理框架(如PentAGI)为任何下载它们的人复制了大部分相同的框架。
这种脚手架有效地自动化了网络杀伤链的每一步。观察到的病例背后的操作者范围从国家服务到孤独的个人,分布在越来越多的国家。案例研究GTG-20006中记录了采用人工智能杀伤链的一个例子。
随着模型的不断发展和完善,我们评估,从独狼到有组织的实体,更多的参与者将继续采用人工智能框架,以更快的速度和规模进行更复杂的网络攻击。人工智能在网络运营中的角色变得越来越自主本报告中描述的大部分操作都是由人工智能通过直接执行或编排实现的。
人工智能的使用不仅仅是聊天机器人的简单问题和回答,而是涉及使用执行侦察、利用和数据泄露的多代理框架。人类通过设定攻击目标和审查撤离来保持在循环中。这种趋势的一个例子是GTG-20006。
该参与者开发了一个人工智能辅助的工作流程,如果安全产品检测到它,它会自动重建和重新部署工具包。GTG-20006:俄罗斯间谍活动从历史上看,网络间谍行为者一直遵循开发和部署旨在逃避检测的定制工具包的模式。
参与者将使用这些工具,直到防御者识别并构建签名来检测和阻止它们,然后开始新的规避和检测循环。
因此,强大的防御和检测增加了对手的成本。然而现在,人工智能的采用可能会快速、轻松地颠覆防御者仅通过静态检测向对手施加成本的能力。GTG-20006是一位通过使用人工智能自动化操作来提高速度的演员。
我们的归因与将该演员与午夜暴雪联系起来的公开报道一致。其中一名操作员是一名使用“JackPoterz”的俄语使用者,其间谍技巧和目标与俄罗斯国家关系间谍活动一致。他们开展行动,攻击乌克兰和欧洲政府的军事情报目标,以及与美国外交政策有关的外交和国防组织和个人。
我们观察到GTG-20006通过定制的人工智能驱动的工作流程运行,该工作流程将大部分操作自动化,从开发、基础设施获取、网络钓鱼、通过命令和控制的持久化到数据