AI 见闻
精选· 重要性 4/5

微软推出开源标准ACS,让开发者更精细地控制AI代理行为

TechCrunch — AI··Ram Iyer·约 2 分钟阅读
中文导读

微软发布Agent Control Specification (ACS) 开源标准,旨在为开发者提供统一、可审计的策略框架,在多个拦截点检查AI代理行为,解决企业部署代理时的安全与合规难题。

随着AI代理的能力越来越强,竞相让它们跨应用、工作流和产品投入使用的企业面临一个新挑战:确保代理在不同环境中部署时能按预期行事。

微软正试图通过一项名为Agent Control Specification (ACS) 的新开源标准来解决这个问题,该标准旨在为开发者提供一种更一致、更精细的方式来控制AI代理的权限。该规范本质上允许开发、合规和安全团队定义自己的策略供代理遵循。

规则可以定义代理可以做什么、不能做什么、何时需要人工批准某个操作,以及应记录哪些证据供后续审查。当代理执行任务时,这些策略文件会在多个“拦截点”被检查,以确保其不越界。

该规范发布之际,开发者正在临时拼凑各种方法来控制AI的所见所为,尤其是当讨论聚焦于AI工作流因工具误用或意外行为导致级联故障时。目前,开发者可能会在系统提示中指定指令、在应用代码中添加自定义检查,或使用分类器来捕获有问题的输入和输出。

这些方法虽然有效,但往往导致控制碎片化,难以审计,且难以在不同框架、接口和系统中复用。

ACS旨在将这些控制整合到一个统一的治理层中。微软表示,该规范可用于在代理工作流的多个节点检查其是否遵守护栏——在接收输入之前、调用工具之前、工具返回结果之后,以及将最终响应发送给用户之前。策略可以允许某个操作、阻止它、编辑敏感信息,甚至要求某人批准。

开发者还可以插入输入和输出的分类器,用于对信息分类、预测结果或决定代理应如何响应;添加带提示的LLM作为策略的“裁判”;以及用于检查工具调用、工具选择、输入准确性、输出使用和响应的逻辑。

由于这些策略可以写成单个文件,它们可以与代理捆绑在一起,从而让安全策略随代理跨不同框架和环境流转。

ACS以SDK形式发布,包含LangChain、OpenAI Agents SDK、Anthropic Agents SDK、AutoGen、CrewAI、Semantic Kernel、Microsoft.Extensions.AI、MCP工具等的插件。

原文出处
Microsoft offers devs a better way to control AI agent behavior

本文为机器翻译辅以 AI 润色,仅供参考。原始事实以原文为准。

相关阅读