LLM时代的可扩展软件

我们今天交互的大多数网络软件都是静态的。开发人员的时间和注意力有限，专注于构建为最大用户群体服务的功能。现有软件可以很好地满足需求曲线的顶部，但存在未满足需求的长尾，这些需求对每个用户来说都是不同的。

即使开发人员非常有动力地添加每一个功能，用户界面也只能在变得不可用之前变得如此复杂。对于其他用户来说，添加的每一个额外功能都会使产品变得复杂。如果该功能的市场很小，它可能会主动让产品对每个不需要它的用户来说变得更糟。

在这种背景下，LLM辅助编码的兴起真正为任何需要满足这种长尾需求的人提供了力量。软件已经变得……柔软。很明显，LLM在构建“为一人而生的软件”方面确实非常出色。个人应用程序回避了企业软件的所有复杂性和问责制，并专为个人的工作流程定制。

Y Combinator的Pete Koomen认为，他们所谓的“小软件”存在机会。我认为他们有所发现。Pi是我开始认为的LLM原生软件的一个很好的例子：一个经过实战考验的核心，但只需询问即可几乎无限制地扩展，用户还可以与其他人共享他们的定制。

在过去的一年里，您的用户突然获得了将代码说出来的能力。大多数现有软件无法利用这一点。Pi倾向于这一点。我怀疑我们将开始看到更多的软件遵循这种自我扩展模式。

然而，我们现有的大多数可插入软件示例都是本地软件：AI智能体、开发人员IDE、视频游戏模组、Blender附加组件、CAD扩展。这些往往是进入门槛很高的专业工具。网络是世界上最成功的软件分发系统。

它不应该被抛在后面。我的假设是，网络上的可扩展软件有一个新的机会。LLM从根本上降低了创作扩展的成本，而现代沙盒基元则降低了部署成本并提供良好的安全边界。我们可以将我们的应用程序构建为一个可靠、可信的核心，并允许用户通过让LLM填补缺失的部分来安全地向多个方向扩展它。

我们可以为用户提供超能力。披露：我目前在Cloudflare工作，在那里，对Kenton Varda作品的高度接触塑造了我在这里的大部分想法。在接近尾声时，我将论证Dynamic Workers特别适合该模型，但我将首先介绍几种替代方案。

这会是什么样子？如今，许多网络系统都依赖webhooks来允许用户对应用程序中的更改做出反应。

这种方法确实有效，但它为扩展设定了很高的标准：构建和运营完全独立的服务，以及处理出现的任何交付问题。我希望能够连接到记录更新并融入我自己的逻辑。“当我将此标签附加到记录时，请运行我的函数”。“在日常cron上为我做这个动作”。

实际上，我根本不想考虑这个问题。

我想告诉我的稍后阅读应用程序：- 请将我认为超过4000字的文章发送到我的<电子阅读器>- 每周查找<我的专业>在arxiv上发表的新论文，在顶部添加您自己的总结，说明它与我的工作的关系，并标记为<标签>- 默认算法完全弄乱了<我经常阅读的网站>。

取出几个例子并为其制作一个自定义解析器。然后机器人将挤出愚蠢的代码片段，将它们挂钩到一些扩展点中，然后实现这一目标。我还应该能够与其他可能也想要相同功能的人分享我所制作的东西。以下是我希望看到LLM原生扩展方法的更多领域。

AI智能体#好吧，这是显而易见的一个。Pi、DeepSeek和OpenCode都在这个领域进行实验。Pi没有将每个新想法添加到其核心中，而是为工具、命令、事件和UI提供稳定的挂钩，因此它可以将请求转换为一个小型TypeScript扩展并将其重新加载到位。

然后，这些扩展可以捆绑到可以共享的包中，让生态系统吸收创意的长尾，而不会使工具本身臃肿。然而，这些内容的受众，至少就它们现在存在的情况而言，相当少。您必须在本地机器上轻松运行自定义软件。在企业环境中，组织必须让您运行从未有人见过或将永远不会见过的软件。

除非您自己对Pi进行沙盒处理，否则Pi扩展将以与Pi本身相同的权限运行。软件工程师会找到一种方法，但会计师、医生、律师和数千个其他职业也应该得到更好的工具。他们需要能够安全、轻松地根据其领域和自己的工作流程定制的智能体。

如果我们要让更多的人使用智能体，那并不意味着让他们成为软件开发人员。这意味着让软件满足他们的需求。内部企业平台#所有公司最终都会拥有大量数据。员工需要查看、查询、调查、将其与另一个系统中的其他数据关联起来，找到正在经历<问题x>的客户、寻找即将流失的客户，以及一百万件事。

许多公司正在尝试允许人工智能爱好者的员工自行编写工具，也许将其部署到PaaS。这是方向正确的，但会产生一系列下游问题。一旦您拥有数百或数千个此类应用程序，您如何维护它们？

他们如何访问所需的数据？他们如何仅访问所需的数据？我们如何审核这个软件正在做什么？如果我们依赖访问令牌，那么它们的范围是什么？谁轮换它们？我们如何确保不会将客户信息记录到第三方？我们如何确保我们没有违反GDPR？

或者真正的企业需要担心的一百万个其他合规和安全问题。如果我们给他们一个部署代码的地方，那里没有可以泄露的授权令牌会怎样？数据访问由内部平台团队处理，并确保所有合规框都得到勾选？为他们提供空间来构建自己的自动化或自定义视图，但要安全。

剧透：这基本上是Cloudflare OS。支持平台#我的职业生涯花了很多时间处理棘手的支持工单。不可避免地，我最终会在仪表板中挖掘，搜索日志，从一百万个不同的地方提取数据。让我创建扩展，将打开工单的用户的数据从我的特定系统显示到支持界面。

给我一个钩子，这样我就可以在我看它之前，让智能体为我做第一轮调查。如果有一些常见的任务需要我做，比如“重置特定配额X”，让我在我的视图中添加一个按钮，可以做到这一点。然后也让我与我的团队分享这些，这样我们都可以互相帮助。

可观测性平台#许多可观测性工具都集中在同一个特性集上：一种用顶部的小条形图搜索日志的方法。用于查看单个跟踪的跟踪瀑布视图。可自定义的指标仪表板。也许是服务地图。一些人正在尝试新的可视化，特别是随着智能体的兴起。

古老的跟踪瀑布图对于形状为请求/响应的系统非常有用，其中您主要关心延迟和成功率。我们中的很多人发现自己的系统更加……有状态……或动态。现代应用程序正在运行非确定性智能体或持久工作流引擎，其中一项操作可能需要数小时或数天的时间。

跟踪跨度是一个很好的真相来源，但让我尝试我自己的可视化（或安装其他人的）。超越美丽的事物