AI开源LLMOps平台TensorZero获730万美元种子轮后归档仓库

TensorZero是一个开源的LLMOps平台，它统一了：- 网关：通过统一的API访问每个LLM提供商，专为性能而构建（<1 ms p99延迟）- 可观察性：将推断和反馈存储在数据库中，可通过编程方式或在UI中使用- 评价：使用启发式方法、

LLM法官等对个人推理或端到端工作流程进行基准测试-优化：收集指标和人类反馈以优化提示、模型和推理策略- 实验：通过内置的A/B测试、路由、后备、再试等，您可以放心地交付。您可以采用所需的内容，逐步采用，并与其他工具进行补充。

它与OpenAI SDK、OpenTelember和每个主要的LLM提供商很好地配合使用。TensorZero被从前沿人工智能初创公司到财富10强等公司使用，目前占全球LLM API支出的约1%。

网站·Docs·Twitter·松弛·不和快速启动（5分钟）·部署指南·API参考·配置参考张力零演示。

MP4注意TensorZero Autopilot是一位由TensorZero提供支持的自动化人工智能工程师，负责分析LLM可观察性数据、设置eval、优化提示和模型以及运行A/B测试。

它极大地提高了LLM代理在不同任务中的性能：与TensorZero集成一次并访问所有主要LLM提供商。

- 通过单个统一API调用任何LLM（API或自托管）- 根据工具使用、结构化输出（SON）、批处理、嵌入、多模式（图像、文件）、缓存等进行推断-创建提示模板和模式以在应用程序和LLM之间实施结构化接口- 借助ExpressRust，满足极端的吞吐量和延迟需求：

10 k + QPS时，

<1 ms p99延迟负担- 通过路由、再试、回退、负载平衡、粒度超时等确保高可用性-跟踪使用情况和成本，并通过粒度范围强制自定义费率限制（例如G.标签）- 为TensorZero设置身份验证，允许客户端访问模型，而无需共享提供商API密钥Anthropic、

AWS Bedrock、

AWS SageMaker、Azure、DeepSeek、烟花、GCP Vertex AI Anthropic、GCP Vertex AI Gemini、Google AI Studio（Gemini API）、Groq、Hyperbolic、Mistral、

OpenAI、OpenRouter、SGLang、TGI、Together AI、vLLM和xAI（Grok）。需要其他东西吗？TensorZero还支持任何与OpenAI兼容的API（例如G.奥拉马）。

您可以将TensorZero与任何OpenAI SDK（Python、ode、Go等）或OpenAI兼容的客户端一起使用。- 部署TensorZero Gateway（一个Docker容器）。

- 更新base_url和模型在您的OpenAI兼容客户端中。

- 运行推断：从openai进口OpenAI#将客户端指向TensorZero Gateway客户端= OpenAI（base_url=“http：//localhost：3000/openai/v1”，api_key=“not-used”）响应=客户。

chat.完成。

创建（#调用任何模型提供者（或TensorZero函数）模型=“tensorzero：：模型_名称：：anthropic：：claude-sonnet-4-6”，消息=[{“角色”：“用户”，“内容”：“分享一个关于TensorZero的有趣事实。

",}],)有关更多信息，请参阅快速入门。放大以调试各个API调用，或缩小以监控模型和提示随时间变化的指标-所有这些都使用开源TensorZero UI。

- 将推论和反馈（指标、人工编辑等）存储在您自己的数据库中- 使用TensorZero UI或以编程方式深入研究个人推断或高级聚合模式- 构建用于优化、评估和其他工作流程的数据集- 使用新提示、模型、

推理策略等回放历史推理-输出OpenTelemetry跟踪（OTLP）并将Prometheus指标输出到您最喜欢的应用程序可观察性工具- 很快：人工智能辅助调试和根本原因分析;

人工智能辅助数据标签发送生产指标和人类反馈，以轻松优化您的提示、模型和推理策略-使用UI或以编程方式。- 使用监督式微调、WLHF和其他技术优化您的模型- 使用自动提示工程算法（如GEPA）优化您的提示- 通过动态上下文学习、最佳/N混合抽样等优化您的推理策略。

- 为您的LLM实现反馈循环：数据和学习惯性将生产数据转化为更智能、更快、更便宜的模型- 很快：合成数据生成使用启发式方法和LLM评委支持的评估来比较提示、模型和推理策略。

- 通过启发式或LLM法官支持的推理评估来评估个人推理（LLM的预设单元测试）- 通过完全灵活的工作流程评估来评估端到端工作流程（LLM的NPS集成测试）- 就像任何其他TensorZero功能一样优化LLM法官，使其与人类偏好保持一致- 很快：更多内置评估者;

无头评估通过内置A/B测试、路由、回退、再试等，自信地发货-运行自适应A/B测试，自信地发货并为您的用例识别最佳提示和模型。- 在复杂的工作流程中执行原则性实验，包括支持多回合LLM系统、顺序测试等。

使用开源堆栈构建，该堆栈非常适合原型，但从头开始设计以支持最复杂的LLM应用程序和部署。

- 使用GitOps友好的编排构建简单的应用程序或大规模部署- 通过内置逃生舱口、编程优先使用、直接数据库访问等扩展TensorZero- 与第三方工具集成：专业的可观察性和评估、模型提供者、代理编排框架等。

- 通过使用Playground UI交互式尝试提示来快速迭代TensorZero与其他LLM框架有何不同？- TensorZero使您能够根据生产指标和人类反馈优化复杂的LLM应用程序。

- TensorZero支持工业级LLM应用程序的需求：低延迟、高吞吐量、类型安全、自托管、GitOps、可定制性等- TensorZero统一了整个LLMOps堆栈，创造了复合优势。例如，LLM评估可以与人工智能评委一起微调模型。

我可以将TensorZero与__一起使用吗？是的支持每种主要编程语言。它与OpenAI SDK、OpenTelember和每个主要的LLM提供商很好地配合使用。TensorZero是否已准备好生产？

是的TensorZero被从前沿人工智能初创公司到财富10强等公司使用，目前占全球LLM API支出的约1%。这是一个案例研究：在一家拥有LL的大型银行自动化代码更改日志TensorZero的价格是多少？

TensorZero（LLMOps平台）100%自托管和开源。TensorZero Autopilot（自动化人工智能工程师）是由TensorZero支持的补充付费产品。谁在构建TensorZero？

我们的技术团队包括一位前Rust编译器维护者、被引用数千次的机器学习研究人员（斯坦福大学、CMU、牛津大学、哥伦比亚大学）以及一家Decacorn初创公司的首席产品官。我们得到了与领先开源项目相同的投资者（例如。

G.

Click House、CockroachDB）和人工智能实验室（例如。G. OpenAI，Anthropic）。查看我们的7美元。VentureBeat的3 M种子轮公告和报道。我们正在纽约招聘。

我该如何开始？您可以逐步采用TensorZero。我们的快速入门从一个普通的OpenAI包装器转变为一个具有可观察性和微调的生产就绪LLM应用程序，只需5分钟。今天开始建设。快速入门显示，使用TensorZero可以轻松设置LLM应用程序。

问题？问我们关于Slack或Discord。在工作中使用TensorZero？发送电子邮件至hello@tensorzero。com与您的团队建立Slack或Teams频道（免费）。我们正在开发一系列完整的可运行示例，以说明TensorZero的数据和学习惯性。

使用TensorZero优化数据提取（NER）此示例展示了如何使用TensorZero优化数据提取管道。我们演示了微调和动态上下文学习（DCL）等技术。最后，选择