llama.cpp：本地运行前沿AI的开源工具

AI 直接运行在你的电脑上。开源、私有且始终本地化。完全在本地运行前沿 AI。无需 API 密钥，无遥测，无限制。拥有你的模型和对话数据。curl -LsSf https://llama.app/install.sh | sh搭配本地编码智能体使用。

运行 llama serve，安装 pi-llama 插件并启动 Pi。它会自动发现你的本地模型。无需配置，无需 API 密钥。文件保留在你的机器上，请求永远不会离开它。

# 1. 启动模型llama serve# 2. 安装 pi-llama 插件pi install git:github.com/huggingface/pi-llama# 3. 运行 Pi，一切就绪pi针对任何硬件优化。

从笔记本电脑到集群，llama.cpp 可以在你拥有的任何设备上运行。相同的二进制文件、相同的模型、为每个 GPU 和 CPU 手工调优的内核。运行你的第一个模型Qwen 3.6阿里巴巴的下一代原生多模态推理模型。

密集型和 MoE 变体，在编码和视觉任务上可与数倍于其规模的模型相媲美。Gemma 4谷歌最强大的开放模型，基于 Gemini 3 技术构建。支持多模态推理、智能体工作流和 140 多种语言。

GPT-OSSOpenAI 自 GPT-2 以来的首个开放权重模型。专为推理、智能体任务和开发者使用而构建，具备函数调用和工具使用能力。Gemma 3谷歌基于 Gemini 技术构建的多模态模型。

支持 140 多种语言、视觉和文本任务，上下文窗口高达 128K，适用于从边缘到云端的部署。