AI 见闻

unslothai/unsloth:Unsloth Studio是一个Web UI,用于在本地培训和运行Gemma 4、Qwen 3.6、DeepSeek、gtt-oss等开放模型。

GitHub Trending (AI repos)··unslothai·约 7 分钟阅读
Hacker News 66194

功能·快速入门·笔记本·文档curl -fsSL https://unsloth。ai/安装。

sh| shirm https://unsloth. ai/install. PS1| IEXUnsloth Studio(Beta)允许您在Windows、Linux和macOS上运行和训练文本、音频、嵌入、视觉模型。

- 搜索+下载+运行模型,包括GGGUF、LoRA适配器、安全器- 输出模型:将模型保存或输出为GGUF、16位安全器和其他格式。

- 工具调用:支持自我修复工具调用和网络搜索- 代码执行:让LLM在Claude工件和沙箱环境中测试代码- API推断端点:在Claude Code中部署和运行本地LLM,使用Unsloth的Codex工具- 自动设置推理设置并自定义聊天模板。

- 我们直接与gtt-oss、Qwen 3、Llama 4、Mistral、Gemma 1-3和Phi-4背后的团队合作,我们修复了提高模型准确性的错误。- 使用图像、音频、PDF、代码、DOCX等进行聊天。

连接API提供商(OpenAI、Anthropic)或服务器(vLLM、Olama)。- Train和RL 500+型号速度最多可提高2倍,VRAM减少多达70%,并且没有准确性损失。- 自定义Triton和数学核心。

查看我们与PyTorch和Hugging Face进行的一些合作。- 数据食谱:从PDF、CSV、DOCX等自动创建数据集。在视觉节点工作流程中编辑数据。

- 强化学习(RL):最高效的RL库,GRPO、FP 8等使用的VRAM减少了80%-支持完全微调、RL、预训练、4位、16位和FP 8训练。

- 可观察性:实时监控训练、跟踪损失和图形使用情况并自定义图形。- 支持多图形处理器训练,很快就会有重大改进。Unsloth可以通过两种方式使用:通过Unsloth Studio(Web UI)或通过Unsloth Core(基于代码的版本)。

每个人都有不同的要求。Unsloth Studio(Beta)适用于Windows、Linux、WSL和macOS。

- CPU:目前支持聊天和数据食谱- NVIDIA:培训适用于RTX 30/40/50,Blackwell,DGX Spark,Station等- macOS:所有支持训练,MLX和GGUF推理。

- AMD:聊天+数据有效。与Unsloth Core一起训练。工作室支持即将推出。- 多图形处理器:现已推出,正在进行重大升级curl -fsSL https://unsloth。ai/install. sh| sh使用相同的命令来更新。

irm https://unsloth. ai/install. PS1| IEX使用相同的命令来更新。unsloth studio -p 8888对于云或全球访问,请添加-H 0。0. 0. 0.默认情况下,Unsloth只能在本地访问。

使用我们的Docker图像unsloth/unsloth货柜运行:docker run -d -e JUPYTER_PASSWORD=“mypassword”\-p 8888:8888 -p 8000:8000 -p 2222:22 \-v $(pwd)/work:

/workspace/work \--gpus all \unsloth/unsloth要查看开发人员、夜间和卸载等说明,请参阅高级安装。curl -LsSf https://astral。sh/uv/安装。

sh| shuv venv unsloth_env --python3。13源unsloth_dev/bin/activateuv pip install unsloth --torch-backend=autowinget install -e --id Python。

Python. 3.

13winget安装--id=astral-sh。uv -euv venv unsloth_env --python3。

13. \unsloth_dev\\activateuv pip install unsloth --torch-backend=auto对于Windows,pip安装unsloth只有安装了PyTorch才有效。

阅读我们的Windows指南。您可以使用与Unsloth Studio相同的Docker镜像。

对于RTX 50 x、B200、6000图形处理器:uv pip安装unsloth --torch-backend=Auto.阅读我们的指南:Blackwell和DGX Spark。

要在AMD和英特尔图形处理器上安装Unsloth,请遵循我们的《AMD指南》和《英特尔指南》。使用我们的笔记本免费培训。您可以使用我们新的免费Unsloth Studio笔记本在Web UI中免费运行和训练模型。

阅读我们的指南。添加数据集、运行,然后部署经过训练的模型。

- 查看我们所有笔记本电脑:Kaggle、GRPO、TTC、嵌入和Vision- 查看我们所有的型号和所有的笔记本电脑- 请在此处查看Unsloth的详细文档- 连接:连接任何API提供商(OpenAI、Anthropic)或服务器(vLLM、Olama)。

引导- MTA:运行Qwen 3。Unsloth中的6 MTA。STP设置是针对您的硬件自动设置的。引导- API推断端点:在Claude Code、Codex工具中部署和运行本地LLM。引导- Qwen 3. 6:Qwen 3。

6- 35 B-A3 B现在可以在Unsloth Studio中训练和运行。博客- Gemma 4:直接在Unsloth运行和训练Google的新模型。博客- 介绍Unsloth Studio:我们用于运行和培训LLM的新Web UI。

博客- Qwen 3. 5 - 0。现在支持8B、2B、4 B、9 B、27 B、35-A3 B、112 B-A10 B。

指南+笔记本- 培训MoE LLM速度提高12倍,VRAM减少35%- DeepSeek、GLM、Qwen和gtt-oss。博客- 嵌入模型:Unsloth现在支持~1。8-3.嵌入微调速度提高3倍。

博客·笔记本- 通过我们新的收件箱算法,新的上下文RL比所有其他设置长7倍。博客- 新RoPE & MLP Triton Kernels & Free + Packing:训练速度加快3倍,VRAM减少30%。

博客- 500 K上下文:现在可以在80 GB图形处理器上训练具有> 500 K上下文的20 B模型。博客- FP 8和Vision RL:您现在可以在消费级图形处理器上执行FP 8和VLM GRPO。

FP 8博客· Vision RL以下高级说明适用于Unsloth Studio。对于Unsloth Core高级安装,请查看我们的文档。git克隆https://github。com/unslothai/unslothCD Unsloth. /安装。

sh --本地unsloth studio -p 8888然后更新:CD unsloth && git pull. /安装。sh --本地unsloth studio -p 8888git克隆https://github。

com/unslothai/unsloth。gitCD Unsloth设置-执行策略-范围流程-执行策略绕过. \安装。ps1 --本地unsloth studio -p 8888然后更新:CD unsloth && git pull. /安装。

sh --本地unsloth studio -p 8888git克隆https://github。com/unslothai/unslothCD UnslothGit每晚结账. /安装。

sh --本地unsloth studio -p 8888然后每次启动:unsloth studio -p 8888在Windows Powershell中运行:git克隆https://github。

com/unslothai/unsloth。gitCD UnslothGit每晚结账设置-执行策略-范围流程-执行策略绕过. \安装。

ps1 --本地unsloth studio -p 8888然后每次启动:unsloth studio -p 8888Cap Studio在高核主机上的原生中央处理器线程池:

UNSLOTH_CPU_THREADS=8 unsloth studio -p 8888.显式OMP_NUM_THREADS/ MKL_NUM_THREADS/ OPENBLAS_NUM_THREADS/ NUMEXPR_NUM_THREADS仍然优先。

完全删除Unsloth Studio的建议方法是为您的操作系统匹配的卸载脚本。它会停止任何正在运行的服务器、删除安装目录、启动器数据目录、桌面快捷方式和任何特定于平台的条目(macOS . app捆绑包+Mac上的启动服务;

开始菜单,HKCU\Software\Unsloth注册表项和用户PATHWindows上的条目):- MacOS、WSL、Linux:curl -fsSL https://raw。githubusercontent。

com/unslothai/unsloth/main/writes/un卸载。sh| sh- Windows(PowerShell):irm https://raw。githubusercontent。

com/unslothai/unsloth/main/scripts/uninstall. PS1| IEX如果您只想删除安装目录并保留启动程序/快捷方式以备以后重新安装,则可以运行rm -rf ~/。

Unsloth/工作室(Mac/Linux/WSL)或Remove-Project-Recurse -Force“$Home\。unsloth\studio”(Windows)。模型缓存在~/。

缓存/huggingface都没有被这些触及。欲了解更多信息,请参阅我们的文档。您可以从模型搜索中的垃圾箱图标中删除旧模型文件,也可以从默认的Hugging Face缓存目录中删除相关缓存的模型文件夹。

默认情况下,HF使用:- MacOS、Linux、WSL:~/.缓存/huggingface/hub/- Windows:%USERPROFILE%\。

缓存\huggingface\hub\您可以引用Unsloth回购如下:@software{unsloth,作者= {Daniel Han、Michael Han和Unsloth团队},标题= {Unsloth},url = {https://github。

com/unslothai/unsloth},年= {2023}}如果你用Unsloth训练了一个模型,你可以使用这个很酷的贴纸!🦥Unsloth使用Apache 2的双重许可模型。0和AGPL-3。

0. Unsloth的核心软件包仍然在Apache 2下授权。0,而某些可选组件(例如Unsloth Studio UI)是在开源许可证AAPL-3下获得许可的。0.这种结构有助于支持正在进行的Unsloth开发,同时保持项目开源并使更广泛的生态系统能够继续增长。

- 美洲驼。允许使用的cpp库

原文出处
unslothai/unsloth: Unsloth Studio is a web UI for training and running open models like Gemma 4, Qwen3.6, DeepSeek, gpt-oss locally.

本文为机器翻译辅以 AI 润色,仅供参考。原始事实以原文为准。