hiyouga/LlamaFactory：对100多个LLM和VLM进行统一高效的微调（ACL 2024）

👋加入我们的微信和NPU用户群。[英语|中文 ]微调大型语言模型可能很简单。. .火车_en。MP4开始当地培训：- 请参阅使用方法开始云培训：- Colab（免费）：https：//colab。

research. Google. com/drive/1eRTPn37ltBbYsISy 9Aw2NuI2Aq5CQrD 9？usp=分享- PAI-DWW（免费试用）：https：//gallery。

派-毫升。com/#/preview/deepLearning/nlip/llama_factory阅读技术注释：- 文档（收件箱）：https：//llamafactory。阅读文档。io/en/最新/- 文档（AMD图形处理器）：https：//roCM。

docs. AMD. com/projects/ai-developer-hub/en/latest/notebook/fine_tune/llama_factory_llama3。HTML- 官方博客：https：//blog。

骆驼工厂。中文（简体）注意除上述链接外，其他网站均为未经授权的第三方网站。请小心使用它们。

- 特征- 博客- Changelog- 支持的型号- 支持的培训方法- 提供的数据集- 要求- 入门- 使用LLaMA Factory的项目- 许可证- 引文- 确认- 各种型号：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen 3、

Qwen 3-BL、

DeepSeek、Gemma、GLM、Phi等-集成方法：（连续）预训练、（多模式）监督微调、奖励建模、PPO、DPO、KTO、ORPO等-可扩展资源：16位全调优、冻结调优、LoRA和2/3/4/5/6/8位QLoRA通过AQLM/AWQ/GPTQ/LLM。

int 8/HQQ/EETQ。- 高级算法：GaLore、BAdam、APOLLO、Adam-mini、Muon、OFT、DoRA、LongLoRA、LLaMA Pro、Mixture-of-Depths、LoRA+、LoftQ和PiDSA。

- 实用技巧：Flash Attention-2、Unsloth、Liger Kenny、KTransformers、RoPE扩展、NEFTune和rsLoRA。

- 广泛的任务：多轮对话、工具使用、图像理解、视觉基础、视频识别、音频理解等-实验监视器：LlamaBoard、TensorBoard、Wandb、MLFlow、SwanLab等-更快的推理：OpenAI风格的API、

Grradio UI和带有vLLM worker或SGLang worker的CLI。

- K Transformers微调x LLaMA Factory：微调1000亿型号，配备2 4090-图形处理器+中央处理器（英文）- DeliverEasy Dataset x LLaMA Factory：

使LLM能够高效学习领域知识（英语）- 基于LLaMA-Factory和EasyR 1的一站式无代码模型强化学习与部署平台（中文）- Apoidea Group如何使用Amazon SageMaker HyperPod上的LLaMA-Factory通过多模式模型增强银行文

档中的视觉信息提取（英文）所有的博客- LLaMA Factory：

为新闻分类器微调DeepSeek-R1-Distill-Qwen-7 B模型- 基于SageMaker和LLaMA-Factory的一站式无代码模型微调和部署平台- LLaMA Factory多模态微调实践：Qwen 2-VL个人导游微调- LLaMA Factory：

为角色扮演微调Llama 3[25/10/26]我们通过mcore_adapter支持Megatron核心培训后台。请参阅PR #9237以开始。[25/08/22]我们支持OFT和OFTv 2。

请参阅使用示例。

[25/08/20]我们支持微调Intern-S1-mini型号。请参阅PR #8976以开始。[25/08/06]我们支持微调GPT-OSS模型。请参阅PR #8826以开始。完整的更改日志[25/07/02]我们支持微调GLM-4。

1V-9 B-思维模型。[25/04/28]我们支持微调Qwen 3模型系列。[25/04/21]我们支持Muon优化器。请参阅使用示例。感谢@tianshijing的公关。[25/04/16]我们支持微调InternVL 3模型。

请参阅PR #7258以开始。[25/04/14]我们支持对GLM-Z1和Kimi-VL车型进行微调。[25/04/06]我们支持对Llama 4模型进行微调。第7611章开始吧[25/03/31]我们支持对Qwen 2进行微调。

5 Omni模型。请参阅PR #7537开始。[25/03/15]我们支持SGLang作为推理后台。尝试推断_backend：sglang以加速推理。[25/03/12]我们支持微调Gemma 3型号。

[25/02/24]宣布EasyR 1，这是一个高效、可扩展和多模式RL训练框架，用于高效的GRPO训练。[25/02/11]我们支持在输出模型检查点时保存Ollama模型文件。请参阅使用示例。

[25/02/05]我们支持微调Qwen 2-Audio和MiniCPM-o-2。6关于音频理解任务。[25/01/31]我们支持微调DeepSeek-R1和Qwen 2。5-BL型号。[25/01/15]我们支持APOLLO优化器。

请参阅使用示例。[25/01/14]我们支持微调MiniCPM-o-2。6和MiniCPM-V-2。6个型号。感谢@BUAADreamer的公关。

[25/01/14]我们支持微调InternLM 3模型。感谢@hhaAndroid的公关。[25/01/10]我们支持微调Phi-4模型。[24/12/21]我们支持使用SwanLab进行实验跟踪和可视化。

详情请参阅本节。[24/11/27]我们支持微调Skywork-o 1模型和OpenO 1数据集。[24/10/09]我们支持从建模者中心下载预训练的模型和数据集。请参阅本教程了解使用方法。[24/09/19]我们支持微调Qwen 2。

5个模型。[24/08/30]我们支持微调Qwen 2-BL模型。感谢@ simonJJ的公关。[24/08/27]我们支持Liger Kinder。尝试启用_liger_core：true进行高效培训。

[24/08/09]我们支持Adam-mini优化器。请参阅使用示例。感谢@relic-yuexi的公关。[24/07/04]我们支持无污染的打包培训。使用near_Packing：真实激活它。

感谢@chuan298的公关。[24/06/16]我们支持PiDSA算法。请参阅使用示例。[24/06/07]我们支持微调Qwen 2和GLM-4型号。[24/05/26]我们支持SimPO算法进行偏好学习。

请参阅使用示例。[24/05/20]我们支持微调PaliGemma系列型号。请注意，PaliGemma模型是预训练的模型，您需要使用paligemma对其进行微调聊天完成模板。[24/05/18]我们支持KTO算法进行偏好学习。

请参阅使用示例。[24/05/14]我们支持Ascend NPU设备上的训练和推理。

查看安装部分了解详细信息。[24/04/26]我们支持微调LLaVA-1。5个多模式LLM。请参阅使用示例。[24/04/22]我们提供了Colab笔记本电脑，用于在免费的T4 GPU上对Llama-3模型进行微调。

两个Llama-3衍生的模型使用LLaMA工厂微调可在拥抱脸，检查Llama 3 -8B-Chinese-Chat和Llama 3-Chinese了解详情。[24/04/21]我们根据AstraMindAI的实现支持深度混合。

请参阅使用示例。[24/04/16]我们支持BAdam优化器。请参阅使用示例。[24/04/16]我们支持unsloth的长序列训练（Llama-2- 7 B-56 k，24 GB以内）。

与FlashAttention-2相比，它实现了117%的速度和50%的内存，更多基准测试可以在此页面中找到。[24/03/31]我们支持ORPO。请参阅使用示例。

[24/03/21]我们的论文“LlamaFactory：100+语言模型的统一高效微调”可在arXiv上获取！[24/03/20]我们支持FSDP+QLoRA，可在2x 24 GB图形处理器上微调70 B型号。

请参阅使用示例。[24/03/13]我们支持LoRA+。请参阅使用示例。[24/03/07]我们支持GaLore优化器。请参阅使用示例。[24/03/07]我们集成了vLLM，以实现更快且并发的推理。

尝试推断_backend：vllm享受270%的推理速度。[24/02/28]我们支持重量分解LoRA（DoRA）。尝试使用_dora：true启动DoRA培训。[24/02/15]我们支持LLaMA Pro提出的块扩展。

请参阅使用示例。[24/02/05] Qwen 1。

LLaMA-Factory支持5（Qwen 2测试版）系列型号。查看此博客文章了解详细信息。

[24/01/18]我们支持大多数模型的代理调优，通过使用数据集进行微调，为模型配备工具使用能力：glave_toolcall_en. [23/12/23]我们支持unsloth的实施，以增强LLaMA、Mistral和Yi型号的LoRA调整。

尝试使用_unsloth：true激活unsloth补丁的参数。它在我们的基准测试中实现了170%的速度，请查看此页面了解详细信息。[23/12/12]我们支持在我们的框架中微调最新的MoE模型Mixtral 8x 7 B。

请参阅此处的硬件要求。[23/12/01]我们支持下载预训练模型