Qwen3 Embedding 系列发布：基于基础模型的文本嵌入与重排序新突破

GitHub Hugging Face ModelScope Discord我们发布了 Qwen3 Embedding 系列，这是 Qwen 模型家族的新专有模型。这些模型专门为文本嵌入、检索和重排序任务而设计，构建在 Qwen3 基础模型之上。

利用 Qwen3 强大的多语言文本理解能力，该系列在文本嵌入和重排序任务的多个基准测试中实现了最先进的性能。

我们已在 Apache 2.0 许可下于 Hugging Face 和 ModelScope 开源了这一系列文本嵌入和重排序模型，并在 GitHub 上发布了技术报告和相关代码。

重排序模型的评估结果注：- 我们使用 MTEB（eng, v2）、MTEB（cmn, v1）、MTEB（多语言）和 MTEB（Code）的文本检索子集，分别记为 MTEB-R、CMTEB-R、MMTEB-R 和 MTEB-Code。

- 所有分数均基于密集嵌入模型 Qwen3-Embedding-0.6B 检索到的前 100 名候选结果。主要特点：卓越的通用性：嵌入模型在广泛的下游应用评估中实现了最先进的性能。

8B 大小的嵌入模型在 MTEB 多语言排行榜中排名第一（截至 2025 年 6 月 5 日，得分 70.58）。重排序模型在文本检索场景中表现出色，显著提高了搜索相关性。

全面的灵活性：Qwen3 Embedding 系列提供多种尺寸（从 0.6B 到 8B）的嵌入和重排序模型，满足优先考虑效率和效果的各种用例。开发者可以无缝结合这两个模块。

此外，嵌入模型允许在所有维度上灵活定义向量，且嵌入和重排序模型都支持用户自定义指令，以增强特定任务、语言或场景的性能。多语言能力：Qwen3 Embedding 系列支持超过 100 种语言，包括多种编程语言，并提供强大的多语言、跨语言和代码检索能力。

模型概述：注：“MRL 支持”表示嵌入模型是否支持最终嵌入的自定义维度。“指令感知”表示嵌入或重排序模型是否支持根据不同任务自定义输入指令。模型架构基于 Qwen3 基础模型，我们的嵌入和重排序模型采用双编码器和交叉编码器架构设计。

通过 LoRA 微调，我们旨在充分保留并增强基础模型的文本理解能力。嵌入模型以单个文本片段作为输入，利用对应最终 [EOS] token 的隐藏状态向量来提取语义表示。

相比之下，重排序模型将文本对（如用户查询和候选文档）作为输入，使用交叉编码器结构计算并输出文本对之间的相关性分数。模型训练Qwen3 Embedding 系列的训练框架遵循 GTE-Qwen 系列建立的多阶段训练范式。

在嵌入模型的训练过程中，我们实现了三阶段训练结构：第一阶段涉及使用大量弱监督数据的对比预训练；第二阶段专注于使用高质量标注数据的监督训练；最后阶段通过合并策略集成多个候选模型以增强整体性能。这种分阶段训练机制有效平衡了模型的泛化能力和任务适应性。

对于重排序模型，基于经验验证结果，我们直接采用高质量标注数据进行监督训练，显著提高了训练效率。值得注意的是，在嵌入模型弱监督训练的第一阶段，我们开发了一个创新的多任务可适应提示系统。

通过利用 Qwen3 基础模型的文本生成能力，我们动态生成针对不同任务类型和语言定制的弱监督文本对。

这种方法解决了传统方法的局限性，传统方法通常依赖社区论坛或开源数据来收集文本相关性对，从而促进了大规模弱监督数据的高效生成。未来工作Qwen3 Embedding 系列模型代表了一个新起点。

通过对 Qwen 基础模型的持续优化，我们将提升文本嵌入和重排序模型的训练效率，从而提高各种场景下的部署性能。此外，我们计划扩展我们的多模态表示系统，以建立跨模态语义理解能力。

我们期待看到更多开发者基于 Qwen3 Embedding 系列探索更广泛的场景，推动模型在不同上下文中的更深入应用。