论文阅读：BGE M3-Embedding——通过自知识提取实现多语言、多功能、多粒度的文本嵌入

论文链接
模型和代码

论文名：BGE M3-Embedding: Multi-Lingual, Multi-Functionality,
Multi-Granularity Text Embeddings Through Self-Knowledge Distillation

Abstract

本文提出了一种新的嵌入模型，称为M3嵌入，以其在多语言、多功能和多粒度方面的多功能性而著称。它可以支持100多种工作语言，在多语言和跨语言检索任务中具有最先进的性能。它可以同时执行嵌入模型的三种常见检索功能：密集检索、多向量检索和稀疏检索，为真实世界的IR应用提供了统一的模型基础。它能够处理不同粒度的输入，从短句到多达8192个token的长文档。M3-Embedding的有效训练包括以下技术贡献。我们提出了一种新的自我知识提取方法，其中来自不同检索功能的相关性得分可以被整合为教师信号，以提高训练质量。我们还优化了批处理策略，实现了大批量和高训练吞吐量，以确保嵌入的区分度。据我们所知，M3-Embedding是第一个实现如此强大的通用性的嵌入模型。

1. Introduction

嵌入模型是DNN在自然语言处理中应用的一种关键形式。他们对潜在空间中的文本数据进行编码，在潜在空间中，数据的底层语义可以通过输出嵌入来表达。随着预训练语言模型的出现，文本嵌入的质量得到了显著提高，使其成为信息检索（IR）的必要组成部分。基于嵌入的IR的一种常见形式是密集检索，可以基