BERT应用——文本相似度计算

  本文展示了如何利用BERT模型计算两个文本字符串之间的余弦相似度。BERT（Bidirectional Encoder Representations from Transformers）是一种基于Transformer架构的预训练模型，广泛应用于自然语言处理领域。BERT的核心创新在于其双向训练的机制，使得模型能够同时考虑到输入数据的左右两侧的上下文信息，从而获得更为丰富的语义表示。

一、技术思路

  本代码段的技术思路是：首先使用BERT的分词器对输入的单词进行编码，然后将编码后的数据输入到BERT模型中获取嵌入向量。随后，对这些向量进行平均池化处理以获得更加稳定的特征表示，最后通过余弦相似度函数计算两个嵌入向量之间的相似度。这种方法结合了BERT的深层语义理解能力和余弦相似度的直观度量方式，能有效地评估两个文本之间的语义接近程度。

1. 文本编码原理

  在BERT中，文本首先通过一个分词器（Tokenizer）处理，该分词器将原始输入文本转换为模型可以理解的格式，包括将单词转换为词汇表中的索引、添加特殊的分隔符（如[CLS]和[SEP]），以及生成对应的注意力掩码（Attention Mask）。这一步是处理文本数据的关键，它直接关系到后续模型能否正确理解和处理输入数据。

2. 嵌入向量的获取

  通过BERT模型对编码后的文本进行处理后，可以获取到每个输入token的嵌入表示。这些表示是在模型的多层网络结构中生成的，其中每一层都通过自注意力机制和前馈网络计算得到新的表示。在自然语言处理任务中，通常使用模型最后一层的输出作为最终的特征表示，因为它们包含了经过多层处理后的高级语义信息。

3. 余弦相似度的计算

  余弦相似度是一种常用的相似度度量方式，它通过计算两个向量的夹角余弦值来评估它们的相似度。在文本处理中，将两个文本的嵌入向量进行余弦相似度计算，可以得到一个介于-1和1之间的标量值，表示这两个文本在语义上的接近程度。值越接近1，表示语义相似度越高；值越接近-1，表示语义差异越大。

二、代码实现

from transformers import BertTokenizer, BertModel
import torch
import torch.nn.functional as F

# 定义要比较的单词
Text_1 = "Apple"
Text_2 = "Red"

# 初始化 BERT tokenizer 和模型
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')

# 对单词进行编码
tokens_a = tokenizer(Text_1, return_tensors='pt')
tokens_b = tokenizer(Text_2, return_tensors='pt')

# 获取单词的嵌入
with torch.no_grad():
    embeddings_a = model(**tokens_a).last_hidden_state.mean(dim=1)
    embeddings_b = model(**tokens_b).last_hidden_state.mean(dim=1)

# 计算余弦相似度
cosine_similarity = F.cosine_similarity(embeddings_a, embeddings_b)
cosine_similarity.item()
print(cosine_similarity)

结果

参考资料

[1] Devlin J, Chang M W, Lee K, et al. Bert: Pre-training of deep bidirectional transformers for language understanding[J]. arxiv preprint arxiv:1810.04805, 2018.
[2] bert-base-uncased