文本处理方式方法

概述

从今天开始，我们将开启一段自然语言处理的流程，自然语言可以让来处理、理解以及运用人类的语言，实现机器语言和人类语言之间的沟通桥梁。

文本处理

我们正在进行文本处理的时候，经常会用到文本长度不一致的情况，遇到奇奇怪怪的符号问题，这时候，我们就需要特殊字符来帮助我们解决这些问题。

$$<PAD>$$可以帮助我们填充句子长度不同的部分，在我们的NLP训练过程中，我们会将输入按Batch输入，但是这些Batch必须拥有相同的长度。

$$<UNK>$$: ，可以帮助我们替换词汇表中不存在的字符，例如一些低频词或者低频字。或者特殊符号。
$$<GO>$$:会放在句子的开头，用于告诉模型这是句子输入的开始，即第一个时间步长的输入。
$$<EOS>$$
会放在句子的结尾，用于告诉模型这是句子的输入结束。

在Bert等预训练模型的词汇表中，有$[PAD],[CLS],[SEP],[MASK],[UNK]$这样几种token，它们代表的具体含义如下:
【PAD]: 要将句子处理为特定长度，就要将句子前或后补充[PAD]
[CLS]:这个标志放在句子的首位，表示句子的开始。
【SEP】：这个标志用于分开两个输入句子，例如输入句子A和B，后面增加[SEP]标志。
【MASK]:这个标志用于遮盖句子中的一些单词。
【UNK}：词典中没有词被标记为[UNK]