目录
BERT:当前主流的解决框架,一站式搞定NLP任务。(解决一个NLP任务时的考虑方法之一)
BERT:google开源的框架
BERT:自然语言的通用解决框架
必备知识:Word2vec,RNN(了解词向量模型,RNN模型如何建模)
重点:Transformer网络架构
训练方法: BERT训练方法
google开源提供预训练模型,直接使用
BERT时基于Transformer框架的,所以了解Tansformer就基本了解BERT。
提出问题:transformer要做一件什么事呢??
答:就像将自然语言翻译成计算机语言,让其学习。
其基本组成依旧是机器翻译模型中常见的Seq2Seq网络。输入输出都很直观,其核心就是中间的网络架构了。
可以看出这种依次计算的方式,计算效率不高,且后面的计算需要依赖前面的计算结果。
预训练好的词向量就不会改变了,这种对于复杂语境应用不好。所以能不能让其并行计算,提高运算效率,且词向量的构成考虑到上下文的语境呢???
答案:self-Attention机制来考虑进行并行计算,输出结果的是同时你算出来的,现在已经基本取代RNN了。
接下来我们将围绕这几个问题来展开对Tansformer的介绍:
1. 输入如何编码?
2.输出结果是什么?
3.Attemtion的目的?
4.怎样组合在一起?
对于输入的数据,你的关注点是什么?(不同的数据,关注点不同,比如:一张带背景的人像,关注点是人像而不是背景)
如何才能让计算机关注到这些有价值的信息?
Self-Attention是计算机自己判断。
每个词不能只考虑到自己,在训练的过程中,所有词构成句子,但是每个词分配的权重不同。在编码时,不能只考虑自己,要把上下文都融入,编码成向量。
例如:
it代表的东西不同,怎么让计算机识别出来呢?每个词都要考虑上下文,结合每个词对它的影响来进行编码。
其实,说到底,Self-Attention就是如何编码,提取特征。
1. 通过Embedding随机或者其他什么方式去初始化词向量表,权重矩阵
2. 训练这三个矩阵
得到,同理得到
当两个向量求内积,若是两个向量垂直表示其线性无关,其值为0,若是两个向量线性相关其值越大表示两个向量相关性越大。那么表示上下文每个词相关性,值越大相关性越大。
为了不让分值随着向量维度增大而增加,让计算难度增大,最终除以
每一个词的Attention计算
softmax后就得到整个加权结果
经过上述一系列分析,Self-Attention解决了并行计算和词向量的构建编码考虑到了上下文语境的问题。
transformer中Encoder是重要的,就是编码方式。再将其进行下游任务微调,使其变成分类,预测等类型的任务。是自然语言处理的万金油模板。