标点恢复--Incorporating External POS Tagger for Punctuation Restoration

Incorporating External POS Tagger for Punctuation Restoration

标点恢复是自动语音识别中一个重要的后处理步骤，使得输出的文本加入标点符号更充分表达语义信息。这篇论文中标点恢复结合了词性标注信息使得模型有更好的效果。
亮点
（1）加入词性标注，并将词性标签融合到模型中
（2）提出序列边界采样（SBS）来更有效地学习标点位置作为序列标记任务
标点恢复任务可以看作一个序列标注任务。

模型

模型分为两个部分，左边部分是一个加载预训练语言模型得到的特征表示，右边部分是$POSTagger$得到每一个token的词性的embedding 特征，最后将得到的特征进行拼接经过$FusionLayerL$和$SoftmaxLayerS$得到最后的标点符号。这里实际上是一个序列标注问题。

Fusing POS tags into LM representations

(1) LM representations
一个长度为$n$的文本$X$经过预训练模型表征得到隐藏状态$H$，这里预训练模型模型用$F$表示
$$H=F_{\theta }(X)\in {\mathbf{R}}^{n\times d}$$
(2) Fusing POS tags
加载词性标注预训练模型$F_W$得到$X$中的每一个token的词性标注结果$\hat{T}$
$$\hat{T}=F_W(X)\in {\mathbf{R}}^n$$
其中$W\in {\mathbf{R}}^{b\times e}$ 是$SoftmaxLayerW$，$b$是embedding size, $e$是词性的tag数量。$SoftmaxLayerW$得到$POSTagger$的embedding特征，简单来说，初始话一个embedding矩阵，我们使用 $\hat{T}$中的元素来查找 $W$ 中的对应列，并形成 POS 嵌入 $E\in {\mathbf{R}}^{n\times b}$
(3) Self-attention Fusion Layer L
将$H$和$E$进行拼接得到$C\in {\mathbf{R}}^{n\times (b+d)}$，采用self-attention 多头encode layer $L_{\gamma }$高效的表征$C$，最后加一层$SoftmaxLayerS{S}_{\eta }$得到标点符号
tags $\hat{Y}$
$$\hat{Y}=S_{\eta }(L_{\gamma }(C))$$
其中$\gamma$和$\eta$表示相关的参数。

Sequence boundary sampling

由于原始 ASR 输出中的句子边界不明确，因此整个训练集的原始输出可以被视为连续的词流。 由于内存限制，它必须被截断以与最大序列长度 L 对齐。

实验结果

（1）数据标注格式
这里采用序列标注任务的格式进行标注

it	O
can	O
be	O
a	O
very	O
complicated	O
thing	COMMA
the	O
ocean	PERIOD
and	O
it	O
can	O
be	O
a	O
very	O
complicated	O
thing	COMMA
what	O
human	O
health	O
is	PERIOD
and	O
bringing	O
......
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

（2）实验结果

如有错误，欢迎大家指证。