文本特征处理——N-Gram、长度规范及数据增强

目录

0 概述

1 N-Gram特征

2 文本长度规范

3 文本数据增强

---

0 概述

• 文本特征处理的作用
  • 文本特征处理包括
    • 语料添加具有普适性的文本特征，如：n-gram特征。
    • 对加入特征之后的文本语料进行必要处理，如：长度规范。
  • 能够有效的将重要的文本特征加入模型训练中，增强模型评低指标。
•  常见的文本特征处理方法
  • 添加N-Gram特征
  • 文本长度规范