自然语言处理（NLP）-概述

一、什么是自然语言处理（NLP）

什么是自然语言处理

二、NLP的发展

三、相关理论

1 语言模型

序列数据形式多样，如视频帧、音频数据等，其中文本是最常见的。
文本预处理：

• 1 将文本作为字符串加载到内存中。
• 2 将字符串拆分为词元（如单词和字符）。
• 3 建立一个词表，将拆分的词元映射到数字索引。
• 4 将文本转换为数字索引序列，方便模型操作。

假设长度为T的文本序列中的词元依次为$x_1,x_2,\dots ,x_T$。 于是 $x_t,1\le t\le T$， 可以被认为是文本序列在时间步t处的观测或标签。 在给定这样的文本序列时，语言模型（language model） 的目标是估计序列的联合概率$$P(x_1,x_2,\dots ,x_T).$$

• 马尔可夫模型与$n$元语法

2 词向量表征和语义分析

3 深度学习