CV&NLP基础12之自然语言处理引入

引言

• 文本预处理(分词，拼写纠错，停用词过滤，词的标准化)
• 文本表示(词袋模型，文本相似度计算，词向量，句子向量，语言模型)

如何表示“词”，是一个无比重要的问题。

NLP = NLU + NLG

• U: Understanding; G: Generate
• NLU(让计算机理解文本，推出含义或意图，如:推出主题、倾向、翻译) —— 语音/文本->语义(meaning)
• NLG(文本生成) —— 语义->文本/语音

The challenge

多种表达方式

同一句话可以有多种表达方式，但是意思是一样的，如: 咱们学校开设了NLP网课训练营、咱们学校新出了NLP网课训练营、新出的NLP网课训练营是咱们学校出的

一词多义

如下面两个句子中，词汇“苹果”在不同的句子中表达不同的意思:
今天参观了苹果公司、现在正好是苹果收获季节

下面视频清晰版: 链接: https://pan.baidu.com/s/1Dzh7ATrXMPWrhc9x-sEGuw?pwd=h7gc 提取码: h7gc

多模态(multi-modal)

待补充

词义模糊性

下面视频清晰版: 链接: https://pan.baidu.com/s/1sTK3eDO1Y_b0wj-it-33Pw?pwd=xjmt 提取码: xjmt

NLP经典应用介绍

问答系统介绍

下面视频清晰版: 链接: https://pan.baidu.com/s/1J72h3c9fkYJOC1a_yuZrrg?pwd=njad 提取码: njad

情感分析介绍

下面视频清晰版: 链接: https://pan.baidu.com/s/1DSfsGJs5UEIaoF7Q8qTZYw?pwd=fyf9 提取码: fyf9

机器翻译介绍

下面视频清晰版: 链接: https://pan.baidu.com/s/1-XkfZGIzbnnDD4BHZAEJpw?pwd=vkez 提取码: vkez

自动摘要、信息抽取

下面视频清晰版: 链接: https://pan.baidu.com/s/1qyeuhFREm0w4wWGeSfZTxw?pwd=nrwk 提取码: nrwk

Pipeline

下面视频清晰版: 链接: https://pan.baidu.com/s/1RfkQXm5WR8JyqtMRpVoECg?pwd=maem 提取码: maem