🎨开发平台：jupyter lab

🎄运行环境：python3、TensorFlow2.x

1.迁移学习

迁移学习：利用数据、任务、模型间的相似性，将训练好的内容应用到新的任务上。迁移学习不是具体的模型，更像是一种解题思路。

1.1 迁移学习的基本概念

两个域：由于这一过程发生在两个领域间，涉及到两个领域的概念：

• 已有的知识和数据，也就是被迁移的对象被称作源域；
• 被赋予【经验】的领域被称为目标域。

迁移学习的目的：

• 有时是目标领域的数据太少，需要标注更多的源域的帮助；
• 有时是为了节约训练时间；
• 有时是为了实现个性化应用；

举例说明：

• 预料匮乏的小语种之间的翻译
• 缺乏标注的医疗影像数据识别
• 面向不同快速部署对话系统

1.2 迁移学习在NLP领域的应用

常用的预训练语言模型：Transformer、Bert
通过微调，可以完成不同的任务

2. Xception简介

• Xception是Google公司继Inception后提出的对 Inception-v3 的另一种改进。
• Xception作为Inception v3的改进，主要是在Inception v3的基础上引入了depthwise separable convolution，在基本不增加网络复杂度的前提下提高了模型的效果。
• 作者认为，通道之间的相关性与空间相关性最好要分开处理。于是采用 Separable Convolution来替换原来 Inception-v3中的卷积操作。

• 传统卷积实现过程：
  
• Depthwise Separable Convolution 的实现过程：
  

2.1 Xception网络框架

先进行普通卷积操作，再对 1×1 卷积后的每个channel分别进行 3×3 卷积操作，最后将结果 concat。

2.2 Xception模型和其他卷积模型的参数对比

2.3 基于Xception迁移学习的实例（验证码识别）（这两天把代码整理好发上来）