李宏毅：Life Long Learning

李宏毅：Life Long Learning

Life Long Learing 也是continual Learning，也是incremental learning

目录

Life-Long Learning vs Transfer Learning

Evaluation

Research Directions

Selective Synaptic Plasticity——Regulization Based

Additional Neural Resourcr Allocation

Memory Reply

Life-Long Learning vs Transfer Learning

Transfer Learning：在任务一上学到的内容Transfer到任务二，关注点在Task2

Life-Long Learning：学完Task2以后Task1还能否work

Evaluation

Research Directions

Selective Synaptic Plasticity——Regulization Based

Forget的原因：白色——loss越大，蓝色——loss越小，先让模型训练task1，随机训练的参数θ0，然后使用梯度下降的方法调整θ0的参数，得到θb。将θb的参数迁移到Task2，继续训练得到θ*。将θ*应用于task1发现loss变大，说明出现了forget现象。如果将θb往右移是否在task1上效果更好呢？（往右移也是蓝色区域）

basic idea：对先前任务重要的一些参数不要改变，只需要调整不重要的参数。

$\theta^b$ 是先前任务学习到的参数，对每一个参数 $\theta_{i}^b$ 设置一个守卫 $b_{i}$ ，代表该参数对过去的任务是否重要。 $\theta_{i}$ 指的是将要被此任务学习得到的参数，下式为改写后的loss function，第二个式子表示该参数的重要程度：

$L{}'(\theta )=L(\theta)+\lambda \sum_{i}b_{i}(\theta_{i}-\theta_{i}^b)^2$

$if\quad b_{i}=0,\quad there \quad is\quad no \quad constraint \quad on\quad\theta_{i}$ ——catastrophic forgetting

$if\quad b_{i}=\infty,\quad \theta_{i} \quad would\quad always \quad be \quad equal\quad to\quad \theta_{i}^b$ ——instransigence

如何设置 $b_{i}$ ?

$\theta_{1}$ 方向上loss变化很小，b1很小； $\theta_{2}$ 方向上loss变化比较大，b2较大。

Gradient Episodic Memory (GEM)

通过存少量资料updata direction。

Additional Neural Resourcr Allocation

Progressive Neural Networks

只训练当前模型的参数，只是将前面模型的参数作为输入，缺点：占用过多额外空间。

PackNet:开一个大的网络但每次task只占用其中一部分，参数保留一小部分

CPG：结合上述两种方法，既进行参数的dropout，也开辟网络空间

Memory Reply

Generating data

生成先前任务的学习资料来用于现在任务的训练。

增加新class方法：
相关阅读:
【愚公系列】2022年11月 uniapp专题-环境配置
 私有化部署，加强文档管理系统稳定性
 【Boost C++ 库】共享内存详解
 什么是jsp？
java反射（易懂）
SSO 和 OAuth2.0 的关系是什么？
算法分析与设计CH8：线性时间的排序——计数排序、基数排序、桶排序
 CH1-模型训练优化
 Kong实现禁止国外IP访问
 关于数据库死锁的分析以及解决办法
原文地址：https://blog.csdn.net/LarsGyonX/article/details/128054155

Evaluation

Research Directions

Selective Synaptic Plasticity——Regulization Based

Additional Neural Resourcr Allocation

Memory Reply