李宏毅深度学习---回归分析（regression）预测宝可梦+机器学习任务攻略

一、偏差bias和方差variance

简书中记录回归分析
1.回归任务：
对于下面图中的数据，我们希望寻找一个函数来拟合这些数据，也就是回归任务：

我们尝试使用一次、二次直至五次的函数集来拟合一个简单的回归问题，在实验过程中发现对于低阶的函数效果不是太好，增加函数的复杂度后效果有了好转，但当函数过于复杂时，效果又会变差：

• 事实上模型的损失主要来自两个方面：偏差（bias）和方差（variance）。以打靶作比喻，假设我们要求解的那个函数处于靶心位置，而我们采用的模型代表的函数集如果偏离靶心太远，就相当于有大的偏差，而如果这个使用这个函数集多次实验求解的函数不稳定，就相当于有大的方差：
• 高阶函数的方差比较大，但是平均以后更加地接近真实分布，可以直观理解为高阶函数集较于低阶函数集包括更多的可选函数，因此更容易接近真实函数，下图中靶子上面蓝色的圆圈表示函数集覆盖的范围：
  

总结与解决方法

总结来说对于低阶函数来说，损失主要来自偏差，而高阶函数的损失主要来自方差。低阶函数的拟合能力有限，因此带来的问题称为欠拟合（underfitting），而高阶函数由于过于地powerful，从而容易带来**过拟合（overfitting）**的问题：

应对大的偏差的方法：
①增加更多特征作为输入
②使用更复杂的模型

应对大的方差的方法：

1. 更多数据
2. 正则化：regularization
3. 加大模型的限制，减少模型的弹性

二、机器学习任务攻略

明确每个问题到底出在哪里

2-1小节-机器学习任务攻略
简略版2-1小节攻略