李宏毅机器学习课程笔记（更新ing）

basic

1. Why deep not fat model?
   当需要拟合的pattern复杂度很高时，deep model需要的参数量远低于fat model（指数组合与线性组合）。
   另外当pattern复杂且有规律时（语音、图像、NLP），deep model通常表现好于fat model。

CNN

1. 为什么AlphaGo可以用CNN？棋盘抽象成图片时需要注意什么？

   首先图片有两个特点：
   1，只观察局部就可以显示某种pattern，比如要得出一个鸟嘴的结论，只需要观察局部图片
   2，某种pattern可以出现在图片任意位置，比如鸟嘴可以出现图片左上角，右下角等位置

   那棋盘是否满足以上图片的两个特点？答案是肯定的。 那棋盘就可以抽象成图片，然后使用CNN这种专门用来处理图片这两个特点的网络结构。

   另外再来看CNN中经常使用的网络结构：pooling
   首先pooling可以用来处理图片，是因为图片像素经过downsampling后，通常并不影响对图片特征的判断。但是棋盘如果去掉某一行、某一列后，此棋局就非彼棋局了，所以AlphaGo中的CNN，不应该使用pooling。

   所以当CNN用在别的领域时，需要对这两个领域特点的相同与不同处有清晰的思考，并根据实际情况修改处理对应特点的网络结构。不是这个网络结构大家都这样用，你就应该这么用的。

2. CNN可以处理不同scale和旋转角度的图片吗？
   不可以，除非特殊处理，或者有相应的数据。