深度学习笔记

   

数据预处理之One-Hot - 知乎 (zhihu.com)

          

        一个人在不接触对方的情况下，通过一种特殊的方式，和对方进行一系列的问答．如果在相当长时间内，他无法根据这些问题判断对方是人还是计算机，那么就可以认为这个计算机是智能的。                    

                                                                                                ——阿兰·图灵（Alan Turing）

                                                                           《Computing Machinery and Intelligence 》

知识体系

深度学习为什么主要使用神经网络呢？

其主要原因是神经网络模型可以使用误差反向传播BP算法，从而可以比较好地解决贡献度分配问题

神经网络需要学习的内容：各个神经元之间连接的权重参数

为什么要使用激活函数：如果不使用激活函数，那么每一层的输出为上一层输入的线性函数，那么最终导致整个网络是线性的，即最原始的感知机(Perceptron），其表示能力较差

神经元

神经网路是由一个个神经元组成的，每个神经元的结构如下

激活函数

其中f为激活函数，常见的激活函数如下

Sigmoid函数

 ReLu函数

 Swish函数

网络结构

        常见的有三种网络结构，前馈网络FNN类似于一个有向无环图，信息只能朝一个方向传播，较为简单。记忆网络MN类似一个有向循环图，信息可以单向也可以双向传播，较为复杂。图网络GN是前馈网络和记忆网络的泛化，其中每个方格为一个或一组神经元

参考资料

 《神经网络与深度学习》--邱锡鹏教授

《动手学深度学习》Pytorch版开源--李沐

《2022深度学习与机器学习》--吴恩达