谷歌人工智能写作项目:神经网络伪原创

。
先了解个大概ADeepLearningTutorial:FromPerceptronstoAlgorithms神经网络肯定是要学习的,主要是BP算法,可以看看PRML3、4、5三章,可先忽略其中的贝叶斯视角的解释。
一些主要的算法理解要看具体的论文了,有个Matlab的程序不错,有基本算法的实现,见rasmusbergpalm/DeepLearnToolbox·GitHub。
有一本系统的介绍深度学习的书,不过还没写完,样稿见DEEPLEARNING。
还有评论中提到的UFLDL教程:UnsupervisedFeatureLearningandDeepLearningTutorial。
。
这两个概念实际上是互相交叉的,例如,卷积神经网络(Convolutionalneuralnetworks,简称CNNs)就是一种深度的监督学习下的机器学习模型,而深度置信网(DeepBeliefNets,简称DBNs)就是一种无监督学习下的机器学习模型。
深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示。
深度学习的概念由Hinton等人于2006年提出。基于深信度网(DBN)提出非监督贪心逐层训练算法,为解决深层结构相关的优化难题带来希望,随后提出多层自动编码器深层结构。
此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法,它利用空间相对关系减少参数数目以提高训练性能。
“深度学习”和“多层神经网络”不存在区别关系。深度学习的网络结构是多层神经网络的一种。
深度学习中最著名的卷积神经网络CNN,在原来多层神经网络的基础上,加入了特征学习部分,这部分是模仿人脑对信号处理上的分级的。广义上说深度学习的网络结构也是多层神经网络的一种。
传统意义上的多层神经网络是只有输入层、隐藏层、输出层。其中隐藏层的层数根据需要而定,没有明确的理论推导来说明到底多少层合适。
而深度学习中最著名的卷积神经网络CNN,在原来多层神经网络的基础上,加入了特征学习部分,这部分是模仿人脑对信号处理上的分级的。
具体操作就是在原来的全连接的层前面加入了部分连接的卷积层与降维层,而且加入的是一个层级。
输入层-卷积层-降维层-卷积层-降维层--....--隐藏层-输出层简单来说,原来多层神经网络做的步骤是:特征映射到值。特征是人工挑选。深度学习做的步骤是信号->特征->值。
特征是由网络自己选择。需要使用深度学习解决的问题有以下的特征:深度不足会出现问题。人脑具有一个深度结构。认知过程逐层进行,逐步抽象。
深度学习的核心思想:把学习结构看作一个网络,则深度学习的核心思路如下:①无监督学习用于每一层网络的pre-train;②每次用无监督学习只训练一层,将其训练结果作为其高一层的输入;③用自顶而下的监督算法去调整所有层。