有关神经网络的训练算法,深度神经网络训练方法

深度神经网络是如何训练的？

Coursera的Ng机器学习，UFLDL都看过。没记错的话Ng的机器学习里是直接给出公式了，虽然你可能知道如何求解，但是即使不知道完成作业也不是问题，只要照着公式写就行。

反正我当时看的时候心里并没能比较清楚的明白。我觉得想了解深度学习UFLDL教程 - Ufldl是不错的。有习题，做完的话确实会对深度学习有更加深刻的理解，但是总还不是很清晰。

后来看了Li FeiFei的Stanford University CS231n: Convolutional Neural Networks for Visual Recognition，我的感觉是对CNN的理解有了很大的提升。

沉下心来推推公式，多思考，明白了反向传播本质上是链式法则(虽然之前也知道，但是当时还是理解的迷迷糊糊的)。所有的梯度其实都是对最终的loss进行求导得到的，也就是标量对矩阵or向量的求导。

当然同时也学到了许多其他的关于cnn的。并且建议你不仅要完成练习，最好能自己也写一个cnn，这个过程可能会让你学习到许多更加细节和可能忽略的东西。

这样的网络可以使用中间层构建出多层的抽象，正如我们在布尔线路中做的那样。

例如，如果我们在进行视觉模式识别，那么在第一层的神经元可能学会识别边，在第二层的神经元可以在边的基础上学会识别出更加复杂的形状，例如三角形或者矩形。第三层将能够识别更加复杂的形状。依此类推。

这些多层的抽象看起来能够赋予深度网络一种学习解决复杂模式识别问题的能力。然后，正如线路的示例中看到的那样，存在着理论上的研究结果告诉我们深度网络在本质上比浅层网络更加强大。

谷歌人工智能写作项目：神经网络伪原创

如何训练深度神经网络

deeplearinig就是神经网络的一类，就是解决的训练问题的深层神经网络，所以你这问题“深度学习会代替神经网络‘就不对，BP么，BP有自己的优势，也是很成熟的算法，做手写识别等等效果已经商用化了，不会被轻易替代文案狗。

deeplearning远比BP要复杂，用来解决的问题也不是一个层面，所以也没有替代的必要。Deeplearning所涉及的问题大多数BP都没法解决的。度学习的概念源于人工神经网络的研究。

含多隐层的多层感知器就是一种深度学习结构，通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。

深度学习的概念由Hinton等人于2006年提出，基于深信度网(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。

深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。

系统地论述了神经网络的基本原理、方法、技术和应用，主要内容包括：神经信息处理的基本原理、感知器、反向传播网络、自组织网络、递归网络、径向基函数网络、核函数方法、神经网络集成、模糊神经网络、概率神经网络、脉冲耦合神经网络、神经场理论、神经元集群以及神经计算机。

每章末附有习题，书末附有详细的参考文献。神经网络是通过对人脑或生物神经网络的抽象和建模，研究非程序的、适应性的、大脑风格的信息处理的本质和能力。

它以脑科学和认知神经科学的研究成果为基础，拓展智能信息处理的方法，为解决复杂问题和智能控制提供有效的途径，是智能科学和计算智能的重要部分。

深度学习主要是学习哪些算法？

深度学习（也称为深度结构化学习或分层学习）是基于人工神经网络的更广泛的机器学习方法族的一部分。学习可以是有监督的、半监督的或无监督的。

深度学习架构，例如深度神经网络、深度信念网络、循环神经网络和卷积神经网络，已经被应用于包括计算机视觉、语音识别、自然语言处理、音频识别、社交网络过滤、机器翻译、生物信息学、药物设计、医学图像分析、材料检查和棋盘游戏程序在内的领域，在这些领域中，它们的成果可与人类专家媲美，并且在某些情况下胜过人类专家。

神经网络受到生物系统中信息处理和分布式通信节点的启发。人工神经网络与生物大脑有各种不同。具体而言，神经网络往往是静态和象征性的，而大多数生物的大脑是动态(可塑)和模拟的。

定义深度学习是一类机器学习算法： 使用多个层逐步从原始输入中逐步提取更高级别的特征。例如，在图像处理中，较低层可以识别边缘，而较高层可以识别对人类有意义的部分，例如数字/字母或面部。

深度学习有哪些算法？

bp算法在深度神经网络上为什么行不通

BP算法作为传统训练多层网络的典型算法，实际上对仅含几层网络，该训练方法就已经很不理想，不再往下进行计算了，所以不适合深度神经网络。

BP算法存在的问题：（1）梯度越来越稀疏：从顶层越往下，误差校正信号越来越小。（2）收敛到局部最小值：尤其是从远离最优区域开始的时候（随机值初始化会导致这种情况的发生）。

（3）一般，我们只能用有标签的数据来训练：但大部分的数据是没标签的，而大脑可以从没有标签的的数据中学习。深度神经网络的特点：多层的好处是可以用较少的参数表示复杂的函数。

在监督学习中，以前的多层神经网络的问题是容易陷入局部极值点。如果训练样本足够充分覆盖未来的样本，那么学到的多层权重可以很好的用来预测新的测试样本。非监督学习中，以往没有有效的方法构造多层网络。

多层神经网络的顶层是底层特征的高级表示，比如底层是像素点，上一层的结点可能表示横线，三角； 而顶层可能有一个结点表示人脸。一个成功的算法应该能让生成的顶层特征最大化的代表底层的样例。

如果对所有层同时训练，时间复杂度会太高； 如果每次训练一层，偏差就会逐层传递。这会面临跟上面监督学习中相反的问题，会严重欠拟合。

简述深度学习的基本方法。

深度学习，需要怎么做到？

最佳答案1、深度学习，首先要学会给自己定定目标（大、小、长、短），这样学习会有一个方向；然后要学会梳理自身学习情况，以课本为基础，结合自己做的笔记、试卷、掌握的薄弱环节、存在的问题等，合理的分配时间，有针对性、具体的去一点一点的去攻克、落实。

2、可以学习掌握速读记忆的能力，提高学习复习效率。速读记忆是一种高效的学习、复习方法，其训练原理就在于激活“脑、眼”潜能，培养形成眼脑直映式的阅读、学习方式。

速读记忆的练习见《精英特全脑速读记忆训练》，用软件练习，每天一个多小时，一个月的时间，可以把阅读速度提高5、6倍，记忆力、注意力、思维、理解力等也会得到相应的提高，最终提高学习、复习效率，取得好成绩。

如果你的阅读、学习效率低的话，可以好好的去练习一下。3、要学会整合知识点。把需要学习的信息、掌握的知识分类，做成思维导图或知识点卡片，会让你的大脑、思维条理清醒，方便记忆、温习、掌握。

同时，要学会把新知识和已学知识联系起来，不断糅合、完善你的知识体系。这样能够促进理解，加深记忆。4、做题的时候要学会反思、归类、整理出对应的解题思路。

遇到错的题（粗心做错也好、不会做也罢），最好能把这些错题收集起来，每个科目都建立一个独立的错题集（错题集要归类），当我们进行考前复习的时候，它们是重点复习对象，保证不再同样的问题上再出错、再丢分。