神经网络解决过拟合的方法,神经网络过拟合解决

神经网络拟合函数的小例题

。

人工神经网络第一次作业题目：使用函数sin()autecu试验MATLAB中的BP算法1、改变不同训练算法，观察效果；2、改变参数a,c的值，观察效果；3、改变隐层神经网络个数，观察效果；4、尝试：加入噪声的训练效果。

一、改变不同训练算法，观察效果在MATLAB中，BP网络的训练函数一共有以下几种，改变不同训练算法，观察效果就是在其他参数不变只改变程序中训练函数的情况下，得到不同训练算法的训练结果。

训练方法训练函数梯度下降法traingd有动量的梯度下降法traingdm自适应lr梯度下降法traingda自适应lr动量梯度下降法traingdx弹性梯度下降法trainrpFletcher-Reeves共轭梯度法traincgfPloak-Ribiere共轭梯度法traincgpPowell-Beale共轭梯度法traincgb量化共轭梯度法trainscg拟牛顿算法trainbfg一步正割算法trainossLevenberg-Marquardt法trainlm由于这只是改变程序中的训练算法，其他不变，所以为了简洁，在本程序中只选取了四种训练算法，分别是梯度下降法traingd、弹性梯度下降法trainrp、拟牛顿算法trainbfg和Levenberg-Marquardt法trainlm，只更改不同的训练算法来构造节点，程序如下，得到不同训练算法下的仿真图如图1所示。

clearall;closeall;clc;a=1,c=1;%在此改变a,c的值layer_number=20;%在此改隐