摘要: 针对自适应算法存在的不收敛问题，提出了一种Adam改进算法.通过引入多个超参数，并进行多次指数平滑，来弥补一次指数平滑的不足.此外，对二阶动量计算加以修正，预防了二阶动量数据发生不良的波动，从而达到平滑非预期的大学习率的效果.分别在Resnet模型和Densenet模型上对cifar10和cifar100数据集进行了对比实验.
京公网安备 11010502049817号