卷积神经网络创新点思考

​好好学习，天天向上！

活动地址：CSDN21天学习挑战赛

一、经典卷积神经网络创新点

参考博客：典型卷积神经网络算法（AlexNet、VGG、GoogLeNet、ResNet）_流萤数点的博客-CSDN博客

1.AlexNet

激活函数调整会有什么变化？                                                       ——ReLU

并行处理是否更好？                                                                     ——并行GPU

卷积只能同一组吗？                                                                     ——分组卷积

如何防止过拟合？                                                                         ——数据增强和Dropout

2.VGG

卷积核一定越大越好？                                                                  ——3✖3卷积核

训练方法还有哪些？                                                                      ——Multi-Scale

3.GoogLeNet

每层卷积只能用同一种尺寸的卷积核？                                          ——Inception结构

网络结构如何降低参数量？                                                            ——1✖1卷积核

4.ResNet

如何解决梯度消失问题？                                                                ——残差网络

5.DenseNet 

前面层与后面层的密集连接会怎样？                                               ——特征重用

6.MobileNet

如何构建移动性强、功耗低的小模型？                                           ——深度级可分离卷积

7.ShuffleNet

分组卷积能否对通道进行随机分组？                                              ——逐点群卷积和通道混洗

8.EfficientNet

如何更好的提高训练效果？                                                            ——网络放缩

9.其他

卷积操作时必须同时考虑通道和区域吗？                                       ——Xception

通道间的特征都是平等的吗？                                                        ——SEnet

能否让固定大小的卷积核看到更大范围的区域？                           ——Dilated convolution

卷积核形状一定是矩形吗？                                               ——Deformable convolution可变形卷积

二、思考

1.卷积核

大+小？小+大？小——>大？大——>小？

尺寸不同？

不同形状？

2.通道

普通CNN+通道混洗？

其他通道特征提取方法？

随机性？

分组卷积+不同通道？

通道加权计算？

3.连接

密集连接与稀疏连接？

跨层连接？

随机连接？

搞科研好难哦！创新更难！