卷积神经网络loss不下降,神经网络loss多少算正常

1、为什么初始化向量后 神经网络loss无法下降

通常为了计算的优化等缘故，维度一般取2的指数。
全连接层后续计算loss，总共类别应该会有上千类，所以之前的layer最好也是1000这种规模，所以一般取1024,2048,4096等。
通过在数据集上进行测试，可以跑出来一个结果比较好的网络结构

谷歌人工智能写作项目：小发猫

2、BP神经网络损失函数居高不下

1、模型结构和特征工程存在问题神经网络loss没有下降原因。
2、权重初始化方案有问题。
3、正则化过度。
4、选择合适的激活函数、损失函数。
5、选择合适的优化器和学习速率。
6、训练时间不足，模型训练遇到瓶颈。

3、怎么选取训练神经网络时的Batch size？

选取训练神经网络时先选好batch size，再调其他的超参数。并且实践上来说，就两个原则——batch size别太小，也别太大，其他都行。