卷积神经网络中参数量的计算原理及方法

手动计算参数量:
1. 卷积层参数计算方法:
参数量计算公式 = 卷积核高度 * 卷积核宽度 * 输入层通道数 * 输出层通道数 + bias(输出层通道数)
注意:池化层没有参数(只是在已知数据区域里求个最大值)

输入层通道数就是上层的卷积核数量
输出层通道数等于卷积核个数:输入层通道数经过32个卷积核后变成32个通道

2. 全连接层参计算方法:
根据x*w+b和矩阵乘法推断w的形状
参数量 = w的参数量 + b的参数量

举例:
(bs,1152) * (1152,512)
w的参数量 = 上一层的1152 * 这层的神经元个数512
b的参数量就是神经元的个数512
总参数量 = 1152*512+512=1153*512

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

# 卷积层
print(3*3 * 1 * 32 + 32)
print(3*3 * 32 * 32 + 32)
print(3*3 * 32 * 64 + 64)
print(3*3 * 64 * 64 + 64)
print(3*3 * 64 * 128 + 128)
print(3*3 * 128 * 128 + 128)

# 卷积核展平
print(3*3*128)

# 全连接层 (神经网络)
print(1152*512 + 512)
print(512*256 + 256)
print(256*10 + 10)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15