| 名词 | 定义 |
|---|---|
| epoch | 使用训练集的全部数据进行一次完整的训练，称为“一代训练” |
| batch | 使用训练集中的一小部分样本对模型权重进行一次反向传播的参数更新，这样的一部分样本称为：“一批数据” |
| iteration | 使用一个batch的数据对模型进行一次参数更新的过程，称为“一次训练” |
epoch：所有的训练样本都在神经网络中进行了一次正向传播和一次反向传播。然而，当一个epoch的样本数量可能过于庞大，就需要把它分成多个小块，也就是分成多个batch来进行训练。
batch(批，一批样本)：将训练样本分成若干个batch
batch_size(批大小):每批样本的大小
iteration（一次迭代）：训练一个Batch就是一次Iteration
换算关系：
N
u
m
b
e
r
o
f
B
a
t
c
h
e
s
=
T
r
a
i
n
i
n
g
S
e
t
S
i
z
e
B
a
t
c
h
S
i
z
e
Number of Batches = \dfrac{Training Set Size}{Batch Size}
NumberofBatches=BatchSizeTrainingSetSize
实际上，梯度下降的几种方式的根本区别就在于上面公式中的Bathch_Size 不同，
| 梯度下降方式 | 训练集大小 | batch_size | number of batchs |
|---|---|---|---|
| BGD(批量梯度下降) | N | N | 1 |
| SGD(随机梯度下降) | N | 1 | N |
| MBGD(小批量梯度下降) | N | B | N/B+1 |
举个例子：
mnist 数据集有60000张图片作为训练数据，10000张图片作为测试数据。假设现在选择 ==Batch_Size =100 ==对模型进行训练。迭代30000次。