Trainer--学习笔记

1. 定义数据加载器
2. 定义优化器
3. 定义损失函数
4. 模型实例化
5. 循环读取数据，开始迭代训练

1. 在每次获取到数据之后,训练之前 对数据进行不同处理?
2. 在完成一次backward操作之后 显示当前loss 或者accuracy
3. 在完成每次batch or epoch 后保存模型或者修改学习率?

1. iteration:一般是在完成一个batch 训练之后进行的事件调用序列（一般不改动网络或者优化器，如：计算准确率）调用序列；
2. batch 在进行batch 训练之前需要进行的事件调用序列
3. epoch 完成一个epoch 训练之后进行的事件调用序列
4. update 完成一个batch训练之后进行的事件(涉及到对网络或者优化器的改动,如:学习率的调整）
5. 注意，iteration 跟update 两种插件调用的时候传入的参数不一样，iteration 会传入batch output，loss 等训练过程中的数据, 而update传入的的model，方便对网络的修改

pytorch lightning：

1. 自动early stopping，自动batch_size， leaning rate搜索

2. 当模型比较复杂时，为了提高代码的可读性，建议先使用torch.nn.Module构建网络，再使用pytorch_lightning.LightningModule对其进行包装

3. 使用Pytorch进行开发时，到这里模型定义就结束了，其余的训练、验证的具体实现会放在train.py等训练代码中；但Pytorch Lightning模型实现的是整个系统，所以训练的细节也会在这个类中实现

4. 当模型比较复杂时，为了提高代码的可读性，建议先使用torch.nn.Module构建网络，再使用pytorch_lightning.LightningModule对其进行包装