第十七节 huggingface的trainner的断点续训的Demo(resume)

文章目录

• 前言
• 一、参数决定权重保存
• • 1、model.safetensors保存
  • 2、scaler.pt保存
  • 3、optimizer.pt与scheduler.pt保存
  • 4、self.state状态保存（trainer_state.json）
  • 5、rng_state.pth保存
  • 6、权重相关保存位置(huggingface)
• 二、Resume的Demo
• • 1、Demo构建
  • 2、实现Resume方法
• 三、Resume训练源码解读(Trainer->train方法)
• • 1、resume_from_checkpoint设定
  • 2、resume_from_checkpoint获得文件夹路径
  • 3、条件判断加载权重(resume_from_checkpoint is not None and not is_sagemaker_mp_enabled() and not self.is_deepspeed_enabled)
  • 4、inner_training_loop继续传入resume_from_checkpoint文件路径
• 三、Resume训练源码解读(Trainer->train->_inner_training_loop方法)
• • 1、条件判断加载权重(is_sagemaker_mp_enabled() and resume_from_checkpoint is not None)
  • 2、条件判断加载权重(resume_from_checkpoint is not None and self.is_deepspeed_enabled)
  • 3、optimizer_and_scheduler载入
  • 4、状态载入与更新(trainer_state.json)
  • • ignore_data_skip决定当前epoch继续迭代
    • trainer_state.json内容
  • 5、self.model、self.optimizer、self.lr_scheduler、train_dataloader更新
  • 6、跳过resume的epoch
  • 7、随机状态加载与step
  • • 满足steps_trained_in_current_epoch == 0条件加载随机状态参数rng_state.pth
    • 当前迭代数据处理与rng_to_sync设置
    • 满足rng_to_sync条件加载随机状态参数rng_state.pth
  • 8、总结
• 四、self._load_from_checkpoint(resume_from_checkpoint)源码解读
• • 1、参数
  • 2、文件路径获取
  • 3、config加载更新
  • • config = PretrainedConfig.from_json_file(config_file)
  • 4、权重文件加载
  • • 1、不同条件权重载入
    • 2、os.path.isfile(weights_file) or os.path.isfile(safe_weights_file)条件载入权重
    • 3、is_peft_available() and isinstance(model, PeftModel)条件载入权重
    • 4、else条件载入权重
  • 5、名词解读
  • • 1、huggingface预定义文件名称
    • 2、名称解释
    • 3、特定文件重点解释
• 五、self._load_optimizer_and_scheduler(resume_from_checkpoint)源码解读
• • 1、self._load_optimizer_and_scheduler源码调用
  • 2、checkpoint is None与self.is_deepspeed_enabled判断
  • 3、optimizer.pt文件存在判断
  • 4、optimizer.pt、scheduler.pt与scaler.pt重载结构
  • 5、总结
• 六、self._load_rng_state(resume_from_checkpoint)源码解读
• • 1、self._load_rng_state完整源码
  • 2、self._load_rng_state源码解读
• 总结