PyTroch随笔 - 多GPU分布式训练

在这里插入图片描述

Distributed Data-Parallel Training，DDP，分布式数据并行训练
- torch.nn.parallel.DistributedDataParallel
RPC-Based Distributed Training，RPC，基于RPC的分布式训练
Collective Communication，协同通信

不要把张量当入日志中输出，使用“.item()”转换为python的数据类型

logging.warning(f"epoch_index: {
     epoch_index}, batch_index: 1

相关阅读:
【C++提高编程】第一章模板：函数模板|类模板|
谈谈Java的特点和优点以及选择Java的原因
C++多线程同步
MySQL面试题入门：四大范式、SQL生命周期、SQL六大语言、索引、最左匹配原则....
贴纸拼词问题
Unity当中的灯光类型
契约锁集成近20种人事软件，助力HR网上签署“入转调离”文件
AI绘图：GPT4技术的艺术化呈现与无限可能
微软数据库的SQL注入漏洞解析——Microsoft Access、SQLServer与SQL注入防御
【漏洞复现】fastjson_1.2.24_unserializer_rce

原文地址：https://blog.csdn.net/u012515223/article/details/126472258