众所周知，深度学习是个黑盒，每次training都像在抽奖，但是对于模型落地，以及作为工程师来说，不可复现=没有意义。那么对于Pytorch如何能够尽可能的保证模型训练结果能够复现呢。本文收集整理了可能导致模型难以复现的原因，虽然不可能完全避免随机因素，但是可以通过一些设置尽可能降低模型的随机性
训练层面
Pytorch官方有提及到复现的问题Reproducibility - PyTorch 1.11.0 documentation
Pytorch不保证跨不同PyTorch 版本或不同平台的下的模型可以完全复现结果。并且即使使用相同的随机数种子，CPU 和 GPU 执行之间的结果也可能无法复现。但是，我们可以在相同设备和版本下，通过配置 PyTorch 以避免使用带有随机性的算法，即使去掉这些随机操作会模型运行非常慢
随机种子设置
import torch
torch.manual_seed(0)
GPU训练
当使用一组新的参数调用 cudnn卷积算子时，cudnn会去所有操作路径中找到最快的一个。因此由于benchmark噪音下，即使是在同一台机器上在后续运行中cudnn会选择不同的算法路径。
import torch
import numpy as np
import random
seed=0
random.seed(seed)
np.random.seed(seed)
if torch.cuda.is_available():
torch.cuda.manual_seed_all(seed)
torch.manual_seed(seed)
torch.cuda.manual_seed(seed)
torch.cuda.manual_seed_all(seed)
# Remove randomness (may be slower on Tesla GPUs)
# https://pytorch.org/docs/stable/notes/randomness.html
if seed == 0:
torch.backends.cudnn.deterministic = True
torch.backends.cudnn.benchmark = False
参数设置
类似的Batchsize都必须保证相同，Batch Size决定了要学习多少次样本后，进行一次反向传播。dropout 可能也会、多 GPU 并行训练都会带来随机性。
数据层面
DataLoader
DataLoader 多进程加载数据中中按照随机性重新设置随机种子。使用worker_init_fn()和生成器来保证可复现
def seed_worker(worker_id):
worker_seed = torch.initial_seed() % 2**32
numpy.random.seed(worker_seed)
random.seed(worker_seed)
g = torch.Generator()
g.manual_seed(0)
DataLoader(
train_dataset,
batch_size=batch_size,
num_workers=num_workers,
worker_init_fn=seed_worker,
generator=g,
)
数据增强
对于在线增强中，经常会以一定的概率进行随机增强，这样会导致每次运行得到的训练样本可能是不一致的，这也就造成了模型的不可复现。
多线/进程计算
可以通过在 PyTorch 中设置 DataLoader 中的 num_worker 参数为 0，或者直接不使用 GPU，指定使用 CPU 可以避免程序使用多线程。因为任何并行操作都可能会引入问题，因为并行操作中求和等操作会将导致 FP16 / 32 的精度损失，从而执行的顺序和线程数将对结果产生影响。
总的来说，采用以上操作后，除了一些pytorch底层计算一定会带来随机性的操作外，基本能够保证前10个epoch模型训练是能够复现了。
————————————————
版权声明：本文为CSDN博主「子韵如初」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_43953700/article/details/124302716
