服务器多卡GPU并行训练方案

服务器多块GPU一起使用，关键不是把卡插满就完事，而是先确认GPU互联拓扑和驱动环境，再用数据并行、张量并行或流水线并行把训练任务拆开，通过NCCL通信让多卡协同；单机多卡优先用torchrun/NCCL启动，多机多卡再考虑Slurm或Kubernetes调度，多GPU服务器怎么配置才能一起跑训练多GPU服务器……