混合精度训练梯度溢出处理

混合精度训练要稳住数值，核心就三件事：损失缩放、梯度裁剪、特殊层保持高精度，做对这三步，大部分nan和inf问题都能避开，为什么混合精度训练容易出现nan和inf？——数值范围与精度丢失的根源混合精度训练不是单纯把模型从fp32换成fp16，而是让fp16负责计算、fp32负责累加，理解这一点,才能明白报错从哪……