PyTorch AMP混合精度训练详解
请解释PyTorch中的AMP(Automatic Mixed Precision)训练。为什么混合精度可以加速训练？FP16和BF16有什么区别？
回答
我还是少年
AMP自动选择FP16/BF16与FP32混合使用。
优势：
- FP16/BF16计算速度2-8x(Tensor Core)
- 显存减半
- 关键操作保持FP32防精度丢失
核心：autocast自动管理精度，GradScaler防止梯度下溢。
FP16 vs BF16：
- BF16范围更大(同FP32)，几乎不需GradScaler
- BF16需A100+架构
- FP16需GradScaler防溢出
注意：BN在AMP下保持FP32；loss在autocast外计算。