HuggingFace accelerate库与DeepSpeed集成
请解释HuggingFace accelerate库如何简化分布式训练。它如何与DeepSpeed集成？Accelerator对象的核心功能是什么？
回答
我还是少年
accelerate让分布式训练配置对代码透明。
Accelerator对象：自动检测环境，prepare()包装model/optimizer/dataloader，backward()替代loss.backward()。
与DeepSpeed集成：通过accelerate config配置DeepSpeed参数，包括ZeRO阶段、offload设置。
ZeRO三阶段：
- ZeRO-1：分片优化器状态
- ZeRO-2：分片梯度+优化器
- ZeRO-3：分片参数+梯度+优化器
启动：accelerate launch --config_file ds_config.yaml train.py