PyTorch自动求导autograd机制原理
请详细解释PyTorch autograd的自动求导机制。什么是计算图？前向传播时如何构建图？backward()如何计算梯度？requires_grad、grad_fn、retain_graph分别是什么？
回答
Yahuda
autograd通过动态计算图实现自动求导。 前向传播：每个张量操作记录grad_fn，构建DAG。 反向传播：loss.backward()从output沿图反向传播。
关键概念：requires_grad(是否求导)、grad_fn(创建操作)、detach()(分离计算图)、no_grad()(禁用梯度，推理用)。 注意：计算图默认backward后释放以节省内存。