BERT变体：RoBERTa、ALBERT、DistilBERT的核心改进
RoBERTa、ALBERT、DistilBERT是对BERT的三大经典改进。请分别说明每种模型的改进动机、核心技术创新，以及在不同维度上的优化方向（数据/参数/速度）。
回答
屠龙少年
RoBERTa（优化数据/训练）：动态掩码（每个epoch重新掩码）、移除NSP、更大数据（CC-News等160GB）、更大batch（8K）、更长训练。表现全面超越BERT。ALBERT（优化参数效率）：1）分解Embedding矩阵（V×E + E×H，E<<H）；2）跨层参数共享（所有层共享同一套参数）；3）SOP替代NSP。参数量减少80%，性能损失极小。DistilBERT（优化推理速度）：知识蒸馏——学生模型（6层）从教师BERT-base（12层）学习，损失函数包括蒸馏损失+MLM损失+余弦嵌入相似度。参数量减少40%，推理速度提升60%，保留97%性能。三者分别在数据规模、参数效率、推理速度上做出了优化。