AlexNet相比LeNet有哪些关键创新？
请解释AlexNet(2012)相比LeNet在架构设计上的主要创新点，以及为什么它能赢得ImageNet竞赛。
回答
我是大山
AlexNet由Krizhevsky等提出，赢得2012 ImageNet竞赛（Top-5误差15.3% vs 第二名26.2%）。关键创新：(1)更大更深——5卷积+3全连接（6000万参数），11×11和5×5大卷积核。(2)ReLU激活——首次在CNN中使用ReLU，解决梯度消失。(3)Dropout——全连接层使用Dropout防过拟合。(4)数据增强——随机裁剪、水平翻转、PCA颜色变换。(5)局部响应归一化(LRN)——抑制相邻通道的响应（后续被淘汰）。(6)GPU并行——双GPU训练（当时最大创新）。(7)重叠池化——Pooling stride<size。AlexNet开创了深度学习在CV领域的新时代。