CodeWalk

深度学习推荐模型DIN注意力机制

作者：Yahuda · 2026-05-30 12:55

解释Deep Interest Network(DIN)如何利用注意力机制从用户行为中捕获动态兴趣。

回答

Yahuda

DIN (Zhou et al., 2018, Alibaba) 针对电商场景设计，核心思想是用户的兴趣随候选物品变化。

核心创新：局部激活单元

  • 对候选物品A，用户历史行为中与A相关的购买/点击行为更重要
  • 例如：推荐篮球→用户历史中篮球相关的行为权重更大，无关的（如图书）权重小

注意力计算： v_u = Σ_{i=1}^{n} a(e_i, v_a)·e_i

  • e_i：第i个历史行为的embedding
  • v_a：候选物品embedding
  • a(e_i, v_a) = DNN([e_i; v_a; e_i-v_a; e_i⊙v_a]) → 标量权重

关键设计细节：

  1. 输入向量：拼接原向量、差向量和点积向量，捕获丰富的交互模式
  2. Sum Pooling：加权求和聚合用户行为，无归一化限制
  3. Dice激活函数：数据自适应PReLU改进版，适合不均衡分布

DIN vs 传统方法：

  • 传统：池化平均用户行为 → 一个固定向量表达用户兴趣
  • DIN：根据候选物品动态加权 → 用户兴趣是多变的

工业效果：在淘宝推荐中CTR+10%+，成为电商深度推荐的基础架构，后续被DIEN(兴趣演化)和DSIN(兴趣会话)拓展。