MMoE

概述

MMoE(Multi-gate Mixture-of-Experts)是一种多任务学习架构，通过为每个任务配备独立门控网络，让任务自适应地选择和组合共享专家子网络，有效缓解负迁移问题。

关键内容

核心架构

• Expert 层：多个共享的专家网络(通常为 MLP)，各自独立处理输入特征
• Multi-gate 层：每个任务拥有专属门控网络，通过 softmax 产生专家权重分配
• Tower 层：任务特定的塔网络，接收加权融合后的专家输出产生最终预测
• 前向传播：f^k(x) = Σ g^k(x)_i * f_i(x)，其中 g^k(x) = softmax(W_gk * x)

与相关架构的对比

• vs Shared-Bottom：Shared-Bottom 强制所有任务共享同一底层表示，MMoE 允许任务自主选择专家组合，在任务相关性低时优势显著
• vs OMoE：OMoE 所有任务共享同一门控，MMoE 为每任务配备独立门控，实现任务特定的专家选择
• MMoE 可视为 Shared-Bottom 与完全独立模型之间的连续体，根据数据自动找到最优共享程度

关键优势

• 负迁移抵抗：通过梯度隔离和专家特化机制，当任务信号冲突时可调低相关专家权重
• 训练稳定性：相比 Shared-Bottom 和 OMoE 具有更小的性能方差，对初始化更鲁棒
• 计算效率：门控网络极轻量，几乎不增加推理开销，适合工业级部署
• 可解释性：门控权重可可视化，揭示不同任务如何利用不同专家
• 适应性强：可根据任务相关性自动调整共享程度，从高度相关任务的共享到底层相关任务的隔离

局限性

• Expert 数量选择困难：缺乏系统选择准则，依赖经验和网格搜索
• 专家坍缩：可能出现所有门控收敛到同一专家的现象，退化为 Shared-Bottom
• 跷跷板现象：优化一任务时另一任务性能仍可能下降(后续 PLE 解决)
• 缺乏显式任务交互：任务间信息流仅通过共享专家间接传递(后续 ESMM 补充)
• 门控网络简单性：门控网络仅为线性层加 softmax，可能不足以捕获复杂的任务关系

工业应用

• Google 推荐系统(YouTube、Google Play 等)大规模采用
• 2018-2020 年间成为工业级推荐系统多任务学习的事实标准
• 国内互联网公司(腾讯、阿里巴巴、字节跳动、快手)广泛部署
• 在 YouTube 大规模推荐系统中同时优化参与度预测和满意度预测，取得显著成效

历史影响

• 发表於 KDD 2018，至今被引用数千次
• 开创"Expert + Gate"范式，催生 PLE、DBMTL、AC-MMoE、BEnet 等后续工作
• MoE 思想在大模型时代复兴(Mixtral、DeepSeek、Qwen3 等)
• 建立了研究多任务学习中任务关系的实验范式：通过合成数据精确控制任务相关性
• 在大模型时代的 MoE 架构中，MMoE 思想得到更广义验证

来源

• MMoE 论文 — Ma et al., KDD 2018, "Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts"
• raw/books/推荐系统/14-mmoe.md — 深度解读文章

相关

• 多任务学习 — MMoE 的应用领域
• 负迁移 — MMoE 旨在缓解的核心问题
• Mixture-of-Experts — MMoE 的思想源头
• PLE — MMoE 的重要继承者，显式分离共享专家和任务特定专家
• ESMM — 利用用户行为序列关系建模任务因果依赖的后续工作
• YouTube — MMoE 大规模工业验证的平台