专家坍缩

概述

专家坍缩是指在混合专家模型（如 MMoE）中，所有门控网络最终收敛到只使用同一个专家，导致其他专家被"遗弃"的现象。这使得模型退化为事实上的 Shared-Bottom 架构，浪费了额外的参数和计算资源。

关键内容

现象定义

• 门控收敛：所有任务的门控网络最终只激活同一个专家网络
• 资源浪费：大部分专家网络处于闲置状态，未发挥预期作用
• 功能退化：模型实际上退化为 Shared-Bottom 架构，失去了 MMoE 的设计优势

产生原因

• 训练不稳定：门控网络在训练过程中可能陷入局部最优解
• 专家极化：某些专家在训练初期表现稍好，导致门控网络过度依赖这些专家
• 初始化敏感：不同初始化条件下，可能出现专家选择的不均衡分布
• 损失函数设计：优化目标可能鼓励门控网络集中选择少数专家

与 MMoE 的关系

• 架构固有问题：专家坍缩是 MMoE 等混合专家模型的潜在风险
• 参数浪费：导致额外的专家网络参数未被有效利用
• 表达能力受限：限制了模型对不同任务特征表示的能力

解决方案

• Expert Dropout：论文中提到使用 Expert Dropout 来缓解专家极化问题
• 平衡约束：在损失函数中加入专家使用平衡的约束项
• 路由正则化：通过正则化项鼓励门控网络分散选择不同专家
• 初始化策略：采用特定的初始化策略来避免初始不平衡

防治措施

• 监控门控权重：在训练过程中监控各个门控网络的专家选择分布
• 定期评估：评估每个专家网络的利用率和贡献度
• 动态调整：根据专家使用情况动态调整网络结构

来源

• MMoE 论文 — 讨论的局限性之一
• raw/books/推荐系统/14-mmoe.md — 深度解读文章

相关

• MMoE — 在该架构中出现的问题
• Mixture-of-Experts — 问题所属的模型类别
• Expert Dropout — 缓解该问题的技术
• 门控机制（Gating Mechanism） — 与专家选择相关的核心组件