跷跷板现象
概述
跷跷板现象是指在多任务学习中，优化一个任务的性能时，另一个任务的性能下降的现象。这种现象在 MMoE 等多任务学习架构中仍然存在，促使了后续 PLE 等更先进架构的发展。
关键内容
现象定义
- 性能权衡：当试图提高某一个任务的性能时，会导致另一个任务的性能相应下降
- 动态平衡：任务性能像跷跷板一样上下摆动，难以实现所有任务的同步提升
- 梯度冲突：不同任务的梯度信号在共享网络中发生冲突，导致模型参数被拉向不同方向
产生原因
- 梯度干扰：来自不同任务的梯度在共享专家网络中相互干扰
- 参数竞争：共享参数被不同任务的需求所争夺
- 目标冲突：某些情况下任务目标本身就存在冲突关系
与 MMoE 的关系
- MMoE 的局限：尽管 MMoE 通过独立门控网络减轻了负迁移，但仍无法完全消除跷跷板现象
- 共享专家限制：MMoE 中所有专家都是共享的，不同任务的梯度仍在专家网络中发生"角力"
- 间接交互：MMoE 中任务间的信息流仅通过共享专家间接传递，缺乏显式任务交互
解决方案
- PLE (Progressive Layered Extraction)：通过显式分离共享专家和任务特定专家来解决此问题
- 任务特定网络：为每个任务引入专属专家网络，减少任务间的直接竞争
- 渐进式提取：采用多层渐进式结构，逐层分离共享信息和任务特定信息
后续影响
来源
- MMoE 论文 — 后续工作中提到的局限性
- raw/books/推荐系统/14-mmoe.md — 深度解读文章