迁移学习

概述

迁移学习将在一个任务（如 ImageNet 分类）上预训练得到的知识迁移到另一个任务中，避免从零训练，是小数据集场景下的高效学习范式。

关键内容

1. AlexNet 的迁移学习实践：AlexNet 训练完成后，其学到的特征可以迁移到其他视觉任务。具体做法：将前几层卷积作为通用特征提取器，冻结或微调，只重新训练最后的分类层。
2. 为什么有效：深度卷积网络的前几层学到的特征（边缘、纹理、颜色、简单几何形状）是通用的，不依赖特定任务。只有深层特征才与具体类别相关。因此，预训练模型的底层特征可以直接复用。
3. ImageNet 预训练模型：ImageNet 预训练模型成为深度学习时代的"通用特征提取器"。医疗图像诊断、自动驾驶、工业检测等下游任务都可以基于 ImageNet 预训练模型进行微调，大幅减少所需数据和训练时间。
4. 与预训练-微调范式的关系：迁移学习是 预训练-微调范式 的核心思想。这一范式后来从计算机视觉扩展到自然语言处理（如 BERT、GPT 系列），成为现代 AI 的标准方法论。

来源

• [raw/articles/ai-papers/foundations/paper_03_alexnet.md] — AlexNet 论文精读

相关

• AlexNet — popularized_by
• ImageNet — pretraining_source
• 预训练-微调范式 — core_idea
• 深度学习 — standard_practice