负采样

概述

负采样（Negative Sampling）是 Word2Vec 中的一项关键技术优化，用于加速训练过程，将复杂的多分类问题转化为简单的二分类问题。

关键内容

1. 解决问题：
2. 传统的 Softmax 需要计算整个词表的概率分母，计算复杂度很高

3. 负采样通过随机选择少量"负样本"来近似优化目标

4. 工作原理：

5. 每次训练只保留一个"正样本"（正确的上下文词）
6. 随机抽取 k 个"负样本"（不应该是上下文的词）

7. 将问题转化为 k+1 个二分类问题

8. 优化效果：

9. 显著提升训练速度（可提升数百倍）
10. 保持词向量的质量
11. 采用特定的概率分布（3/4次方）平衡高频词和低频词的采样

来源

• paper_09_word2vec — Word2Vec 论文介绍

相关

• Word2Vec — 所属技术
• Skip-gram 模型 — 应用模型
• CBOW — 应用模型
• 层次 Softmax — 对比技术
• NLP — 应用领域