逆倾向评分 (IPS)
概述
逆倾向评分加权（Inverse Propensity Scoring, IPS）是因果推断中用于校正选择偏差的核心方法，通过对观测样本按其被观测概率的倒数加权，从有偏数据中获得无偏的风险估计。
关键内容
-
核心思想：在推荐系统中，用户-物品对的评分被观测到的概率（倾向性评分）不均等。IPS 通过对每个观测样本赋予权重 $1/P_{u,i}$（倾向性评分的倒数），使得稀有观测（如冷门物品评分）获得更高权重，热门观测获得较低权重，从而"重建"近似随机分配的样本。
-
数学形式：真实风险 $R(\hat{Y}) = \frac{1}{U \cdot I} \sum_{u,i} \delta(\hat{y}{u,i}, y{u,i})$。IPS 估计器为 $\hat{R}{IPS}(\hat{Y}) = \frac{1}{U \cdot I} \sum{(u,i): O_{u,i}=1} \frac{\delta(\hat{y}{u,i}, y{u,i})}{P_{u,i}}$。当倾向性评分已知时，IPS 是真实风险的无偏估计，即 $E[\hat{R}_{IPS}] = R(\hat{Y})$。
-
直观解释：如果某个评分被观测到的概率只有 0.1，则该评分在估计中应被赋予 10 倍权重——它"代表"了约 10 个类似但未被观测到的评分。反之，高倾向性（如 0.8）的样本仅获 1.25 倍权重。
-
与朴素估计器的对比：朴素估计器直接在观测数据上计算平均损失，隐式假设数据是 MCAR 的。在 MNAR 场景下，朴素估计器的误差随选择偏差增大而急剧增长，而 IPS 始终保持低估计误差。
-
高方差问题：当某些倾向性评分极小时（如冷门物品几乎从未被评分），逆倾向权重 $1/P_{u,i}$ 会变得非常大，导致单个观测对估计结果影响过大。这促使了 SNIPS（自归一化版本）的提出。
-
在推荐系统中的应用：Tobias Schnabel 等人在 ICML 2016 论文 Recommendations as Treatments 中首次系统地将 IPS 引入推荐系统，提出 MF-IPS（基于 IPS 的矩阵分解），在 Yahoo! R3 和 Coat Shopping 数据集上显著优于传统方法。
-
理论保证：IPS 估计器不仅有理论无偏性，还具有有限样本下的尾部概率界（tail bound），刻画了估计器的集中性。当所有倾向性评分相等时（MCAR 情形），IPS 退化为传统朴素估计器。