GroupLens

概述

GroupLens 是历史上第一个自动化协同过滤系统，由 MIT 的 Paul Resnick 与明尼苏达大学的 John Riedl 团队于 1994 年联合开发，通过 Pearson 相关系数计算用户相似度并预测评分，以开放式架构解决了 Usenet 新闻组的信息过载问题，奠定了现代推荐系统的技术基础。

关键内容

论文信息：Resnick, P., Iacovou, N., Suchak, M., Bergstrom, P., & Riedl, J. (1994). "GroupLens: An Open Architecture for Collaborative Filtering of Netnews." Proceedings of CSCW '94, pp. 175-186。DOI: 10.1145/192844.192905。引用量超过 6000 次，是推荐系统领域被引最多的开山之作之一。2010 年 GroupLens 研究组荣获 ACM 软件系统奖。
时代背景：1994 年 Usenet 新闻组每天发布约 100,000 篇文章，数据传输量以每年 181% 的速率增长。人工编辑模式（版主审核）和基于关键词的过滤（Kill Files）都无法应对信息海啸。Tapestry 系统虽首创"协同过滤"概念，但需手动指定信任对象，无法扩展。
核心假设："People who agreed in their subjective evaluation of past articles are likely to agree again in the future."（在过去文章的主观评价上达成一致的人，未来也可能再次达成一致。）这一"看似简单却意义深远"（deceptively simple）的洞察成为整个协同过滤领域的理论基石。
系统架构：由三类实体组成：
新闻客户端（News Clients）：用户阅读和评分的界面，团队为 Gnus、xrn、tin 等主流 Unix 新闻阅读器和 Macintosh 客户端开发了修改版本
新闻服务器（News Servers）：标准 Usenet NNTP 服务器，通过创建专用"评分传输新闻组"在服务器间同步评分数据
Better Bit Bureau（BBB，评分服务器）：GroupLens 引入的唯一新实体，负责收集评分、共享评分、计算用户间相关系数、生成预测评分
用户相似度计算：采用 Pearson 相关系数衡量用户间评分模式的相似性，取值范围 [-1, 1]。选择 Pearson 的原因：
均值中心化：衡量评分偏离个人均值的模式，而非绝对评分值，因此能兼容不同评分习惯的用户
方向鲁棒性：若两用户品味完全相反，产生负相关，系统可将对方的高分"翻译"为低分预测
加权预测公式： $$\hat{r}{u,j} = \bar{r}_u + \frac{\sum{k \in N(u)} w(u,k) \cdot (r_{k,j} - \bar{r}k)}{\sum{k \in N(u)} |w(u,k)|}$$ 该公式后来成为 User-Based 协同过滤的标准范式，在随后十余年间被无数论文引用、扩展和改进。
开放式架构设计五大目标：
开放性（Openness）：任何 Usenet 客户端都可参与，任何人都可开发替代的 BBB 服务器或客户端
易用性（Ease of Use）：评分操作简便，不打断正常阅读流程
与 Usenet 兼容（Compatibility）：建立在现有基础设施之上，无需迁移到新平台
可扩展性（Scalability）：能随用户数量增长而扩展
隐私保护（Privacy）：用户可在假名下提交评分而不降低预测有效性
隐私保护机制：允许用户使用假名提交评分。由于相关系数计算只依赖评分模式而非真实身份，假名不会降低预测质量，实现了"可用性"与"隐私"之间的平衡。
大规模部署（1996-1997）：为期七周的公开试验中，从十余个新闻组招募 250 名志愿用户，提交 47,569 条评分，为 22,862 篇不同文章生成超过 600,000 条预测。关键发现：
个性化预测显著优于非个性化平均分
按新闻组分区提升评分密度，缓解数据稀疏问题
95% 的预测请求在 2 秒内完成，评分提交在 1 秒内完成
历史影响：
- 孵化出 MovieLens 数据集（推荐系统领域最重要的公开数据集）
- 1996 年创立 Net Perceptions 公司（第一家专注于推荐引擎的商业公司，客户包括 Amazon.com、CDnow、Art.com）
- 培养了推荐系统领域的一代领军人物（Joseph Konstan、Jonathan Herlocker、Loren Terveen 等）
- 其开放分布式架构理念与今天联邦学习（Federated Learning）的核心思想惊人一致
局限性：
- 冷启动问题：新用户无历史评分时无法提供个性化推荐
- 数据稀疏性：用户-文章评分矩阵极其稀疏，Pearson 相关系数在共同评分少时不可靠
- 显式评分的代价：用户主动打分增加操作负担
- 可扩展性瓶颈：User-Based CF 计算复杂度为 $O(n^2)$
- 评分操纵风险：开放系统中恶意用户可蓄意提交虚假评分
社会影响预见：论文提出"全球村是否会碎裂成一个个部落？"这一问题，直接预见了后来被广泛讨论的信息茧房（filter bubble）和"回声室"（echo chamber）现象——比 Eli Pariser 在 2011 年正式提出"过滤气泡"概念早了整整 17 年。
Item-Based CF 论文（2001）：GroupLens 研究组的 Sarwar、Karypis、Konstan、Riedl 共同发表了 Item-Based Collaborative Filtering Recommendation Algorithms（WWW '01），首次系统性分析和评估了基于物品的协同过滤方法，成为推荐系统领域引用量最高的论文之一（Google Scholar 超 10,000 次引用），与 1994 年的 GroupLens 原始论文、Koren 等人 2009 年关于矩阵分解的工作共同构成了协同过滤领域的"三座高峰"。

来源

raw/books/推荐系统/02-grouplens-collaborative-filtering.md — 全文解读
raw/books/推荐系统/03-item-based-collaborative-filtering.md — 第 1 节（论文机构信息）