模型选择

概述

模型选择是统计学中的核心问题，旨在从一组候选模型中选择最佳模型来描述数据，需在模型拟合度与简约性之间找到最佳平衡点。

关键内容

1. 问题本质：模型选择的核心是在拟合度与简约性之间的永恒博弈。复杂模型能更好地拟合数据但可能导致过拟合，简单模型可能遗漏数据中的真实结构导致欠拟合。

2. 传统方法局限：20世纪70年代前，模型选择主要依赖假设检验（如似然比检验），存在只能比较嵌套模型、阈值的任意性、无法同时比较多个模型、忽视预测能力等根本缺陷。

3. 信息论方法：赤池弘次提出的AIC基于信息论，通过Kullback-Leibler散度衡量模型的信息损失，提供了客观的模型比较标准。

4. 现代方法：包括AIC、BIC等多种信息准则，以及交叉验证、贝叶斯模型比较等方法，使模型选择更加客观和自动化。

5. 应用领域：广泛应用于回归分析、时间序列建模、机器学习算法选择、生态学建模等领域。

来源

• 07-akaike-1974-aic — 用一把"奥卡姆剃刀"丈量统计模型
• 统计学基础 — 统计学习理论

相关

• AIC（赤池信息准则） — extends
• BIC（贝叶斯信息准则） — extends
• 过拟合 — addresses
• 欠拟合 — addresses
• 统计学 — part_of