万能近似定理

概述

万能近似定理表明，具有单隐藏层的前馈神经网络可以逼近任何连续函数到任意精度。

关键内容

1. 理论基础：1989年Hornik等人证明了该定理，奠定了神经网络的理论基础，表明神经网络有能力表示复杂的非线性函数。

2. 技术细节：对于任何在紧集上的连续函数f，以及任意小的误差ε，都存在一个包含有限个神经元的单隐藏层前馈网络，使得其输出与f之间的误差小于ε。

3. 实际意义：该定理解释了为什么神经网络能够解决复杂的问题，但不保证网络能学到所需的函数，只说明理论上可以实现这种逼近。

来源

• ai_papers_timeline.md — 1989年理论突破
• Multilayer Feedforward Networks are Universal Approximators (1989 论文)

相关

• Multilayer Feedforward Networks are Universal Approximators (1989 论文) — described_in
• Neural Networks — theoretical_foundation
• Function Approximation — enables
• Deep Learning — supports
• 多层感知机 — applies_to
• 反向传播（Backpropagation） — relates_to