Universal approximation theorem とは

人工ニューラルネットワークの数学的理論では、有限個のニューロンを含む単一の隠れ層を有するフィードフォワードネットワークが、活性化関数についての穏やかな仮定の下で、Rnのコンパクトなサブセット上の連続関数に近似することができると述べている。したがって、定理は、適切なパラメータが与えられると、単純なニューラルネットワークが様々な興味深い関数を表すことができると述べている。しかし、それらのパラメータのアルゴリズム学習能力には触れていません。
定理の最初のバージョンの1つは、1989年にジョージ・サイベンコ(George Cybenko)によってシグモイド活性化関数について証明された。
Kurt Hornikは、1991年に、それが活性化関数の特定の選択ではなく、ニューラルネットワークに汎用近似器の可能性を与える多層フィードフォワード構造そのものであることを示した。出力単位は常に線形であると仮定されます。表記上の便宜のために、単一の出力ケースのみが示されます。一般的なケースは、単一の出力ケースから容易に導き出すことができます。