Echo state network とは

エコー状態ネットワーク(ESN)は、希薄に接続された隠れ層(通常1%の接続性を有する)を有するリカレントニューラルネットワークである。隠れニューロンの接続性および重みは固定され、ランダムに割り当てられる。出力ニューロンの重みは、ネットワークが特定の時間的パターンを(再)生成できるように学習することができる。このネットワークの主な関心事は、その挙動は非線形であるが、トレーニング中に修正される唯一の重みは、隠れニューロンを出力ニューロンに接続するシナプスであることである。したがって、誤差関数は、パラメータベクトルに対して2次であり、線形システムに容易に区別することができる。
代替的には、出力層のノンパラメトリックベイズの定式化を考慮することができ、その下で、(i)出力重みに事前分布が課される。 (ii)訓練データが与えられると、出力の重みは予測生成の文脈において外に除外される。このアイデアは、ガウス型プリオーサーを使用することによって実証されており、ESN駆動カーネル関数を有するガウスプロセスモデルが得られる。そのようなソリューションは、いくつかのベンチマークにおいて、トレーニング可能な(有限の)重みセットを持つESNより優れていることが示されました。
ESNの公的に利用可能な実装には以下のものがあります:(i)aureservoir:python / numpyバインディングを持つさまざまな種類のエコー状態ネットワーク用の効率的なC ++ライブラリ。 (ii)Matlabコード:エコー状態ネットワークのための効率的なMATLAB