Long short-term memory とは

長い短期記憶(LSTM)単位(またはブロック)は、リカレントニューラルネットワーク(RNN)のレイヤーの構築単位です。 LSTMユニットで構成されるRNNは、しばしばLSTMネットワークと呼ばれます。一般的なLSTMユニットは、セル、入力ゲート、出力ゲート、および忘却ゲートで構成されています。セルは任意の時間間隔で値を「記憶」する責任があります。したがって、LSTMの単語 "メモリ"。 3つのゲートのそれぞれは、多層(またはフィードフォワード)ニューラルネットワークの場合のように、「従来の」人工ニューロンと考えることができる。すなわち、それらは加重和の活性化(活性化関数を使用して)を計算する。直感的に言えば、LSTMの接続を通る値の流れの調整官と考えることができます。それゆえに「ゲート」という表記です。これらのゲートとセルの間には接続があります。
長期短期という表現は、LSTMが長期間続くことができる短期記憶のモデルであるという事実を指す。 LSTMは、重要な出来事の間に未知のサイズと期間のタイムラグを与えられた時系列を分類、処理、予測するのに適しています。 LSTMは、従来のRNNを訓練する際の爆発的および消失的勾配問題に対処するために開発されました。ギャップ長に対する相対的な非感受性は、代替のRNN、隠れマルコフモデル、および他の多くのアプリケーションにおける他のシーケンス学習方法よりもLSTMに利点をもたらす。