Delta rule とは

機械学習において、デルタ・ルールは、単一層ニューラル・ネットワーク内の人工ニューロンへの入力の重みを更新するための勾配降下学習ルールである。より一般的な逆伝播アルゴリズムの特殊なケースです。活性化関数 g ( x ) {\displaystyle g(x)} を持つニューロン j {\displaystyle j} に対して、 j {\displaystyle j} i {\displaystyle i} th重み w j i {\displaystyle w_{ji}} に対するデルタルールは、
Δ w j i = α ( t j y j ) g ( h j ) x i {\displaystyle \Delta w_{ji}=\alpha (t_{j}-y_{j})g'(h_{j})x_{i}}
どこで
それは h j = x i w j i {\displaystyle h_{j}=\sum x_{i}w_{ji}} y j = g ( h j ) {\displaystyle y_{j}=g(h_{j})} を保持しています。
デルタ規則は、線形活性化関数を有するニューロンについて、簡略化した形で一般的に述べられている
Δ w j i = α ( t j y j ) x i {\displaystyle \Delta w_{ji}=\alpha (t_{j}-y_{j})x_{i}}
デルタルールはパーセプトロンの更新ルールに類似していますが、派生は異なります。パーセプトロンは、Heavisideステップ関数を活性化関数 g ( h ) {\displaystyle g(h)} として使用するため、 g ( h ) {\displaystyle g'(h)} はゼロには存在せず、他の場所ではゼロに等しく、デルタルールを直接適用することは不可能です。