Neural backpropagation とは

神経の逆伝播は、ニューロンの活動電位が、軸索の終わり(正常な伝播)および元の入力電流の大部分が由来する樹状突起または樹状突起への電圧スパイクの両方を生じる現象である。活動電位の能動的な逆伝播に加えて、受動的な電場拡散も存在する。逆伝播活動電位の存在を証明する十分な証拠があるが、そのような活動電位の機能およびそれらが最も遠位の樹状突起に浸潤する程度は非常に議論の余地がある。

IPO underpricing algorithm とは

IPOの過小評価は、最初のオファー価格から最初の終値までの株価の上昇です。多くの企業は、低価格のIPOが企業のためのテーブルにお金を残していると信じていますが、低価格化は避けられないと考えている人もいます。投資家は、低価格化が需要を増加させる市場への高い関心を示していると述べている。一方、高値の株価は価格が安定するにつれて長期的に下がり、低価格化は発行者を投資家の訴訟から安全に保つかもしれない。

Learning rule とは

学習ルールまたは学習プロセスは、人工ニューラルネットワークの性能を改善する方法または数学的論理であり、通常、このルールはネットワーク上で繰り返し適用される。これは、ネットワークが特定のデータ環境でシミュレートされている場合に、ネットワークの重みとバイアスレベルを更新することによって行われます。学習規則は、ネットワークの既存の状態(重みおよび偏り)を受け入れ、重みおよび偏りの新しい値および改善値を与えるために、ネットワークの期待される結果および実際の結果を比較する。シミュレートされている実際のモデルの複雑さに応じて、ネットワークの学習ルールはXORゲートや平均二乗誤差などの単純なものでも、複数の微分方程式の結果でもかまいません。学習ルールは、人工ネットワークをいかに速く、あるいはどれくらい正確にするかを決定する要因の1つです。ネットワークを開発するプロセスに応じて、機械学習の3つの主要モデルがあります。
 教師なし学習教師付き学習強化学習

Tensor product network とは

人工ニューラルネットワークにおけるテンソル積ネットワークは、変数割り当てなどの連想概念をモデル化するためにテンソルの特性を利用するネットワークです。 (変数名やターゲット割り当てなどの)アイデアをモデル化するために、Orthonormalベクトルが選択され、これらのベクトルのテンソル積は、その数学的特性によってユーザーが容易に関連付けを抽出できるネットワークを構築します。

ND4J (software) とは

ND4Jは、Java仮想マシン(JVM)上で動作し、Java、Scala、およびClojure言語と互換性がある、プログラミング言語C ++で書かれた科学計算ライブラリです。 ND4Jは2017年10月にEclipse Foundationに寄稿されました。
ND4Jは、プロダクション環境で線形代数と行列操作を実行するためのもので、Apache HadoopとSparkを統合してCPU(中央演算処理装置)やGPU(グラフィック処理ユニット)を処理するためのものです。 JVMベースの言語用のn次元配列をサポートしています。
ND4Jは、Apache License 2.0でリリースされた無料のオープンソースソフトウェアであり、主にAdam Gibsonが率いるDeeplearning4jを構築したサンフランシスコのグループによって開発されました。これはApache Software Foundationライセンスの下で作成されました。

HyperNEAT とは

ハイパーキューブベースのNEAT(HyperNEAT)は、広く使用されているNEAT(NeuroEvolution of Augmented Topologies)アルゴリズムの原則で人工ニューラルネットワーク(ANN)を発展させる生成エンコーディングです。これは、タスクドメインの幾何学的規則性を用いて大規模なニューラルネットワークを進化させるための新しい技術である。 Picbreeder.org用の画像とEndlessForms.com用の画像を生成するために使用されるCPPN(Compositional Pattern Producing Networks)を使用します。 HyperNEATは最近、プラスチックANNを進化させ、ネットワーク内のすべてのニューロンの位置を進化させるように拡張されました。

Artificial Intelligence System とは

人工知能システム(AIS)は、人間の脳をリアルタイムでシミュレートし、人工意識と人工総合知能を備えた長期的な目標を持つ、Intelligence Realm、Inc.が行った分散コンピューティングプロジェクトでした。研究では、発達段階に移行する前に、「人工知能を見つけることと同等の脳における知識表現の仕組み」を発見したと主張した。

Vanishing gradient problem とは

機械学習において、消失勾配問題は、勾配に基づく学習方法および逆伝播を伴う人工ニューラルネットワークの訓練において見出される困難である。このような方法では、ニューラルネットワークの重みの各々は、訓練の各反復において現在の重みに関する誤差関数の偏導関数に比例した更新を受け取る。問題は、場合によっては、勾配が消えて小さくなり、効果的にその値が変化しないようにすることです。最悪の場合、これは、ニューラルネットワークをさらなるトレーニングから完全に停止させる可能性がある。問題の原因の一例として、双曲線正接関数などの従来の活性化関数は、範囲(0,1)に勾配を持ち、バックプロパゲーションは勾配をチェーンルールで計算します。これは、これらの小さな数のnを乗じてn層ネットワークの "フロント"層の勾配を計算するという効果をもたらします。つまり、フロント層が非常にゆっくりと訓練されている間に勾配(誤差信号)が指数関数的に減少します。
バックプロパゲーションにより、研究者は最初に監視された深い人工ニューラルネットワークを最初から訓練することができましたが、最初はほとんど成功しませんでした。 Hochreiterの1991年の卒業論文は、多くの階層化されたフィードフォワードネットワークだけでなく、再帰的なネットワークにも影響する「消失勾配問題」におけるこの失敗の理由を正式に特定した。後者は、非常に深いフィードフォワードネットワークにそれらを展開することによって訓練され、ネットワークによって処理される入力シーケンスの各時間ステップに対して新しいレイヤが作成される。
微分値が大きな値を取ることができる活性化関数が使用される場合、関連する爆発勾配問題に遭遇する危険性がある。

Bidirectional recurrent neural networks とは

双方向反復ニューラルネットワーク(BRNN)は1997年にSchusterとPaliwalによって発明されました。 BRNNは、ネットワークに利用可能な入力情報の量を増やすために導入されました。例えば、多層パーセプトロン(MLP)および時間遅延ニューラルネットワーク(TDNN)は、入力データの柔軟性に限界があります。入力データの固定が必要なためです。標準的なリカレントニューラルネットワーク(RNNs)も、現在の状態から将来の入力情報に到達することができないため、制限を有する。逆に、BRNNは入力データを固定する必要はありません。さらに、それらの将来の入力情報は、現在の状態から到達可能である。 BRNNの基本的な考え方は、反対方向の2つの隠れたレイヤーを同じ出力に接続することです。この構造により、出力層は過去および将来の状態からの情報を得ることができる。
BRNNは、入力のコンテキストが必要な場合に特に便利です。例えば、手書き認識では、現在の手紙の前後にある手紙の知識によって性能を向上させることができる。

Connectionist temporal classification とは

接続主義時間分類(CTC)は、タイミングが変動するシーケンス問題に取り組むために、LSTMネットワークなどのリカレントニューラルネットワーク(RNN)をトレーニングするための、ニューラルネットワーク出力および関連するスコアリング関数の一種である。オンライン手書き認識や音声音声の音素認識などの作業に使用できます。 CTCはアウトプットとスコアリングを指し、基礎をなすニューラルネットワーク構造から独立しています。 2006年に導入されました。
入力は一連の観測値であり、出力はブランク出力を含む一連のラベルです。トレーニングの難しさは、ラベルよりもさらに多くの観察があることに由来します。例えば、音声オーディオでは、単一の音素に対応する複数のタイムスライスが存在し得る。観測されたシーケンスとターゲットラベルとの位置合わせがわからないので、各タイムステップでの確率分布を予測する。 CTCネットワークは、連続的な出力(例えばsoftmax)を有し、これは、ラベルの確率をモデル化するために訓練によって適合される。 CTCは境界とタイミングを学習しようとしません。ラベル配列は、アラインメントだけが異なり、空白を無視する場合、同等と見なされます。等価なラベル配列は、多くの点で発生する可能性があり、スコアリングは重要ではありません。幸運なことに、効率的な前方 – 後方アルゴリズムがあります。
ニューラルネットワークの重みを更新するために、バックプロパゲーションアルゴリズムと共にCTCスコアを使用することができます。
CTCに適合したニューラルネットワークへの代替アプローチには、隠れマルコフモデル(HMM)が含まれる。