Vanishing gradient problem とは

機械学習において、消失勾配問題は、勾配に基づく学習方法および逆伝播を伴う人工ニューラルネットワークの訓練において見出される困難である。このような方法では、ニューラルネットワークの重みの各々は、訓練の各反復において現在の重みに関する誤差関数の偏導関数に比例した更新を受け取る。問題は、場合によっては、勾配が消えて小さくなり、効果的にその値が変化しないようにすることです。最悪の場合、これは、ニューラルネットワークをさらなるトレーニングから完全に停止させる可能性がある。問題の原因の一例として、双曲線正接関数などの従来の活性化関数は、範囲(0,1)に勾配を持ち、バックプロパゲーションは勾配をチェーンルールで計算します。これは、これらの小さな数のnを乗じてn層ネットワークの "フロント"層の勾配を計算するという効果をもたらします。つまり、フロント層が非常にゆっくりと訓練されている間に勾配(誤差信号)が指数関数的に減少します。
バックプロパゲーションにより、研究者は最初に監視された深い人工ニューラルネットワークを最初から訓練することができましたが、最初はほとんど成功しませんでした。 Hochreiterの1991年の卒業論文は、多くの階層化されたフィードフォワードネットワークだけでなく、再帰的なネットワークにも影響する「消失勾配問題」におけるこの失敗の理由を正式に特定した。後者は、非常に深いフィードフォワードネットワークにそれらを展開することによって訓練され、ネットワークによって処理される入力シーケンスの各時間ステップに対して新しいレイヤが作成される。
微分値が大きな値を取ることができる活性化関数が使用される場合、関連する爆発勾配問題に遭遇する危険性がある。

Qloo とは

Qloo(「手がかり」と発音)は、人工知能(AI)を使用して味や文化的な相関関係を理解する企業です。企業にアプリケーションプログラミングインターフェイス(API)を提供します。 Leonardo DiCaprio、Elton John、Barry Sternlicht、Pierre Lagrangeなどから資金を調達しました。
Qlooは、音楽、映画、テレビ、食事、ナイトライフ、ファッション、書籍、旅行などの文化的領域にまたがるデータを対象とした機械学習を通じて、消費者の好みの相関関係を確立します。推薦システムはAIを使用して、さらなるアプリケーションのための相関を予測する。

Connectionist temporal classification とは

接続主義時間分類(CTC)は、タイミングが変動するシーケンス問題に取り組むために、LSTMネットワークなどのリカレントニューラルネットワーク(RNN)をトレーニングするための、ニューラルネットワーク出力および関連するスコアリング関数の一種である。オンライン手書き認識や音声音声の音素認識などの作業に使用できます。 CTCはアウトプットとスコアリングを指し、基礎をなすニューラルネットワーク構造から独立しています。 2006年に導入されました。
入力は一連の観測値であり、出力はブランク出力を含む一連のラベルです。トレーニングの難しさは、ラベルよりもさらに多くの観察があることに由来します。例えば、音声オーディオでは、単一の音素に対応する複数のタイムスライスが存在し得る。観測されたシーケンスとターゲットラベルとの位置合わせがわからないので、各タイムステップでの確率分布を予測する。 CTCネットワークは、連続的な出力(例えばsoftmax)を有し、これは、ラベルの確率をモデル化するために訓練によって適合される。 CTCは境界とタイミングを学習しようとしません。ラベル配列は、アラインメントだけが異なり、空白を無視する場合、同等と見なされます。等価なラベル配列は、多くの点で発生する可能性があり、スコアリングは重要ではありません。幸運なことに、効率的な前方 – 後方アルゴリズムがあります。
ニューラルネットワークの重みを更新するために、バックプロパゲーションアルゴリズムと共にCTCスコアを使用することができます。
CTCに適合したニューラルネットワークへの代替アプローチには、隠れマルコフモデル(HMM)が含まれる。

Early stopping とは

機械学習では、早期停止は、勾配降下などの反復方法を使用して学習者を訓練するときの過適合を避けるために使用される正規化の一形態です。このような方法は、反復ごとに学習データをより良く適合させるように学習者を更新する。これまでのところ、トレーニングセット外のデータに対する学習者のパフォーマンスが向上しました。しかし、その点を踏まえて、訓練データへの学習者の適合度を向上させることは、一般化エラーの増加を犠牲にしている。早期停止ルールは、学習者が過度にフィットする前に何回反復を実行できるかに関するガイダンスを提供します。早期の停止規則は、様々な機械学習方法で理論的基礎の量を変えて採用されてきた。

Bag-of-words model とは

bag-of-wordsモデルは、自然言語処理および情報検索(IR)で使用される単純化表現です。ベクトル空間モデルとも呼ばれます。このモデルでは、文章や文章などの文章は、文章や単語の順序を無視して複数形になっていて、その単語の袋(マルチセット)として表現されています。バッグオブワードモデルもコンピュータビジョンに使用されています。
bag-of-wordsモデルは、各単語の(出現頻度)が分類子を訓練するための特徴として使用される文書分類の方法で一般的に使用される。
言語学的文脈における「単語の袋」への早期の言及は、Zellig Harrisの1954年の流通構造に関する記事に見出すことができる。

Documenting Hate とは

Documenting Hateは、憎悪犯罪や偏見事件の体系的な追跡のために、多数のジャーナリズム、学術、コンピューティング組織と協力して、ProPublicaのプロジェクトです。オンラインフォームを使用して、一般市民によるインシデントの報告を容易にします。 2017年8月以降、機械学習や自然言語処理技術を使用して、憎悪犯罪や偏見事件に関するニュース記事を監視および収集しています。 2017年10月現在、100以上のニュース組織がプロジェクトに参加しています。

Outline of machine learning とは

以下の概要は、機械学習の概要とトピックガイドとして提供されています。
機械学習 – 人工知能におけるパターン認識と計算学習理論の研究から進化したコンピュータサイエンス(特にソフトコンピューティング)のサブフィールド。 1959年、Arthur Samuelは機械学習を「コンピュータに明示的にプログラムすることなく学習する能力を与える研究の場」と定義しました。機械学習は、データから学び、データを予測できるアルゴリズムの研究と構築を探求しています。このようなアルゴリズムは、厳密に静的なプログラム命令に従うのではなく、データ駆動の予測または決定を出力として表現するために、入力観測のトレーニングセットの例からモデルを構築することによって動作します。

Multiplicative weight update method とは

乗法重み更新法は、メタアルゴリズムである。これは、「一定の関心のある集合上の分布を維持し、別のアルゴリズムをその分布上で実行することによって得られたフィードバックに基づいて要素の確率質量に適切に選択された因子を掛けることによって反復的に更新するアルゴリズム」である。機械学習(AdaBoost、Winnow、Hedge)、最適化(線形計画問題解決)、理論計算機科学(LPとSDPの高速アルゴリズムの策定)、ゲーム理論など、さまざまな分野で繰り返し発見されました。

Automated machine learning とは

自動機械学習(AutoML)は、実世界の問題に機械学習を適用するエンドツーエンドのプロセスを自動化するプロセスです。典型的な機械学習アプリケーションでは、医師は、機械学習に適したデータセットを作成する適切なデータ前処理、フィーチャエンジニアリング、フィーチャ抽出、およびフィーチャ選択方法を適用する必要があります。これらの前処理ステップに続いて、開業医は、最終的な機械学習モデルの予測性能を最大にするアルゴリズム選択およびハイパーパラメータ最適化を実行しなければならない。これらのステップの多くは非専門家の能力を超えていることが多いため、AutoMLは、機械学習を適用する絶えず増大する課題への人工知能ベースのソリューションとして提案されました。機械学習を適用するエンドツーエンドのプロセスを自動化することで、より簡単なソリューションの作成、それらのソリューションの迅速な作成、手作業で設計されたモデルよりも優れたモデルの利点がもたらされます。

Trax Retail とは

Traxはシンガポールに本社を置くテクノロジー企業で、APAC、ヨーロッパ、中東、北米、南米にオフィスを構えています。そのコンピュータビジョン技術は、コカコーラなどのFMCG企業や小売業者が物理的な棚で何が起こっているかを収集、測定、分析するために使用されています。