METEOR とは

METEOR(明示的ORderingによる翻訳の評価のメトリック)は、機械翻訳出力の評価の基準です。このメトリックはユニグラムの精度とリコールの調和平均に基づいており、リコールは精度よりも重み付けされています。また、ステミングや同義語マッチングなどの他のメトリックでは検出されないいくつかの機能が標準の完全一致と一緒に使用されています。このメトリックは、より一般的なBLEUメトリックに見られるいくつかの問題を修正するように設計されており、文章またはセグメントレベルでの人間の判断との良好な相関関係も生成します。これは、BLEUがコーパスレベルで相関を求める点でBLEUメトリックとは異なります。
同じデータセット上のBLEUの達成度0.817と比較して、コーパスレベルで人間の判断で0.964までの相関を示す結果が提示されている。文章レベルでは、人間の判断との最大の相関は0.403であった。「1」