Text normalization とは

テキストの正規化とは、テキストを以前は持っていなかった単一の標準形式に変換するプロセスです。それを保存または処理する前にテキストを正規化することで、操作が実行される前に入力が一貫していることが保証されているため、懸念を分けることができます。テキストの正規化では、どのタイプのテキストを正規化し、その後どのように処理するかを認識する必要があります。汎用の正規化手順はありません。