Parallel slowdown とは

パラレル・スローダウンは、あるポイントを超えて並列アルゴリズムを並列化すると、プログラムの実行が遅くなる(並列実行に時間がかかる)並列コンピューティングの現象です。
パラレル・スローダウンは通例、通信のボトルネックの結果です。より多くのプロセッサノードが追加されるにつれて、各処理ノードは、有用な処理よりも通信を行うためにより多くの時間を費やしている。ある時点で、別の処理ノードを追加することによって生成される通信オーバーヘッドは、ノードが提供する処理能力の増加を上回り、並列の減速が発生します。
パラレル・スローダウンは、アルゴリズムが特に中間結果の重要な通信を必要とする場合に発生します。恥ずかしいほどの並列問題として知られているいくつかの問題は、そのような通信を必要とせず、したがって減速の影響を受けません。