過学習は、モデルがトレーニングデータ（ノイズや外れ値を含む）を過剰に学習し、未知のデータに対するパフォーマンスに悪影響を与える場合に発生します。この記述とは反対に、過学習は「過度に単純な」モデルによって引き起こされるのではなく、通常、トレーニングデータの量に比べてパラメータが多すぎる、過度に複雑なモデルによって引き起こされます。このようなモデルは分散が高くバイアスが低いため、トレーニングデータには完全に適合しますが、新しいデータセットへの一般化はできません。HCIP-AI EI Developer V2.5カリキュラムでは、過学習は、モデルの複雑さによってトレーニングデータの一般的なパターンではなくランダムな変動が捉えられ、予測パフォーマンスが低下するシナリオとして説明されています。
HCIP-AI EI Developer V2.5 からの正確な抜粋:
「オーバーフィッティングとは、トレーニング済みのモデルがトレーニング データセットでは非常に優れたパフォーマンスを発揮するが、新しいデータではパフォーマンスが低下することを意味します。
これは通常、モデルの過度の複雑さ、データの不足、または正規化の欠如によって発生します。参照：HCIP-AI EI開発者V2.5公式学習ガイド - 章：モデルトレーニングの課題