過学習とはかがくしゅう

テストの過去問の答えを丸暗記した生徒を想像してください。過去問と同じ問題なら満点ですが、少し形を変えた問題が出ると解けません。過学習はこれと同じ状態で、データの本質的な規則性ではなく、個々のデータの細部まで覚えてしまっています。

学習の進み具合は「学習不足→汎化→過学習」の3段階で表されます。学習が足りないと規則性をつかめず、ちょうどよいところで汎化した状態になり、学習させすぎると過学習に陥ります。主な原因は学習のし過ぎで、データが少ない場合やモデルが複雑すぎる場合にも起こりやすくなります。対策としては、アーリーストッピング、正則化、ドロップアウトなどがあります。