生成AIパスポート 用語集機械学習
前処理とはまえしょり
英語Preprocessing別名データ前処理分野機械学習出題重要度★★☆公式テキスト公式テキスト 第3章「画像生成AI」
解説:村井宗明(GUGA協議員・元文部科学大臣政務官・AIエンジニア)|公開 |更新
前処理の意味
前処理とは、集めたデータをそのまま学習に使うのではなく、モデルが扱いやすく学習しやすい形に整える工程のことです。画像データでは、サイズをそろえるリサイズ、値の範囲をそろえる正規化、データを水増しするデータ拡張などが代表的な手法です。前処理の良し悪しは、モデルの性能を大きく左右します。
生成AIパスポート試験の対策なら → 無料の合格アプリ
詳しい解説
現実に集めたデータは、大きさや形式がばらばらだったり、欠けている値や誤りが含まれていたりします。そのまま学習させると、モデルが余計な違いに振り回されたり、うまく学習できなかったりします。料理でいえば、食材を洗って皮をむき、同じ大きさに切りそろえる下ごしらえにあたります。
公式テキストでは、画像生成AIの開発の流れの中で、データ収集の後に前処理を行うと説明されています。また、動画生成AIでは、動画をフレーム(1コマずつの画像)単位に分割してから前処理を行います。大規模言語モデルでも、集めた膨大なテキストを前処理で絞り込んでから学習に使っています。
試験のポイント
- 収集したデータをモデルに適した形式に整える工程
- 画像の代表的手法は「リサイズ」「正規化」「データ拡張(水増し)」
- 動画生成ではフレーム単位に分割してから前処理を行う
- GPT-3は45TBのテキストを前処理で570GBに絞ったとされる
前処理の確認問題(○×)
画像データの前処理の代表的な手法として、リサイズ、正規化、データ拡張が挙げられる。
答えと解説を見る
答え:○
いずれもデータをモデルが学習しやすい形に整えるための処理です。
生成AIパスポート 用語集(全407語)のトップに戻る