生成AIパスポート試験の合格を目指す方へ動画・章別テキスト・問題演習・用語集がひとつになった無料の合格アプリ

無料で合格アプリを使う →

生成AIパスポート 用語集機械学習

モデルの評価とはもでるのひょうか

英語Model Evaluation分野機械学習出題重要度★★☆公式テキスト公式テキスト 第5章「LMとLLM」

モデルの評価の意味

モデルの評価とは、学習や調整を終えたAIモデルが、どの程度正しく役に立つ結果を出せるかを確かめる工程のことです。公式テキストではファインチューニングの3ステップの最後として位置づけられ、学習に使ったものとは別の新しいデータセットで性能を測ることで、未知のデータへの対応力(汎化性能)を確認します。

生成AIパスポート試験の対策なら → 無料の合格アプリ

詳しい解説

ファインチューニングは、①モデルのトレーニング、②ハイパーパラメータの調整、③モデルの評価、という3ステップで進みます。最後の評価で重要なのは、学習に使ったデータで成績を測らないことです。学習に使ったデータで測ると、丸暗記していても高得点が出てしまい、過学習を見逃す恐れがあるからです。

評価の結果、期待した性能に届かなければ、データを見直したり、ハイパーパラメータを調整し直したりして改善を図ります。評価は一度で終わりではなく、改善のサイクルを回すための出発点でもあります。

試験のポイント

  • ファインチューニングの3ステップの「最後(3番目)」
  • 学習に使ったものとは「別の」新しいデータセットで評価する
  • 目的は未知データへの対応力(汎化性能)の確認
  • 3ステップの順番「トレーニング→ハイパーパラメータ調整→評価」を押さえる

モデルの評価の確認問題(○×)

ファインチューニングにおけるモデルの評価では、学習に使ったものとは別の新しいデータセットを使って性能を確かめる。

答えと解説を見る

答え:○

未知のデータに対応できるか(汎化性能)を確かめるため、学習に使っていないデータで評価します。

モデルの評価とあわせて覚えたい関連用語

「機械学習」のほかの用語

機械学習の用語一覧(33語)を見る →

生成AIパスポート 用語集(全407語)のトップに戻る

↑