データセットとはでーたせっと

機械学習のモデルは、データセットに含まれる情報からしか学べません。そのため、データセットの量・質・偏りの少なさは、モデルの性能や公平性を決める重要な要素です。データセットは通常、訓練データ・検証用データ・テストデータに分けて使われます。

公式テキストでは、GPTシリーズの学習データの規模が紹介されています。GPT-1は数十億語のテキスト、GPT-2は約800万件のWebサイトのテキスト、GPT-3は45TBのデータを前処理して570GBに絞り込んだデータで学習したとされています。世代が進むにつれてデータセットが大規模になってきたことがわかります。