生成AIパスポート 用語集大規模言語モデルとGPT
コーパスとはこーぱす
コーパスの意味
コーパスとは、文章や会話などの言語データを大量に集めて整理したもののことで、「言語データの集合」を意味します。言語モデルが言葉の使われ方やパターンを学ぶための材料となり、ニューラル言語モデルや大規模言語モデルは大規模なコーパスを学習することで、自然な文章を理解・生成する能力を身につけます。
生成AIパスポート試験の対策なら → 無料の合格アプリ
詳しい解説
試験のポイント
- コーパス＝言語データを大量に集めたもの（言語データの集合）
- ニューラル言語モデルは大規模なコーパスを学習して言語のパターンを獲得する
- 機械学習全般の「データセット」のうち、言語データに特化したものと捉えるとよい
コーパスの確認問題（○×）
コーパスとは、言語モデルの出力のランダム性を調整するためのパラメータである。
答えと解説を見る
答え：×
コーパスは言語データを大量に集めたものです。出力のランダム性を調整するのはTemperatureやTop-pです。
コーパスとあわせて覚えたい関連用語
- ニューラル言語モデルニューラル言語モデルとは、ニューラルネットワークを使って人間の言語を理解・生成する言語モデルです。
- 言語モデル言語モデルとは、人間が使う自然言語の文章をコンピュータで扱うための確率モデルで、英語の頭文字からLMと呼ばれます。
- データセットデータセットとは、AIが学習したり評価されたりするときに使う、目的に沿って集められ整理されたデータのまとまりのことです。
- 事前学習事前学習とは、大規模言語モデルを作る最初の段階で、膨大な量のテキストを学習させて自然言語に関する幅広い知識を身につけさせることです。
- 自然言語処理自然言語処理とは、日本語や英語のように人間がふだん使っている言葉（自然言語）を、コンピュータが理解したり生成したりできるようにする技術の総称…