分野別生成AIパスポート 用語集
大規模言語モデルとGPTの用語31語｜生成AIパスポート試験対策
生成AIパスポート試験では、ChatGPTを支える大規模言語モデル（LLM）について、仕組みと歴史の両面から出題されます。特にGPT-1からGPT-4oまでの発表年・パラメータ数・特徴、BERTの双方向性とMLM・NSP、事前学習とファインチューニングの順序、RLHFとアライメントの関係は頻出です。まず言語モデルとLLMの違いをつかみ、次にGPTシリーズの年表、BERTとその派生モデル、最後にハルシネーションやTemperatureなど利用時の注意点の順で覚えると効率的です。
大規模言語モデルだいきぼげんごもでる★★★
大規模言語モデルとは、膨大な量のテキストデータで訓練された、非常に規模の大きい言語モデルのことで、英語の頭文字からLLMと呼ばれます。一般にパラメータ数が数十億以上のものを指し、文章生成・質問応答・翻訳・要約・感情分析・分類などを高い精度で行えます。ChatGPTやClaude、Geminiなどの土台となる技術です。
言語モデルげんごもでる★★☆
言語モデルとは、人間が使う自然言語の文章をコンピュータで扱うための確率モデルで、英語の頭文字からLMと呼ばれます。単語や文の並びに注目し、ある文がどれくらい自然か、ある単語の次にどの単語が来やすいかを数学的に評価します。文章生成・翻訳・文書分類・質問応答など、さまざまな自然言語処理のタスクに応用されます。
n-gramモデルえぬぐらむもでる★★☆
n-gramモデルとは、テキストの中で連続して現れるn個の単語や文字の組み合わせの出現頻度を数え、その統計をもとに次に来る語を確率的に予測する言語モデルです。nには比較的小さい整数が使われるため、仕組みが単純で高速に処理できる一方、長い文脈や語順を踏まえた理解は苦手とされます。
ニューラル言語モデルにゅーらるげんごもでる★★☆
ニューラル言語モデルとは、ニューラルネットワークを使って人間の言語を理解・生成する言語モデルです。大規模なコーパス（言語データの集まり）を学習し、単語やフレーズが文脈の中でどのように並び、どのような意味を持つかを捉えて、次に来る語を予測します。文章生成・要約・感情分析・機械翻訳などに活用されます。
コーパスこーぱす★★☆
コーパスとは、文章や会話などの言語データを大量に集めて整理したもののことで、「言語データの集合」を意味します。言語モデルが言葉の使われ方やパターンを学ぶための材料となり、ニューラル言語モデルや大規模言語モデルは大規模なコーパスを学習することで、自然な文章を理解・生成する能力を身につけます。
事前学習じぜんがくしゅう★★★
事前学習とは、大規模言語モデルを作る最初の段階で、膨大な量のテキストを学習させて自然言語に関する幅広い知識を身につけさせることです。プレトレーニングとも呼ばれます。数十億〜数千億以上ともいわれるラベルなしのテキストを使い、教師なし学習によって言葉のパターンを獲得します。
ファインチューニングふぁいんちゅーにんぐ★★★
ファインチューニングとは、事前学習を終えたモデルに、特定の用途に合わせたデータを追加で学習させ、性能を微調整することです。タスク固有のデータや、その分野に合った語彙・表現を学ばせることで、目的に特化したモデルを作れます。ChatGPTは、GPT-3.5を対話向けにファインチューニングしたものとして知られています。
RLHFあーるえるえいちえふ★★★
RLHFとは、Reinforcement Learning from Human Feedbackの略で、日本語では「人間のフィードバックによる強化学習」と呼ばれます。
アライメントあらいめんと★★☆
アライメントとは、AIモデルの振る舞いを、人間の意図や価値観に沿うように調整することです。英語のalignmentには「整列」「一致させる」という意味があります。生成AIでは、有害な内容や不適切な回答を避け、利用者の意図に合った役立つ回答を返すようにすることを指し、RLHFはそれを実現するための代表的な手法です。
GPTじーぴーてぃー★★★
GPTとは、Generative Pre-trained Transformerの略で、OpenAIが開発した大規模言語モデルのシリーズです。名前のとおり、Transformerをベースに大量のテキストで事前学習し、新しい文章を生成します。
GPT-1じーぴーてぃーわん★★☆
GPT-1とは、2018年にOpenAIが発表した最初のGPTモデルです。インターネット上のテキストを集めた大規模なデータセットで学習し、さまざまな自然言語処理タスクを実行できました。パラメータ数は1億1,700万個、学習データは数十億語を含むテキスト群とされています。GPTシリーズの出発点となったモデルです。
GPT-2じーぴーてぃーつー★★☆
GPT-2とは、2019年にOpenAIが公開した、GPT-1の改良版の言語モデルです。基本的な構造はGPT-1と同じですが、パラメータ数を15億個に増やし、約800万件のWebサイトのテキスト（GPT-1の約10倍のデータ）で学習しました。
GPT-3じーぴーてぃーすりー★★★
GPT-3とは、2020年にOpenAIが発表した大規模言語モデルで、GPT-2から大幅にパラメータ数を増やし、1,750億個という当時としては桁違いの規模になりました。45TBのテキストを前処理して絞り込んだ570GBのデータで学習し、追加の微調整なしでも幅広い自然言語処理タスクをこなせることを示しました。
GPT-3.5じーぴーてぃーさんてんご★★★
GPT-3.5とは、2022年にOpenAIが発表したGPT-3の改良版の大規模言語モデルです。GPT-3と基本構造は同じですが、より多様な文章生成と対話の能力を備え、InstructGPTと同様にRLHFを用いて人間の価値観に沿った振る舞いをするよう設計されました。
GPT-4じーぴーてぃーふぉー★★★
GPT-4とは、2023年3月にOpenAIがリリースした大規模言語モデルです。米国の司法試験で上位10%に入る成績を記録したことで話題になりました。GPT-3.5と比べて、ハルシネーションの減少、文章と画像を組み合わせて扱えるマルチモーダル対応、多言語での文章生成精度の向上という3つの点で大きく進化しています。
GPT-4oじーぴーてぃーふぉーおー★★★
GPT-4oとは、2024年5月にOpenAIがリリースした大規模言語モデルです。名前の「o」は「omni（すべての）」を意味し、テキスト・画像・音声を組み合わせて統合的に処理できることから、マルチモーダルと区別して「オムニモーダルモデル」と呼ばれます。
InstructGPTいんすとらくとじーぴーてぃー★★☆
InstructGPTとは、2022年1月にリリースされた、GPT-3をベースに開発された言語モデルです。インターネット上の攻撃的な表現や誤った情報を学習したことで、有害な出力をしてしまうというGPT-3の課題に対処するために生まれました。
BERTばーと★★★
BERTとは、2018年10月にGoogleが開発した自然言語処理モデルで、Bidirectional Encoder Representations from Transformersの略です。
MLMえむえるえむ★★☆
MLMとは、Masked Language Modelの略で、文中からランダムに選んだ単語を隠し（マスクし）、その隠れた単語が何かをモデルに当てさせる学習方法です。
NSPえぬえすぴー★★☆
NSPとは、Next Sentence Predictionの略で、ある文が別の文の直後に続く文かどうかを予測させるタスクです。BERTが採用した学習の仕組みの一つで、2つの文に文脈的なつながりがあるかを判定させることで、文と文の関連性や、文章全体の流れ・意味の連続性をモデルに学ばせます。
RoBERTaろばーた★★☆
RoBERTaとは、2019年にFacebook AI（現在のMeta）がBERTの改良版として発表した自然言語処理モデルです。正式名称はRobustly Optimized BERT Approachです。
ALBERTあるばーと★★☆
ALBERTとは、A Lite BERTの略で、その名のとおりBERTを軽量化したモデルです。Googleの研究者によって開発されました。Transformerをベースにしながら、工夫によってパラメータ数を大幅に減らして効率を高めており、BERTに近い性能を保ちつつ、計算資源が限られた環境でも高い性能を発揮できる点が特…
PaLMぱーむ★☆☆
PaLMとは、Pathways Language Modelの略で、Googleが開発した大規模言語モデルです。公式テキストでは、GPT-4の多言語性能を示す比較グラフの中で、比較対象のモデルとして登場します。
Chinchillaちんちら★☆☆
Chinchillaとは、DeepMind（Googleグループの研究機関）が開発した大規模言語モデルです。公式テキストでは、GPT-4の多言語性能を示す比較グラフの中で比較対象として登場し、英語のスコアは67.0%と示されています。動物のチンチラにちなんだ名前で、読み方は「チンチラ」です。
ナレッジカットオフなれっじかっとおふ★★★
ナレッジカットオフとは、生成AIのモデルが学習したデータの期限、つまり「いつまでの情報を知っているか」の区切りのことです。その時点より後の出来事は学習していないため、質問しても答えられないか、不正確な情報を出力してしまいます。
ハルシネーションはるしねーしょん★★★
ハルシネーションとは、生成AIが事実と異なる内容や、文脈と関係のない内容を、あたかも本当のことのようにもっともらしく出力してしまう現象です。英語で「幻覚」を意味し、「AIの幻覚」や「もっともらしいウソ」とも表現されます。GPTシリーズでは常に課題となってきた問題で、GPT-4でも発生します。
マルチモーダルまるちもーだる★★★
マルチモーダルとは、テキスト・画像・音声・動画など、異なる種類のデータ（モダリティ）をまとめて処理できるAIの技術や性質のことです。従来のテキスト生成AIは文章だけで指示を出し、文章だけを出力していましたが、マルチモーダルなAIは、文章と画像を組み合わせた指示を理解したり、画像の内容を説明したりできます。
オムニモーダルおむにもーだる★★☆
オムニモーダルとは、テキスト・画像・音声を組み合わせて統合的に扱えることを表す呼び方です。2024年5月に登場したGPT-4oを、それまでのマルチモーダルなモデルと区別するために使われています。「omni」は「すべての」を意味し、GPT-4oの「o」もこのomniに由来しています。
Temperatureてんぱらちゃー★★★
Temperatureとは、大規模言語モデルが生成する文章のランダム性（ばらつき）の度合いを決めるパラメータで、日本語では「温度」と呼ばれます。基本的には0〜1の範囲で設定し、0に近いほど確率の高い言葉が選ばれて出力が安定し、1に近いほどランダム性が増して多様で創造的な出力になりやすくなります。
Top-pとっぷぴー★★☆
Top-pとは、Temperatureと同じく、大規模言語モデルが文章を生成するときのランダム性を制御するパラメータです。値を低くすると選ばれる可能性の高い言葉だけが候補になって出力が安定し、値を高くするとより多くの言葉が候補に入ってランダム性が強まります。
APIえーぴーあい★★☆
APIとは、Application Programming Interfaceの略で、あるソフトウェアの機能やデータを、外部のソフトウェアから利用できるようにするための窓口（仕組み）です。生成AIの分野では、ChatGPTのような大規模言語モデルの機能を、自社のアプリやシステムに組み込んで使うときにAPIを利用します。