生成AIパスポート用語集大規模言語モデルとGPT

BERTとはばーと

Q: BERTは2018年にOpenAIが開発したモデルで、単語を前から順に一方向にのみ読んで意味を判断する。

答え：×。BERTはGoogleが開発したモデルで、前後両方の文脈を使う双方向性が最大の特徴です。

英語Bidirectional Encoder Representations from Transformers分野大規模言語モデルとGPT出題重要度★★★公式テキスト公式テキスト第2章「BERTモデル」

解説：村井宗明（GUGA協議員・元文部科学大臣政務官・AIエンジニア）｜公開 2026年10月8日｜更新 2026年10月8日

BERTの意味

BERTとは、2018年10月にGoogleが開発した自然言語処理モデルで、Bidirectional Encoder Representations from Transformersの略です。Transformerの一部（エンコーダ部分）をベースにしており、最大の特徴は、単語の前と後ろの両方の文脈を使って意味を判断する「双方向性」です。文脈によって意味が変わる単語も適切に解釈できます。

生成AIパスポート試験の対策なら → 無料の合格アプリ

詳しい解説

たとえば「かける」という言葉は、「電話をかける」「眼鏡をかける」「橋をかける」のように前後の言葉によって意味が変わります。前から順に読むだけでなく、後ろの文脈も同時に参照できるBERTは、こうした語の意味を的確に捉えられます。

BERTは双方向性を実現するために、2つの学習方法を採用しています。

MLM（Masked Language Model）：文中の一部の単語を隠して当てさせる
NSP（Next Sentence Prediction）：2つの文が続いているかを予測させる

BERTを改良したモデルとして、Facebook AIのRoBERTaや、Googleの研究者が開発した軽量版のALBERTがあります。文章を理解する用途に強く、検索エンジンなどにも活用されてきました。

試験のポイント

2018年10月、Googleが開発（GPTのOpenAIと取り違えない）
最大の特徴は「双方向性」（前後の文脈全体から意味を判断）
学習方法はMLMとNSPの2つ
派生モデル：RoBERTa（Facebook AI）、ALBERT（Google）
名称の「B」はBidirectional（双方向）

BERTの確認問題（○×）

BERTは2018年にOpenAIが開発したモデルで、単語を前から順に一方向にのみ読んで意味を判断する。

答えと解説を見る

答え：×

BERTはGoogleが開発したモデルで、前後両方の文脈を使う双方向性が最大の特徴です。

BERTとあわせて覚えたい関連用語

「大規模言語モデルとGPT」のほかの用語

大規模言語モデルとGPTの用語一覧（31語）を見る →

生成AIパスポート用語集（全407語）のトップに戻る