生成AIパスポート 用語集大規模言語モデルとGPT
RoBERTaとはろばーた
RoBERTaの意味
RoBERTaとは、2019年にFacebook AI（現在のMeta）がBERTの改良版として発表した自然言語処理モデルです。正式名称はRobustly Optimized BERT Approachです。BERTの約10倍のデータ量を使い、より長い時間をかけて学習させることで、BERTよりも高い言語理解能力を実現しました。
生成AIパスポート試験の対策なら → 無料の合格アプリ
詳しい解説
試験のポイント
- 2019年、Facebook AIがBERTの改良モデルとして発表
- BERTの約10倍のデータ量と長い学習時間で訓練
- 結果として言語理解能力が向上
- 開発元はFacebook AI（Googleではない）。ALBERT（Google）と区別する
RoBERTaの確認問題（○×）
RoBERTaは、Facebook AIがBERTの約10倍のデータ量で学習させた改良モデルである。
答えと解説を見る
答え：○
2019年に発表され、学習データと学習時間を増やすことで言語理解能力を高めました。
RoBERTaとあわせて覚えたい関連用語
- BERTBERTとは、2018年10月にGoogleが開発した自然言語処理モデルで、Bidirectional Encoder Representa…
- ALBERTALBERTとは、A Lite BERTの略で、その名のとおりBERTを軽量化したモデルです。Googleの研究者によって開発されました。
- TransformerTransformerとは、2017年にGoogleの研究者アシシュ・バスワニらが論文「Attention Is All You Need」…
- 事前学習事前学習とは、大規模言語モデルを作る最初の段階で、膨大な量のテキストを学習させて自然言語に関する幅広い知識を身につけさせることです。
- データセットデータセットとは、AIが学習したり評価されたりするときに使う、目的に沿って集められ整理されたデータのまとまりのことです。