MLMとはえむえるえむ

公式テキストでは、「私は昨日、[★★]で散歩をしました。」という例が紹介されています。モデルは「昨日」「散歩をしました」といった前後の言葉を手がかりに、[★★]に入るのが「公園」であると予測します。

文章の続きを予測するだけの学習では、前にある単語しか参考にできません。一方、MLMでは穴の前と後ろの両方の単語を手がかりにするため、文全体の文脈を踏まえた深い理解が身につきます。穴埋め問題を大量に解くことで国語力を鍛えるようなイメージです。