ALBERTとはあるばーと

高性能な言語モデルほどパラメータ数が多く、動かすには大量のメモリや計算能力が必要になります。そのため、高性能なサーバーがない環境では利用しにくいという課題がありました。

ALBERTは、モデルの構造を工夫してパラメータ数を削減することで、この課題に対応しました。公式テキストでは、計算資源が限られた環境の例として、低価格なパソコンやスマートフォンのようなハードウェアの制約、小型のバッテリーで動く機器のような電力の制約が挙げられています。学習量を増やして性能を高めたRoBERTaとは、方向性が逆である点も押さえておきましょう。