富士通研究所・白幡 晃一氏に聞く
（１）国産LLM開発に「富岳」で挑む

なぜGPUマシンではなく「富岳」が選ばれたのか

桐原　ChatGPTが世界を席巻して、同時にGPU（Graphics Processing Unit）⁷を提供するNVIDIAの株価が上がったり、ARMが上場したりみたいなことが起きているなかで言うと、計算資源としてはGPUが本命なのではないかと短絡的に考えてしまうのですが、なぜ「富岳」なのでしょうか。

白幡　「富岳」は文科省のプロジェクトで、汎用CPUを使って日本の科学技術を発展させていく役目を背負っています。AIに全振りしているマシンではありません。一方でGPUは、もともとはグラフィック用のですけども、最近はかなりAIに振って、特にTransformerで性能を引き出せるようにどんどん進化していることは間違いありません。ではなぜ「富岳」なのかと言うと、国内で現時点でのGPUシステムとして一番大きいものは、産総研のABCI⁸なのですが、実は理論性能としては「富岳」のほうが高いというところがあります。端的に言うと規模が大きいということですが、性能としてもけっして悪くない。

桐原　ABCIも富士通が受注したわけですが、そこは使わないんですね。

白幡　現実的な問題として、GPUはクラウドでもオンプレでも不足しているというところもあって、ABCIを誰かが自由にフルに使えるということは基本的にはあり得ない。1日だけ使えるというような仕組みがあるのですが、LLMはかなり巨大な計算が必要になりますから、ABCIでは足りないということなんです。一方で「富岳」は理論性能としては上なので、これをしっかり活用することができれば、ABCI以上の性能を出すことも可能です。

桐原　「富岳」が理論性能として上というのは、どういうことなのでしょうか。

白幡　深層学習にはGPUが向いているとされていますが、機械学習において創発性が観測されると言われる10²³ FLOPs⁹という演算量は国内最大級のGPUスパコンであるABCIのグランドチャレンジ制度のV-Largeクラスを利用したとしても達成できないのですが、「富岳」だと理論ピーク性能の半分の実効性能が出せれば、AIに創発性が観測される規模での事前学習が短期間で実現可能なのです。GPUかCPUかではなくて、計算の規模や混み具合も含めて実際に考えてみると、「富岳」を使わないのはかなりもったいないということですね。

桐原　コンピューティングの性能を測る基準は速度ですか、それとも量になるんですか。

さっき言った10²³ FLOPsというのがそれにあたります。これはLLM自体が10の23乗回の計算をする必要があるアプリケーションだということ。GPT-3がそのぐらいの規模なんです。