富士通研究所・白幡 晃一氏に聞く
（１）国産LLM開発に「富岳」で挑む

「富岳」による国産LLM（大規模言語モデル）開発の経緯

桐原　5月に、東京工業大学と東北大学、それに富士通や理化学研究所（以下 理研）が、スーパーコンピュータ「富岳」を活用して、LLM（大規模言語モデル）を今年度中に開発すると発表しました³。白幡さんは、富士通側の中心メンバーであるわけですが、このプロジェクトはどういうきっかけで始まったのでしょうか。

白幡　もともと当社は理研などとの共同で「DL4Fugaku⁴」と呼んでいるプロジェクトに取り組んでいました。「富岳」上でディープラーニング（深層学習）のソフトウェアを整備するという取り組みを、2019年から行っていたんです。1年ぐらい前に、理研の上級テクニカルスタッフである安藤和人さんや名古屋大学准教授の西口浩司さん、コーネル大学博士課程の小島熙之さんらから、DL4Fugakuのチームに「富岳」で大規模言語モデルを学習するにはどうしたらよいかの相談を受けたのがきっかけで、東工大の横田理央教授を含めてミーティングを開いたのが発端です。その後、「富岳」上で深層学習のフレームワークを移植したり、高速化や日本語データセットの収集したりなどを行ってきました。

桐原　OpenAI社のGPT-3.5が無料公開されたのが去年の11月でしたが、その影響はあったのでしょうか。

白幡　そうですね。ChatGPTの公開をきっかけに、日本でも去年の冬ぐらいにかけて大規模言語モデルがかなり注目されるようになってきまして、これは本格的に取り組んだほうがいいだろうということで、文科省の政策対応枠への申請が通って、来年の3月31日までが「富岳」の利用期間になっています。

桐原　もともと白幡さんの関わりとしてはどの時点からになるのですか。

白幡　機械学習のベンチマークで「MLPerf⁵」というものがあります。2年前にMLPerf HPCにおいて「富岳」で世界一の性能を達成したという実績もあって、国産LLMの開発に富士通にも入ってほしいとご相談いただきました。われわれとしてもこれは重要な取り組みだろうと考えて、冬から春にかけて本格的に動きはじめて、今はもう全力でやっているというような状況です。

桐原　LLMの研究はそれ以前からなさっていたのですか。

白幡　研究者の間では、ChatGPTが出る前からTransformer⁶が画像だけではなく言語にも使えるということは、みんな認識していました。そこにChatGPTが出てきたことで、本気で取り組む機運が盛りあがってきた感じです。ただし、ChatGPTがここまでブレイクするとは予想がついていなかったところがあります。

桐原　私もChatGPTが、こんなに世の中を巻き込むほどのことになって驚いています。世の中の見え方がガラッと変わりましたね。

白幡　そうですね。本当に社会を変えていくようなことになってくると、なおさら、日本としても本気で取り組まなくてはなりません。特に「富岳」でやることに意味があるというか、ユニークなところだと思っています。

桐原　それは大規模言語モデルの開発が、社会にとって重要な意味を持つということですね。

白幡　はい。ChatGPTに代表される大規模深層学習モデルのことを基盤モデルと呼んでいます。インターネットやスマートフォンのように社会全体のあり方を変える革新的な技術ですね。これからの社会において、研究開発、経済社会、安全保障などのあらゆる側面から期待されているのですが、一方で基盤モデルの性能を高めるためには大量のデータを効率的に処理する高性能計算資源が不可欠であり、そのための「富岳」プロジェクトなんです。