ムーアの法則を超えて進化できないAIの進化をキャッチアップする
─富士通研究所・白幡 晃一氏に聞く（２）
ITテクノロジーの分野において進化はコンピューティングパワーの影響を大きく受けてきた。有名なムーアの法則こそが、ITテクノロジーの進化を支えてきた。生成AIの進化はそれを超えるものと言われることがある。こうした進化のスピードを日本の技術者はどのようにしてキャッチアップしていくのか。後半は、プロジェクトの最終ゴールや国産のLLMを開発する意義について伺った。
取材：2023年9月19日 Fujitsu Uvance Kawasaki Towerにて
 |
白幡 晃一（しらはた こういち） 富士通株式会社 富士通研究所 コンピューティング研究所イノベーティブコンピューティング コアプロジェクト リサーチディレクター 脱炭素社会に向けた材料探索、構造・流体解析を用いた設計などの領域でハイパフォーマンスコンピューティングとAIを活用してイノベーションを起こすためのコンピューティング技術の研究開発をリードしている。2010年東京工業大学理学部情報科学科卒業、2012年大学院情報理工学研究科数理・計算科学専攻修士課程修了、2015年博士課程修了、博士(理学)。2015年より富士通研究所研究員、2018年よりシニアリサーチャー、2021年主任研究員、2022年プロジェクトマネージャー、2023年よりリサーチディレクター。2017年CANDAR GCAワークショップ最優秀論文賞(共著)。2020年、2021年スーパーコンピュータ「富岳」およびABCI(産業技術総合研究所が構築・運用するAIクラウド計算システム)を用いて機械学習処理性能ベンチマークMLPerf HPCで世界最高性能を達成。 |
目次
コンピューティングとAIを融合して新たなイノベーションを創造する
国内最速マシン「富岳」でAIの最先端にキャッチアップする
桐原 AI研究では、日本は後手にまわっている印象があります。生成AIが台頭してきて、ますますグローバル企業との差が広がることが懸念されていますが、今回の「富岳」プロジェクトは日本の産業界の巻き返しも担っているという位置づけでしょうか。
白幡 それはあります。「富岳」は昨年まで世界1位でしたし今も世界2位の性能を発揮しているマシンです。これを活かさない手はない。国産の世界1位を取ったスパコンで、どこまでAIの性能を引き出せるかに挑戦するということです。十分、性能を引き出すことができれば、スパコンは日本が強みとしていますから、それを活かしてAIの学習をしっかりやっていけば、世界に伍してやっていけるのではないか。もちろん今、LLMに特化して言えば、アメリカが先行しているのは事実としてあり、すぐに追い越せるほど簡単なものではないですが、できる限り早く追いつくのが重要だと考えています。「富岳」をはじめABCIも含めて、国として強化していく方針をすでに出しているところかと思います。
桐原 キャッチアップとおっしゃいましたが、そのスピードが大事になってきますね。
白幡 誰かがやってくれるのを待っている状況ではないと認識していますので、現時点で国内最速マシンである「富岳」で礎を築こうというステージですね。
桐原 繰り返しになるかもしれませんが、これだけのリソースがあり潜在能力がある国なのに、どうして新しい技術に関して遅れが出るのでしょうか。
白幡 それはなかなか難しい質問です。日本には「富岳」があるとはいえ、GAFAのようなビッグテックは、一社でも巨大なスパコンを持てるというレベルにあります。そこの物量差は事実としてはある。特にこの深層学習は物量勝負になっているところもあるので、苦しんでいるところはあります。ただ、今後、挽回していく流れになっているかなとは思います。
AI技術はムーアの法則を超えて進化することはできない
桐原 コンピューティングパワーということで言えば、ムーアの法則*1でいわれるように半導体回路の指数関数的進化がITテクノロジーの長足の進化にも影響を与えてきたわけですが、生成AIはさらにムーアの法則を上回るスピードで成長するとも言われたりしています。
白幡 ムーアの法則と深層学習のモデルの大きさのプロットの図があります。横軸が時間で、縦軸がFLOPs（演算量）です。青い丸がいっぱいあるのがディープラーニング、深層学習のモデルをいろいろプロットしていて、たしかにムーアの法則を超える伸びを見せているというところがあります。ムーアの法則が50年で10の7乗倍と呼ばれているところに対して、深層学習は12年で10の10乗倍ですから、ムーアの法則を超える伸びをしています。ただし、ムーアの法則を無視して伸びつづけることはできないことがポイントです。
桐原 そういうことですよね。計算できないものを学習することはできませんから。
白幡 はい。大規模なAIモデルをプロットしているのがこの赤い線になっていて、AlphaGoやGPT-3とかですね。恐らくこの赤い点線はムーアの法則に従うような線になると考えられます。このまま行くと青い点線がぶつかるのですが、ぶつかるところまでは行くかもしれないですが、それを追い越すことはできません。
桐原 頭打ちということですね。
白幡 逆に言えることとしては、この青い点線の傾きが、これから緩やかになるしかないので、これまでは日本の企業がいくら追いついても、追いついた頃にはまたすごいのが出てきたみたいなことが起きていたのですが、傾きが緩やかになっていくことを考えると、いったん、追いついてしまえば、たとえばGPT-3レベルのモデルを一回、自分たちで学習できるようになれば、最先端のところで戦っていけるのではないかと考えています。
桐原 なるほど、よく分かります。時代が若いほど差は付きやすいわけですね。
白幡 そうですね。最初の頃はもう単純にニューラルネットワークが進化すればするほど、いくらでも性能が伸びていくというような感じなんですけど、今はもう規模を上げようにも、計算できないものはつくりようがないというところに入ってきていると思います。
桐原 量子コンピューティングが2030年代には実用の世界に入るのではないかという話もありますが、どうお考えですか。
白幡 ある特定のアプリケーションにおいて、何かが実用化するという意味で言えば、2030年頃には実用化は十分考えられるでしょう。AIの領域でそれが2030年かといわれると、これは分かりません。量子機械学習では、少なくとも今はまだ超越性を見いだしているわけではありません。ハードウエアとしての進化がどこまでできるかということと、量子機械学習でどこまでTransformerを超えるようなものがつくり得るのか、その研究がどこまで進められるかに懸かっているというところなので、確たることは言えないですね。
桐原 もし量子コンピュータがこの機械学習に活用できるようになったら、また全然違う競争というか、違うフェーズになっていくということですね。
白幡 そうですね。完全にゲームチェンジみたいな感じになるでしょう。
＊1 ムーアの法則：インテル社の創業メンバーの1人であるゴードン・ムーアが、1965年に自らの論文上で唱えた「半導体の集積率は18カ月で2倍になる」という半導体業界の経験則。
コンピューティングとAIを融合して新たなイノベーションを創造する
桐原 白幡さんがこれまでに関わってきた研究についてお聞かせください。
白幡 ひと言でいうと、コンピューティングとAIを融合して新たなイノベーションの創造に関わると言うことです。大きく分けると「大規模機械学習」と「AIを活用した最適化・高速化」になります。
桐原 今回の「富岳」でのLLM開発は、大規模機械学習ですね。
白幡 はい。大規模機械学習の実績としては、機械学習の処理性能を測るベンチマークであるMLPerfという業界のスタンダードのなかのHPC（ハイパフォーマンスコンピューティング）という部門で、「富岳」が2年前に世界一の性能を達成しました。これはABCIも3年前に達成しています。
桐原 そこに関わられたのですね。
白幡 はい。深層学習の処理を高速に動かすためのソフトウエアの移植だったり、「富岳」は全部で16万台という巨大なシステムで、実際には半分の8万並列を実現しているのですが、そのためには、ニューラルネットワークの並列化のアルゴリズムをいろいろ工夫する必要があって、そういったところを実装したりしました。あとは最初に入力データを読み込んだりするところを含めて全体としてチューニングしたり、マネジメントを含めてやっています。
桐原 AIを活用した高速化ではどんなことをやられていますか。
白幡 AIを使ってシミュレーションを高速化するということもやっています。最近ですと、アンモニアをつくるときの触媒を探す研究をアイスランドのベンチャー企業とやっています。スパコンを使ったシミュレーション高速化もやるのですが、AIも活用してさらに速くしていくというプロジェクトです。他にも創薬領域においてもかなりAIが使えるということがいろいろ示されてきているので、AIによってコンピューティングを加速して複雑なタンパク質立体構造の予測なども行いました。基本的には、コンピューティングに軸足を置いて、AIと融合していく技術の開発ですね。
桐原 ずいぶん取り組まれているテーマが多様ですね。
白幡 先ほどご説明した大規模学習処理性能を競うMLPerfでは、天文や気象問題を解くことがテーマでした。天文では暗黒物質の分布から宇宙物理パラメータを推測するAIを構築しました。これは、ビッグバンのときの初期パラメータを推定するという逆問題を解いて、ビッグバン後の宇宙がどう発展していくかシミュレーションするというものです。気象系のアプリケーションでは、最近よく線状降水帯挙げられますが、そういったものが世界のどこに発生しているのかを推論するとかですね。こういったテーマが、大規模なシステムを使うAIの問題として設定されていて、これを「富岳」やABCIが解いて、処理性能を競うわけです。そういった実績があって、LLMに対して、高速に解くことができるのではないかと取り組んでいるところです。
桐原 やはりハードの性能というかリソースの部分を最大限に活用するためには、AIやソフトウエアの工夫というのは相当重要だということですね。
LLM（大規模言語モデル）開発の最終ゴール
桐原 今回の「富岳」によるLLM開発の取り組みは、どのようなゴール設定をされているんですか。
白幡 最終的なゴールは、LLMを含め生成AIを国内で開発できるような基盤技術を整えていくということです。「富岳」を含めて大規模なコンピューティングリソースをLLMなどの開発に使えるような環境をつくって国内のAI研究を底上げしていくのが最終的な目的の一つです。
桐原 白幡さんが個人的に、今回の取り組みで一番関心が高いのはどういうところですか。
白幡 日本語を重視してLLMを開発したときに、どこまで日本語としての能力を発揮できるのか、とても興味があります。世の中の誰も分からないところを、実際に試して何が出てくるか見てみたいですね。かつ、それを公開していくということを宣言していますから、世の中で活用されて、もっとすごいものが出てくることも期待しています。
桐原 なるほど。楽しみです。公開はいつ頃になりますか。
白幡 来年の3月末までの取り組みになりますので、予定どおりいけば4月以降に公開できると思います。
国産のLLM（大規模言語モデル）を開発することの意義
桐原 日本語LLMを開発すること自体が最終ゴールではなくて、開発できる基盤をつくるのが目的であるとおっしゃられましたが、国産であることの意義についてお聞かせください。
白幡 LLMはこれからの社会を駆動する基盤技術であり、そこから派生するAI技術は産業だけでなく、医療、教育、行政のあり方を変えていくことが予想されています。そこを海外の一部の巨大企業に依存するかたちになれば、様々な観点から大きな不利益となると考えています。日本語LLMを開発すること自体に価値があるのではなく、それを開発できる人材、ノウハウ、計算資源を国内に蓄積することが重要です。今年はたまたま言語モデルが流行っていますが、これからは言語以外のさまざまなデータを用いたマルチモーダルな学習*1が盛んになると予想されます。前にも言いましたが、真の成果物は日本語LLM自体ではなく、この先爆発的に進化する深層学習の基盤技術をどこまで高められるかだと思っています。
桐原 海外企業に依存状態になっているにもかかわらず、そのことに不感症になっているとしたら怖いですよね。
白幡 何でも純国産にこだわる必要はないのだと思いますが、LLMみたいな基盤技術は、水道や電気と同じレベルのインフラになるかもしれない。そういったところは自分たちでやっていく必要があるでしょう。
桐原 社会インフラであるならば、必要な投資をしないと長期的に社会にとって不利益になります。
白幡 こう考えると分かりやすいと思います。交通網や電力網などは海外との技術的優位性を比較して整備するかしないかを決めませんよね。優位性があろうがなかろうが整備が必要なものです。交通網や電力網など実体のあるインフラとは異なりソフトウェアのインフラはバーチャルなため、これまでその整備の必要性を過小評価した結果、IT産業で大きく遅れをとっていると言えると思います。国産のLLMについても、優位性をベースに参入するかどうかを決めるような個別の業態への参入の議論をしているのではないことを理解していただけたらと思います。
桐原 今回の「富岳」によるLLM開発は産学官共同のものですが、そのスキームづくりについてもお聞かせください。
白幡 今回のような巨大なAIモデルをつくるようなことは、一社でやろうと思ってもできないんですよね。産学官もそうですし、企業同士が連携しないと実現化しないのだと思います。LLMについては、LLM.jpというところでそういったノウハウを共有する取り組みが行われています。お互いにオープンにして共有できるところは共有していったほうが、全体として底上げになる。ただ、特に民間ですと各社でそれぞれやっていくというところがあって、全てオープンにするとビジネスができなくなるということもあるので、そこはなかなか一筋縄にはいかないところもあると感じています。
桐原 社会的なインフラを整えたうえで、それぞれが競争できるような土壌にしていこうということですね。
白幡 そうですね。共通でできるところはやって、そのうえで各社でどんどんやっていくイメージです。組むところと競い合うところと、両面必要なのかなと考えています。 (了)
＊1 マルチモーダルな学習：テキスト、音声、画像、動画、センサ情報など複数の異なる情報源から情報を収集し学習すること。
