今後、AI自体がスケールすることにより、さらに上位の何らかの知性が創発するとしたら、それは人間の予測や制御を超える可能性を孕んでいる。従来のAI理論や技術では捉えきれないこの現象を理解し、適切に向き合うためには新たな視座と方法論が必要である。創発するAIを扱うための学問体系の構築こそが人類に求められている課題だ。

取材：2025年3月16日　慶應義塾大学AIC・生成AIラボにて

栗原聡（くりはらさとし）

慶應義塾大学理工学部教授。人工知能学会会長。慶應義塾大学共生知能創発社会研究センター センター長、慶應義塾大学大学院理工学研究所修了。工学博士。NTT基礎研究所、大阪大学、電気通信大学を経て2018年より現職。科学技術振興機構（JST）さきがけ社会変革基盤領域 研究総括。人工知能学会倫理委員会副委員長。オムロンサイニックエックス社外取締役、情報法制研究所上席研究員、総務省情報通信法学研究会構成員など。専門はマルチエージェントモデル、複雑ネットワーク科学、計算社会科学。著書『AI兵器と未来社会 キラーロボットの正体』（朝日選書）、『AIにはできない』（角川新書）、共編著『人工知能学大事典』（共立出版）など多数。

目次

• AIの創発を理解する新しい学問体系の必要性
• 救済としての“ドラえもん”型AIエージェント
• 人間の熟考とAIの熟考との違い

AIの創発を理解する新しい学問体系の必要性

桐原 永叔 （IT批評編集長 以下桐原）　社会問題はマクロな視点で見ると単純化されますし、意味もシンボライズされますし、それが偽のシンボライズであることもありえます。個々の事情を超えてスケール化することで、本当はもっと繊細だったはずのミクロの変数を見逃してしまう危険性があると思います。AIのスケール化にも同じようなリスクはないでしょうか。

栗原 聡氏（以下栗原）　AIのスケール化においては、逆、つまり、そもそもマクロな視点で創発されるモノを我々が観測し認識できるかどうか自体が怪しくなるのだと思います。Sakana AIがさまざまなサービスをリリースしていますが、社名の由来は魚の群れにあります。1つひとつは小さいAIでも、凝集すれば大きなAIを超えられるのではないかという発想です。日本には馴染みやすい考えですし、AIの開発拠点が米中に集中するのも望ましくないということで、彼らは日本で起業したわけです。しかし、1つずつのAIが連携してスケールしたときにどういうAIが生まれるかは、私たちに見えるかどうか分からない可能性があります。今や生成AIの次のブームとして注目されているAIエージェントは、あくまでも複数のエージェントが補いあっているだけで、スケールはしていません。私の考えるAIのスケールというのは、ファウンデーションモデルのような高機能のAIが数千数万というレベルで連携したところに、高次の知能が創発することです。アリの群知能でいえば、アリは列をなすことで効率的に餌を運ぶことができますが、個々のアリは列をなしていることを意識してはいません。私たちが客観的にみたときに、はじめてそれが観測できます。人が暴徒化しても、群集心理が働いていることがわかるのは、客観的に離れて見たときです。個々のAIは人間がつくったものですから理解できるとしても、それが凝集されてできるスーパーAIが誕生すると、もはや私たちが観測できるかどうかわかりません。

都築 正明（以下――）　モントリオール大学のヨシュア・ベンジオ氏は、最悪のシナリオをシミュレートさせて、それを回避するようなAIをつくろうとしていますね。

栗原　ベンジオ先生たちには複雑系の感性は高くはないのかなと思います。というのは、彼らの構想するスーパーAIは、今のAIの延長線上でしか見てないようですから。今のAIは確かにブラックボックスですが、私たちのデータで学習されたものに基づいています。人間でも、例えば天才数学者の言うことは理解できませんよね。彼らのAIはそのレベルまでの優秀さまでしか想定してはいないのかなと思っています。しかし、私の考える創発するAIは、そのレベルではなく、その創発したAIが意思をもってなすことは、おそらく私たちには天変地異のようにしか観測しえないのだと思います。おそらく創発する側の個々のAIも理解できないのだと思います。

創発されたモノはノイズや外乱に強いという話がありますが、それは、アリの列に石を置いて動線を塞いでも別の道ができるということですね。先生が訳されたダンカン・ワッツ『スモールワールド』（東京電機大学出版局）で言及されるホタルの明滅についても、懐中電灯を使って同期を促すことができますし、素数年に大量発生するセミも人工培養して発生することができるでしょう。

栗原　そこはとても重要で、創発するAIが仮にASI（Artificial Super Intelligence）であるとして、ASIが意図せず生まれてしまった場合にどうすればよいかということに繋がります。群知能として創発したものに横槍を入れるのは難しいのですが、個々のアリについて、例えばバイオテクノロジーでアリ1匹ずつのフェロモンが揮発するスピードを早くするなどして介入すると話は変わってきます。創発が起きなくなったり、別の創発が生まれる可能性もあります。創発するASIについても、個々のAIが他のAIと連携するプロトコルを操作することで、高次レベルで生まれるものが、なくなってしまったり、人にとって不都合な方向に変わったりする可能性があるということです。これを理解するには、群知能として生まれる創発をどう理解して、どう制御するんだっていう学問体系が必要で、JSTさきがけ「社会変革基盤」の採択研究者と“コンピュテーショナル・スケール・サイエンス（Computational Scale Science）”という、そこに対処する術を身につけるための学問分野を立ち上げようとしています。