人のパートナーとなるAIを探求する──慶應義塾大学教授・栗原 聡氏に聞く
第3回 AIのスケール化が抱えるリスク

救済としての“ドラえもん”型AIエージェント

桐原　劇的な進化を遂げたときに、コントロール不可能になるリスクはありますか。

栗原　ありえます。私たち人間という個体は細胞の集合です。しかし受精卵の時点でバイオテクノロジーで1個の細胞の特性を変えたら、人間の姿にはならなくなるでしょう。つまり末端に介入することで創発に変容をもたらすことは可能なわけです。つまりは、細胞に手を加えるようなことに対して、細胞の集団が創発した人体としての我々は、手を加えることを拒絶するでしょう。同じように、複数のAIが創発したスーパーAIが誕生したとして、私たちが個々のAIに何かをしようとしたら、創発して意志を持ったAIがそれを拒絶することは十分にありえます。ですから人としては、創発現象を理解できるようになることがまずは重要です。例えば、SNSを観測して、群衆化がみられた際にはアラートを発してネットワークを切断して密集する人を引き剥がすとともに、独裁している人を隔離するようなことが考えられます。

2016年のトランプ現象では、ケンブリッジ・アナリティカがFacebook（現Meta）のデータを用いて人為的に人心を操作しましたが、ミャンマーのロヒンギャ虐殺では、Metaのエンゲージメントだけで人々の憎悪が起こりました。そうすると、ネットワーク上のアラートが重要になりますよね。

栗原　はい。とはいえ、インターネット上で起きていることを我々はマクロにかつリアルタイムに観測することが困難です。ではどのように対策を練るのかと言うと、社会シミュレーションという技術が重要になってきます。人の愚かさを嘆いてみても仕方がありませんから。例えばISIL（Islamic State of Iraq and Levant）のテロについても、イスラムの貧困という大きな社会状況からある意味で創発されたものだと解釈すれば、いくらISIL戦闘員を攻撃しても、アリの列に石を置くようなもので別ルートができるだけです。ISILという組織を生み出した状況と、挑発した側を変えなければなりません。簡単なことではありませんが、メディアリテラシーのようなことで解決できる簡単な問題ではないでしょう。

そこでAIの活用が期待されるのでしょうか。

栗原　インターネットはもはや広い海や川のようなものです。きれいな川もありますが、飛び込めば体を壊すような水質の悪い川もある。私はもはやインターネットは私たちが直接触れてよいメディアではなくなりつつあると考えています。水を飲むときに、私たちは浄水器でフィルターをかけます。情報にフィルターをかけるのはAIですが、今のAIは人間の言ったとおりに作動する道具の段階です。私が“ドラえもん”のようなAIエージェントの先にある行動に自律性と汎用を持つAIを提唱するのは、それが私たちとネット空間とを仲介する媒体として有効だと思うからです。それは、必ずしも欲しい情報だけを渡すエコーチェンバーをもたらす存在ではありません。ドラえもんは、のび太君が「喉が渇いた」といったからって、すぐにジュースを持ってくるわけではありませんよね。のび太君が怠け者にならないように、自分でするべきところは自分でさせるようにします。ときに耳に痛いことを言ったりもしますが、それは人として持つべきモラルや人間性をもたらします。保護者が子どもに嫌なことを言っても子どもが完全に親を拒絶しないように、そこに基本的な信頼を置く必要があります。そこに到達しない限りは、私たちは汚れた水という情報を飲み続けるしかありません。

桐原　シュレディンガーが『生命とは何か』（岡小天、鎮目恭夫訳／岩波文庫）のなかで、原子が非常に小さいからこそ多数集まったときに安定した秩序が生まれると述べています。私たちは不確実な量子の世界を理解できずに、マクロな古典物理学の秩序に頼って世界を見ます。これは社会についても同じで、ミクロな要素を見落としたままマクロな現象だけで判断しているような気がして危うくも感じます。

栗原　同意見です。とても危険です。新たなAIが誕生する前に、人類が崩壊する懸念すらあります。ただし、この場合の崩壊は絶滅というより、想像を越える格差社会が訪れることなのであろうと思います。兵庫県では民主主義の勝利だと言っているわけですし、トランプ氏は極端に保護主義的な経済政策を進めようとしていますし、今も戦争すらしている。人間社会はまさに臨界点に到達しているのだと思うわけです。

ユヴァル・ノア・ハラリの新刊『NEXUS 情報の人類史』上下（柴田裕之訳/河出書房新社）では、世界が“シリコンのカーテン”で分断されることを懸念していますが、アメリカはすでに経済でブロックしています。

栗原　ハード／ソフト両面での2極化が進んでいて、ハラリが前著『ホモ・デウス』上下（柴田裕之訳/河出書房新社）で描いた世界観までは秒読みの段階ではないでしょうか。

実際に、アメリカではそうした思想を抱いた人たちが政権をバックアップしている状況ですものね。