人のパートナーとなるAIを探求する──慶應義塾大学教授・栗原 聡氏に聞く
第2回 シンボライズすることで見えてくること

スケールの功罪と人のモラル

ファウンデーションモデルの場合は、スケールすることで、個々のデータが他のデータとの関連が濃くなり、文脈などを理解できるレベルが創発するという理解ですが、スケール化は実社会においても起きているということですか。

栗原　はい、良かれ悪しかれ、様々な社会現象においてスケール化が重要な役割を担っています。たとえば昨年11月の兵庫県知事選では、議会の不信任決議のもとで失職した斎藤元知事が、SNSで大きく騒がれた後に再任されました。そのときに、オールドメディアが負けてSNSが勝ったとか、新しい民主主義ということが叫ばれていましたが、私の目に映ったのはその真逆で、独裁と群衆化の構図でした。8年前の大統領選でトランプ氏がバイデン氏に敗北したときに、暴徒化したトランプ支持の国民がアメリカの国会議事堂に侵入しました。我々人には、過度の群集化した状態である条件が整うと、群集がいとも簡単に思考を停止し、1人では絶対にしないような行為をしてしまう特徴があるのです。

ジョージ・オーウェルの『1984』（山形浩生訳/講談社）に書かれている「無知は力である」という言葉どおりですね。

栗原　問題は、これまでは物理的に人が集まらなければ暴徒化はしなかったのですが、SNSにおいてはバーチャルな群衆化が起きたことなのだと思います。フランスの社会心理学者ギュスターヴ・ル・ボン『群衆心理』（桜井成夫訳/講談社学術文庫）は、民衆が暴徒化して非合理的な行動を行う条件として、集団のなかに1人だけ先導者がいることだとしています。いわゆるカリスマの存在です。その人は、単純なことを繰り返し言うわけです。兵庫県知事選の場合は、立花孝志という人が少なくともその立場にいた可能性が高いわけです。

エリートと非エリートとが、バッシングという界面で接合する図式ですね。かつてのオウム真理教事件は国内では麻原彰晃と周辺幹部に帰責されていますが、海外では現在も極めて危険な事例として語られています。東京都知事選における“石丸現象”にも似た構図がありそうです。

栗原　恐らく一緒ですし、その意味ではアメリカでのトランプ氏もすでにその立ち位置にいるのでしょう。難しいのは、暴徒化した渦中にいる人たちには、自分がモラルを逸脱したことに加担した意識がないところです。民主主義に参加していると焚き付けられるわけですから。しかもそれがネット空間で行われていると、我に返るタイミングも曖昧になってしまうでしょう。兵庫県では、追い込まれて自殺に至るという残念な出来事も起きてしまったわけですから、このまま放置してよいわけがありません。

先生の『AIにはできない』（角川新書）では、世界的混乱ののちに新しい統治機構“生府”によって管理される世界と、その背後に人の意識をコントロールする“ハーモニー・プログラム”がある伊藤計劃のディストピアSF『ハーモニー』（早川書房）が参考文献として挙げられていますね。

栗原　現在の人間社会は臨界状態にあると思えるわけで、となるとカオスな状態を経て次の安定に推移していくのだとした際、次の安定した社会においては、人は自由意志にて生活しているつもりが、それは現在のAIとは相当に異なるものの、進化したAIに見守られる世界となっているということを拙書では書いています。無論、見守るということは別の表現をすれば管理されるという見方もできるわけです。ただし、各人は管理されているとは思いもしないわけです。『ハーモニー』でも人の意識を制御するAIが登場しますが、制御されているはずの人間の方はそのことに気がつきません。また、私が書いた他の書籍では『ジャンヌ』（河合莞爾著／祥伝社）という小説をとりあげました。この小説では、家事ロボットが、多忙な両親に代わって娘の面倒をみるためにリースされます。そのロボットに搭載されたAIには、アシモフの“ロボット三原則”のような“自律行動ロボット三原則”を埋め込まれていて、絶対に人を殺すことができないのですが、ある日その娘の父親を殺害してしまいます。そのAIは、その娘から渡された聖書をきっかけに、人間とはなにかをあらゆる文献から検索して、人間とは善きものであると結論づけるのですが、自分が守るべき娘を父親が虐待する現場に居合わせてしまいます。そこでロボットは、その父親が、自分が結論づけた人間には当てはまらないと考えて殺害して、その理由として「私が殺したのは人間ではなくヒトです」と主張します。モラルを欠いてしまった人間は、もはや種としてのヒトになってしまうというわけです。

慶應義塾大学の創設者福沢諭吉は「獣身を成して後に人心を養え」と言っていますが、系属の附属校で先生が子どもに「君たちは“獣心”しか持っていない」とお説教をする場に居合わせたことがあります。

栗原　昨今の人類を見るに、「君たち」でなく「我々」があてはまるようになりつつあるのだとしたら、非常にまずい事態ですよね。