EU最新AI規制が問いかける“監視社会”の未来
AIは人の何を管理するのか？

管理されることのプロフィット

アメリカの憲法学者であるローレンス・レッシグは人々の行動を規制する手段として、

を挙げている。

たとえば飲酒運転の規制を強化する場合には、

といった方法があるわけだ。レッシグが注目したのが④だ。そもそも車が動かなければ、運転という行為そのものが“抹殺”されてしまう。ITはそういう仕組みを容易にする。

テクノロジーの発達はアーキテクチャを強化してきた。ただ、同時に②規範、③市場による制限もまたITの発達によって強化されていることだ。

この②規範、③市場こそが、前項でいう規律と環境である。ソーシャルメディアの炎上騒ぎをみればわかるように、現在はすこしでも規範を外れた行為はすぐに見つかり過剰ともいえる非難が集中する。SNS以前には考えられなかったことだ。また、人の行為の見える化、データ化が進むことで、コストとプロフィットのバランスが崩れた。コンプライアンス違反は単に①法規の逸脱だけでなく、そのまま、個人と法人とを問わず市場からの退場を意味するからだ。②とも密接にからむことが背景にある。薬物に手を出した音楽家はすべての印税収入を失い、不倫した俳優はCM契約を打ち切られる。メディア（マスでもソーシャルでも）はそれだけで大騒ぎだ。なんというプロパガンダだろうか。

こう言ってはなんだが、違反するコストがまったく見合わないから、違反しないプロフィットが相対的に大きくなる。

アマゾンのレコメンドを例にすればわかるように、環境に管理されることはわたしたちにある種のプロフィットをもたらす。同じように、規制を遵守しやすい管理された環境は目に見えるプロフィットをもたらすのだ。

AIのファスト＆スロー

AIはつい10年ほど前まで、論理や計算に強いルールベース型が主で直感やひらめきといった思考に弱いと言われてきた。大人の事務作業のようなものをAIが代替するのは難しくはないが、子どもができるようなことでもAIには決してできない作業もある。

この２つの業務は、行動経済学の基礎をつくったダニエル・カーネマンが言うファスト＆スロー（『ファスト&スロー  あなたの意思はどのように決まるか？』上・下　村井 章子訳/早川書房)のそれぞれを司るシステム１とシステム２に分けることができるだろう。システム１とは直感のような“はやい（ファスト）思考“であり、システム２とは論理や合理性を重んじ熟慮する”おそい（スロー）思考“である。カーネマンは、人々は経済的な判断でさえ合理的には行わず、経験や直感的な感覚で決断することを実験で証明した。

これまでのAI は、比較的に人が苦手とするシステム２の思考は得意だったが、システム１についてはなにもできなかった。10年前まではたしかにそうだった。

それが近年、ディープラーニングのような機械学習によって直感に似たシステム１的な思考を行うAIが登場するようになった。機械学習は、多くのデータを入力して求める方向についての学習を強化していくことで行われる。得られるプロフィットが多いほうに思考が強化されていくという手法である。AIはご褒美を多くもらえる方法を探しつづけて賢くなるわけだ。この手法を「強化学習」という。

強化学習では論理や計算よりも経験（ビッグデータ）が有利になる。AIは強化学習で躾られているかのようだ。躾によって理屈でぬきに行儀を覚える子どもと同じように。

AIがシステム１の思考をできるようになった理由もこのあたりにある。

AIが手に入れようとしている権力

すこし遠回りになった。AIがシステム１の思考をできるようなったことが何を意味するかを説明することで、そろそろ結論へ急ごう。

カーネマンが創始した行動経済学は現在さまざまな施策にとりいれられるようになっている。代表的な手法が「ナッジ」である。肘つつきを意味するナッジとは経済学者リチャード・セイラーが考えた概念で、人々が好ましい行動を自然にとるように後押しする行動科学的アプローチのことだ。あたかも隣の人を肘でつつくように次の行動を促すわけだ。わかりやすい入門書として『行動経済学の使い方』（大竹 文雄著/岩波新書)を挙げておこう。

ナッジにはカーネマンらの行動経済学の成果が存分に発揮されている。そもそもセイラー自身がカーネマンらとともに行動経済学を研究してきた。
決して合理的には行動しない人間を心理学や行動分析の手法によって行動させることが、行動経済学がもたらしたひとつの成果だろう。そう考えればシステム１を手に入れたAIにも同じように人間の行動を促すことは理論的には可能だ。

結論がみえてきただろうか？

AIがもしシステム１に基づいた思考によって、わたしたちに何らかの行動を促したら、それこそ本当の意味での環境管理権力となるはずだ。AIのシステム１によるナッジは合理的には理解できないだろう。それだけに後からの説明も難しい。人の直感やひらめきが説明できないのと同じだ。AIによって洗脳されるディストピアも想像に難くない。

しかし、実際にはそのとき人は誰もそれがディストピアとは考えないだろう。むしろAIとの共存に安全と幸福を感じているはずだ。それほど自然にAIはわたしたちを管理しうる可能性がある。