わかりにくさの罪、わかりやすさの罰 
XAIが目指す帰納的飛躍の解消

REVIEWおすすめ
テキスト 桐原 永叔
IT批評編集長

前回、前々回にわたって思索と文体について考えてきた。それはとりもなおさず、インプットとアウトプットの関係、あるいはその間のプロセスにあるものについて考えることにほかならない。インプットとアウトプットの関係はディープラーニング以降のAIにとって重要な問題である。

 

 

目次

インプットとアウトプット/演繹と帰納

天才か狂気か? 説明不能な知性

ブラックボックスでしかない頭と心

AIとの共存と、科学との共存

 

 

 

 

インプットとアウトプット/演繹と帰納

 

なぜインプットとアウトプットの関係がディープラーニング以降のAIにとって重要なのかといえば、人がディープラーニングのプロセスを理解できないことに起因する。ディープラーニングで用いられる多層化されたニューラル・ネットワークはブラックボックス化しており、インプットとアウトプットを因果関係で理解しにくいのだ。
アルゴリズムによるルールベースで処理を行なっていた第2次ブームまでのAIと、機械学習によって処理を行う第3次ブームのAIは大きく異なる。記号と計算による演繹法的な処理と、経験と学習による帰納法的な処理の違いと言えるだろう。前者は大前提となるルールがあり、そのルールに沿って処理を行う。一般的な事象から個別な事象を判定していく演繹法を極簡単に説明すれば三段論法である。
カラスは黒い→あの鳥は黒い→したがってあの鳥はカラスだ、となる。
ディープラーニング以前のAIは演繹的なロジックに従って計算を行なう。現在でも経路探索などで盛んに活用される処理だ。演繹では、インプットとアウトプットの関係は非常に明瞭だ。インプットが誤っていればアウトプットも誤る。人に理解できない点はない。
これがディープラーニング以降のAIでは、個別な事象から一般的な事象を導く帰納的なロジックになる。上の例に沿っておこう。いささか簡略にすぎるがここでの議論にはこれで十分だろう。
黒い鳥Aはカラスだ→黒い鳥Bはカラスだ→たぶん黒い鳥はすべてカラスだ。
帰納的なロジックにおいて、インプットとアウトプットは急に不安定な関係になる。例に沿って言えば、すべてのカラスについて確認することができないからだ。個別な事象が無限にあるために得られる一般は限定的なものとならざるを得ない。際限のないインプットから、もっとも正しいと思われるアウトプットへ導くように「重みづけ」と言われる処理を行う。この過程を学習というわけだが、それはあたかもペットの躾のようなものだ。
ペットがいつ(人にとって)正しい振る舞いをし、いつ誤った振る舞いをするかは正確にはわからないし、事前にそれを理解させることはできないから、都度都度の振る舞いに対し、飼い主は褒めたり叱ったりといった躾を行う。ペットもなんどか褒められたり叱られたりを繰り返し学習していく。
「強化学習」というディープラーニングに重要な概念は事実、動物に対する行動分析学が発祥の概念である。
帰納的な処理を行うAIにおいてインプットからアウトプットが予想できない。人が理解できないのは、飼い主には、経験によって躾けられていくペットの振る舞いをすべて予測できない、すべて理解できないことと同様である。
行動分析学については『行動分析学入門 —ヒトの行動の思いがけない理由』(杉山尚子著/集英社新書)がわかりやすい。この本をペットの気持ちを理解するヒントにする読者もあるようだ。

 

 

行動分析学入門―ヒトの行動の思いがけない理由
杉山 尚子著
集英社新書
ISBN:4-08-720307-7

 

 

天才か狂気か? 説明不能な知性

 

囲碁AIの歴史と第3次AIブームは切っても切り離せない。囲碁AI・アルファ碁が当時、むこう10年以上は無理だと言われたプロ棋士に対し勝利したのは2016年のことである。このセンセーショナルなニュースを機に第3次AIブームは始まったともいえる。もちろんより正確にいえば画像認識コンテストILSVRCにおいてジェフリー・ヒントン率いるトロント大学が2位に圧倒的な差をつけて優勝した2012年、ディープラーニングの威力は斯界を賑わした。しかし、より世間にインパクトがあったのは、アルファ碁がプロ棋士のイ・セドルとの5番勝負に勝利したことのほうだ。
今回の記事で注目すべきことは、この対局において世界中のプロ棋士にまったく理解できない手をアルファ碁は打った。その手は2500年を超える囲碁の歴史のなかで、したがって人類がかつて一度も打ったことのない手であった。アルファ碁は第1次AIブームの技術につらなるモンテカルロ木検索というアルゴリズムと、ディープラーニングのような機械学習を組み合わせたプログラムである。重要なのは、AIのアウトプットがプロ棋士はもちろんアルファ碁の開発者当人にも理解できなかった点にある。なぜなら、アルファ碁は人が手を教える「教師学習」だけでなく、独自に自己対局を繰り返す「教師なし学習」を経て強化されているからだ。「教師なし学習」に人は関知しない。よって、アルファ碁がどのように強化されたかわからないのだ。
私は以前、このエッセーで将棋の天才棋士・羽生善治氏がAIも「直感」をもったのかもしれないと述べたことに触れた。将棋にせよ、囲碁にせよ、プロ棋士であっても人は対局中の候補手について、AIほどの選択肢をもたない。経験的に─つまり帰納的に─閃いたいくつかの手のなかから次の手を選ぶのだ。そして、ここに才能と実力の差がでる。天才の直感、閃きは常人には理解しがたいものだ。後知恵であっても解釈すら阻むことがあるのが、天才の閃きである。
ゲームの世界だけではない。科学の世界でも天才の閃きは往々にして理解されない。『科学と非科学 その正体を探る』(中屋敷均著/談社現代新書)には、たったひとつの新説に対する不理解によって地位と名誉を失う細胞遺伝学者バーバラ・マクリントックの話がでてくる。
バーバラの新説は精緻なほどに理路整然としており疑いの余地のない結論を導いていた。しかし誰もそのロジックから確信を得られなかった。バーバラは他の研究者には決して理解できない方法によって対象を観察していた。「細胞のなかに降りていき、周囲を見回す」から同じ観察でも他の研究者より多くの発見ができると言ったそうだ。そんな説明はほとんど呪術の世界である。

 

バーバラは当時の状況を「笑いものにされたり、本当に気が違ったのではないかといわれたのは驚きでした」と述べている。                      『科学と非科学 その正体を探る』

 

彼女の新説を裏付ける研究が発表されるようになったのはそれから10年以上後のことである。
天才とは狂気と紙一重であるとよく言うが、天才とはそれほど理解できないものである。言い換えれば、インプットとアウトプットのバランスが常人にはまったく理解できないゆえに、それは狂気とされる。
「細胞のなかに降りていく」というインプットと大発見となるアウトプットがつながらないために、それは神秘であり神秘を許さない科学界ではインチキと見做されるわけだ。

 

 

科学と非科学 その正体を探る
中屋敷 均著
講談社現代新書
ISBN978-4-06-515094-8

 

 

ブラックボックスでしかない頭と心

 

数学界では、天才の扱いはさらに難しいものになる。経済学者の宇沢弘文は愛娘の進路について「数学者を目指すと孤独になる」と述べたという。自身も数学者を目指した宇沢ゆえに深いひと言だ。
天才数学者の振る舞いは常人をしてまったく理解を受け付けないものがある。私たちは彼の天才を理解できないまでも、彼の人柄を理解しようとしてさらに大きく誤解し、ますます彼を孤独にする。私たちの器に押し込めることでしか天才をわかりやすくすることができない。そしてそこには実像はない。
こうした事例の最新のものは、ロシア人数学者グリゴリー・ペレルマンだろう。ペレルマンはミレニアム懸賞問題の一つであったポアンカレ予想を解決した。ミレニアム懸賞問題とはアメリカのクレイ数学研究所によって西暦2000年に設定された7つの難問であり、その解決にはクレイ賞として100万ドルの懸賞金がかけられた。
あろうことか、ペレルマンはポアンカレ予想の解決をウエブサイトにひっそりと公開し、わずかな数学者にだけそのことをメールで知らせた。彼にとって重要なのは、数学の難問の解決であり、世間から注目されることも金銭を得ることも二の次であった。しかし、ポアンカレ予想の解決はペレルマンを圧倒的に孤独にしてしまったのだ。
同じ志を持ち数学のみを信奉していると見ていた先行する研究者たちはペレルマンの方法に疑問を呈するか、無視するかした。ただ認めることさえしなかった。業績を正しく報道すべきマスコミは、ポアンカレ予想の解決によってペレルマンが100万ドルを手にすることを強調する。
ペレルマンは、数学のノーベル賞といわれる4年に1度のフィールズ賞を辞退し、今世紀中にあと1度でもあるかわからないクレイ賞をも辞退する。ただ認めてほしいだけなのに、それらの賞を受領してしまえば、名誉を欲していると誤解されることを恐れているかのように。懸賞金を受け取れば、金銭のためにポアンカレ予想に挑んだと思われることを恨むように。
こうしてペレルマンは世間から姿を消した。
人は二つの点で、ペレルマンを理解できない。これまで多くの天才が挑み阻まれてきたポアンカレ予想をたった一人で解決した世紀の天才としての彼と、歴史に名を刻むほどの名誉と一生を賄える賞金を受け取る正規の権利をもちながらそれを拒否した狂人としての彼と、を。
ペレルマンの頭のなかも、心のうちも私たちにはブラックボックスなのだ。ペレルマンについてはNHKに優れたドキュメンタリーがあるので観ることを勧めるが、『完全なる証明 100万ドルを拒否した天才数学者』 (マーシャ・ガッセン著/青木薫訳/文春文庫)はソビエト連邦当時における数学教育、そこで頭角を現しながらもユダヤ人であるゆえに不遇をかこった少年少女たちの環境を知ることができ興味深い。なにより、著者自身がペレルマンと似た境遇にあったことが迫真性をもっている。

 

 

完全なる証明 100万ドルを拒否した天才数学者
マーシャ・ガッセン著 青木薫訳
文春文庫
ISBN978-4-16-765181-7

 

 

AIとの共存と、科学との共存

 

しかし、私たちが理解できないのはなにも天才ばかりではない。私たちはほとんど他者のことを理解しないし自分のこととて同様だ。なんとか理解しようと駆使するのが、置き換えだったりする。自分だったらどうか。今の私のような状況のとき、尊敬するあの人はどうしていたか。そんなふうに譬え話(メタファ)によって、他者や自分を明らかにしようとする。
ペレルマンに対しマスコミが懸賞金の金額に注目する記事を書いたのも、俗人の心理をペレルマンのそれに置き換えたことによる。読者は自分がペレルマンだったら、100万ドルで大喜びだと考え、ペレルマンに自分と同じであることを期待する。多数派の期待が裏切られると、過剰な反応が起きる。
SNSの炎上騒動もほとんどこうした間違った譬え話(メタファ)に端を発している。著名人の失言や言い間違いをあげつらうのも、安直な譬え話に醸成された怒りがほとんどだ。安直な譬え話にならなければならないで「わかりにくい」だの「庶民を馬鹿にしている」だのと言われるだけで、多くの人が溜飲を下げるレベルで“わかりやすく”罰を受け許される方法はない。
とはいえ、人が譬え話(メタファ)によって難解な事象を理解しようとするのは間違ったことではない。むしろそうすることによって人類は進歩してきたのだ。自然現象を比喩として語ることで、扱いやすいサンプルを得ることができるし、神の支配する神秘の世界を脱することもできたのだ。
この比喩こそが、ここ数回で話題にしてきたアウトプットとしての文体を生み出す能力の多くを占める部分である。いや、インプットに対しても比喩化することで複雑な事象を簡略にし思索に取り組めるようにする機能がある。
私たちは、自然現象を神秘とせずに比喩することで自然科学を発達させてきた。
『科学哲学への招待』(野家啓一/ちくま学芸文庫)によれば、現象学を創始したフッサールは科学の進展の大きな一歩となった自然現象の測定可能な物理量としての数量化を指して「ガリレオによる自然の数学化」と呼んだそうだ。ガリレオは自然を匂いや色、音といった質的な自然観から量的な自然観に移行させたのだ。この翻訳、言い換えこそ、この記事でいう比喩のことだ。
『科学哲学への招待』では、セレンディピティといわれる科学者の閃きについても、メタファの有効性についても論じられる。

 

科学者の思考は論理的に妥当な推論だけに基づいているわけではなく、アルゴリズムには還元できないような非形式な推論を無意識に行っているからである。            『科学哲学への招待』

 

そのうえで合理性、ロジックとは生成変化する世界に対する言語の適応であり、この方法の主たる武器が比喩なのだという研究者の言が紹介される。
比喩だからこそ、先の「黒い鳥Aはカラスだ→黒い鳥Bはカラスだ→たぶん黒い鳥はすべてカラスだ。」のロジックには「帰納的飛躍」と呼ばれる断絶が内包されてしまう。この断絶こそが、ディープラーニング以降のAIのニューラルネットワークに存在するブラックボックスの正体なのだ。前提と結論、つまりインプットとアウトプットの間に必然性ではない確率が潜んでしまうと言い換えることもできる。
ディープラーニング以降のAIが抱え込んだ問題がブラックボックス化とすれば、その根本には私たちがすっかり慣れ親しんだ近代科学の真実性、説明可能性が抱え込んだままでいる問題と通底している。
XAIがAIと人間の共存を目指すテクノロジーであるならば、私たちはまた科学との共存も考え直さなければならない時代に生きているのかもしれない。
そんなことを考えている。

 

 

科学哲学への招待
野家 啓一 著
ちくま学芸文庫
ISBN:978-4-480-09575-6