国立研究開発法人産業技術総合研究所 人工知能研究センター長　辻井潤一氏に聞く
（２）AIが持つブラックボックス性の解決が次の大きな課題

AIの知能が、人間の知能をカバーすることはできない

桐原　XAIというコンセプトが出てきたのは、このままAIがブラックボックス化していくことに対して、人間の側に恐怖心があることも理由の一つだと思うのですが。

辻井　恐怖感や不安はやっぱりあると思います。それはAIに限った話ではなく、非常に複雑なシステムについても同じことが言えます。それが出す結論なり動きが本当にうまくいっているのかどうなのか、我々が分からない状態になってしまうと制御できなくなるわけです。震災の時に原発の問題が露呈しましたが、何か予期せぬことが起こったときにどこをどう触ればうまく制御できるのかが分からなくなっている。そういうものの典型としてAIがあることは確かで、このままいくと制御できなくなるのではないかという不安はあるわけです。ここはAIのほうが得意なので任せましょうと言ったときに、それが出してくる結果を信じられるときにはいいんだけれど、環境が構造的に変わったときにその判断は本当にいいのか悪いのかが分からないという状態が起こると、制御ができなくなるし、環境に合わせてシステムを再調整することも難しくなるという気がするんですね。

桐原　現代はAIに限らず、人間の手に負えない事象がたくさん出てきているような気がします。

辻井　コロナウイルスもそれに近い話ですよね。データはいろいろ揃っていて、いろんな予測はできるんだけど、ウイルス変種がでて内部の機構が変わってしまうと過去のデータは役に立たなくなる。だから、大きなデータで何かを処理していくことの危険性もあるわけです。データというのはある種の機構を通して出てきていて、僕らが観察できるものになっている。その観察できるデータから内部の計算機構、規則性を推測して知的な判断に使っているわけです。そうすると、データをもともと出している機構そのものが変化すると、本当はそのデータはもう信用できなくなるわけです。機構そのものが変化したときには判断を変えていかないと駄目なわけですが、なぜそのデータが出てくるのかの機構を人間が分かっていないと、データを出してくる背後の機構が変わったときには対処できなくなるわけです。そこでコントロールが効かないということが一番大きな問題だと思います。人間はこれまで科学だとか工学だとか技術を蓄積して、長い歴史のなかで対象を理解してきています。それはデータだけを見てやっているわけではなくて、こういうことが起こっているのではないかという仮説を立てて実験をしデータをとって、また理論をつくりなおすといったことを繰り返してきました。そういう歴史があって、我々は科学や医学の体系をつくってきたわけです。データだけの知能が完全に人間が形作ってきた科学や工学に基づく知能をカバーできるかというと、カバーできないと思います。データをいくら見ていても、我々がつくってきた科学なり技術の体系を計算機だけで再構成することはできない。だからその２つをどうかみ合わせるかということを考えていかざるを得ないでしょう。