イノベーションを加速させる安全と信頼の設計図
AIセーフティ・インスティテュート所長 村上明子氏に聞く
第4回 企業のAI活動に必要なのは技術とガバナンスの両立
AIを企業に実装する時代に問われるのは技術とガバナンスをいかに両立させるかである。村上氏は、AI倫理を人の倫理と企業の規範の課題として捉えている。多様性と対話を基盤に、必要なのは、更新され続ける実践的なルールづくりである。
取材：2026年2月9日 AIセーフティ・インスティテュートオフィスにて
村上 明子（むらかみ あきこ）
AIセーフティ・インスティテュート所長。SOMPOホールディングス執行役員常務 グループChief Data Officer。日本アイビーエム東京基礎研究所、同東京ソフトウェア開発研究所を経て、損害保険ジャパン入社、DX推進部長、執行役員 CDaO（Chief Data Officer）を経て現職。同社データドリブン経営推進部長を兼務。内閣府AI制度研究会座長代理ほか政府・自治体関連委員、一般社団法人言語処理学会理事ほか研究関連委員、経団連デジタルエコノミー推進委員会企画部会長ほか民間団体委員などを多数務める。また災害発生時に情報の収集・活用・発信に関わる支援活動を行う一般社団法人情報支援レスキュー隊 IT DART（IT Disaster Assistance and Response Team）設立メンバーであり、監事を務める。
目次
人間中心のAIガイドラインを設計する
都築 正明（以下、――）広島AIプロセスでは、人間中心のAIということを強く謳っています。AISIの取り組みにも通ずるものですよね。
村上 明子氏（以下、村上）日本はAIのガイドラインを複数出していますが、共通していえるのは、まず全てのステークホルダーに向けることを念頭に置き、その後に事業者に向けるというターゲットを定めていることです。海外ではAIの事業者だけに向けたものだったり、抽象的に全体に向けたものだったりというものがほとんどですが、日本は全てのステークホルダーがAIの安全性を考えるべきだという基本姿勢があり、人間中心に考え、常にそこを明確なターゲットとしてガイドラインを出しているのが特徴です。安全と安心は異なります。日本では「安心」という言葉をよく使いますが、海外でそれに該当する言葉はあまり見当たりません。
安全であるというのはリスクが最小限の許容範囲に収まっているということですが、安心であるというのは主観的なことなので、客観的な安全とは違ってきます。その意味では、安心のために情報発信するということも必要です。AISIでは、そこを含めて人間中心のAIの安全性を考えています。
――今後AGI（Artificial General Intelligence：汎用人工知能）やASI（Artificial Superintelligence：人工超知能）時代の到来についてもよくいわれます。そうした未知のものについての安全や安心については、どのようにキャッチアップをして、どのようにアナウンスをしていくとお考えでしょうか。
村上 AISIのミッションは現行のリスクや安全性について考えることですし、研究機関ではありませんから、AGIやASIについての積極な活動をしているわけではありません。来るべき時代については、ある日突然AGIやASIが現れるというよりは、今あるエージェントAIなどが進化をしていって、気がつけばAGIだったという世界に繋がるのではないかと思っています。ですから、少し先にみえるAIのテクノロジーの安全性についてはしっかりと調査研究しつつ、大学や国研の専門家の方々に協力していただきながら、起こりうる社会的なリスクを把握してガイドライン等に載せていくことが必要だと思っています。
また、先ほどお話しした安全のベンチマークについては、ベンチマークをつくるだけでなく、それを評価計測する能力を私たちが持ち続けていくというのも重要だと思っています。AIのモデルやシステムがある日突然制御が効かなくなる、または継続不能になるということが起こらないよう、しっかりと評価する力を持ち続ける――それも私たちの使命だと考えています。
世界各国のAI戦略のなかで日本のとるべき地歩
――安全保障の面でもAIは注目されていますし、安心という意味も懸念点になっているかと思います。こちらについて取り組まれていることはありますか。
村上 AIが安全保障に関わりが深いことは私たちも認識していますし、技術的な観点からも調査するということが必要だということも承知しています。安全保障そのものを考えるのは国や省庁レベルの話なので、技術的な観点で支えられるよう連携して進んでいくのが私どもの使命だと思っています。
――EU-AI Actでは人権をとても大切にしていて、テロ対策と迷い人探しのほかは街なかのカメラを使ってはいけないことになっています。一方アメリカの大統領令は、規制を少なくしてさまざまなサービスを競争させ、勝ったものを使う方針です。両者が対極にあるとすると、日本はどのように動くべきだとお考えでしょう。
村上 EUとアメリカとの方針が分かれていることは私たちも認識しています。日本がとるべき道というのは、規制はあるけれど罰則を科すほど厳格ではなく、事業者が自由に考える余地を残しているAI法が1つの答えだと思っています。ただし、事業者が非常識なことをしたり、国民に不利益があったりする場合には、罰則がある法律に変換できる法律です。ソフトローをハードローで規定するのが日本のAI法ですから、そのソフトローの部分を技術的にしっかり深度を高めて充実させていくのが私たちAISIの役割だと考えています。EU型かアメリカ型かというと、どちらでもないというのが答えになりますが、逆にいえば、非常によいバランスをとっていると他国からおっしゃっていただくこともあります。特にアジアなどの、覇権を獲得する企業が国内にはないような国から関心を持っていただいているようです。
――アメリカの「AIアクションプラン」では、GPU・データセンター・AIフレームワーク・生成AIモデルをまとめて輸出する“フルスタック輸出”の方針を打ち出しています。オール日本として考えると、それぞれをどのようにハンドリングしていくのかが難しいと思うんですけれども。
村上 私の個人的な意見になりますが、現在“オールジャパン”や“日の丸AI”といった言葉が出てきています。例えば明日からAIの全ての要件を国内だけでカバーできるかというと、難しいのが実状です。だからといって、日本がつくることを諦めてしまうことも、私は間違っていると思います。AIの技術は、つくり続けたり探求し続けたりということで技術力を保つところがありますから。今は海外製のものを活用しながら、自分たちが内製できる能力を持てるようチャレンジし続けるべきだと思います。純日本製やAIソブリンシーといって感情的になりすぎて実を取れなくてもよくないので、私たちが主導権を持つところと海外のものを利用するところとのバランス感覚を持ち、自分たちの頭で考えていく能力が重要だと思います。
企業のAI戦略策定にはガバナンスと技術とのバランスを
――特に生成AIが登場してから、AIと倫理とがセットで語られることが多くなっています。企業がAI倫理をどのように受け止めるべきかについて考えをお聞かせください。
村上 難しいながらも考えなければならない問題だと思っています。研究倫理の根底にあったのは、人としてよいことと悪いことが、研究でしてよいのか悪いのかということでした。人として何をしてはならないのかというのは哲学的ですし、文化的背景にも影響を受けます。私たちAISIはそこを議論する組織ではなく、安全性をはかるベンチマークをつくったり計測したりする機関ですが、私たち1人ひとりには、AIが何をしてよいか、何をしてはいけないのかを常に考え続ける責務があるのだと思います。私が所属している民間の企業でもお話しするのですが、基本は「人にされて嫌なことは自分もしてはいけない」ということです。例えばAIを使って偽情報や誤情報を流すことの是非を考えるときに、誰でも自分がそれをされれば嫌なのだから、してはいけないと考えることが根本にあるべきです。法律で犯罪とされているかではなく、人としての行動の基準はそこにあるのだと思っています。日本人は相手に年齢を尋ねることが多いけれど、欧米ではいけないというように、国ごとに異なる文化的背景もあります。そこでは相手を尊敬して、丁寧に考えていくことが重要です。企業においても、業種として守るべきプライバシーや行動規範などについては、しっかりとポリシーとしてお持ちになるべきだと思います。
――これまで企業内では情報システム部門に留まっていたことが、AIが導入されて以降はかなり変わってきますね。
村上 いままでは組織や体制、ルールをつくることは、どちらかというと文系の仕事だと思われていました。AIやデータは技術的な話なので、技術で何をできるかということがわからないと、ガバナンスやプライバシー保護などの設定は難しいわけです。ですから、私は技術系の方とルールメーキングを行う方とがきちんと対話することが必要だと思っています。昨年、テクニカルガバナンスを立ち上げたいとおっしゃているイギリスの有識者の方とお話する機会があり、話題に出たのは、技術の人は技術のことだけを考えたい、一方ガバナンスの人は、技術で何ができるのかではなくルールばかりを考えがちです。そうすると技術側の人からすると窮屈なルールしかできませんし、ルール側の人は実効性のないルールをつくってしまう可能性があるので、両者が対話していこうということでした。そうした対話が発展していくと、倫理観の先に、企業がそれをどう守るかという現実解をつくることができてくると思います。また、倫理観が変わることはなくても、技術が進化すると社会実装は変わっていきますから、その対話を止めるべきではなく、ルールもリビングドキュメントのようにしっかり更新していくことが必要だと思います。
――情報が流出してしまい、企業全体のブランディングが損われた例もあります。
村上 そうですね。これまでプライバシーというと、情報流出のことばかりに注目が行きました。今後は、許諾したつもりのないデータが勝手に使われたり、自分が判定されたくないことが勝手に判定されて使われたりということも考えなければなりません。効率的に何をしてよいのか／してはならないのかという前に、こうしたコンタクトリスクを考える姿勢が企業に求められると思います。
企業の倫理・人の倫理
――企業の倫理があり、その根本に人の倫理があることを伺いました。加えてAIは人の属性などを学習します。この3者が重なるところを考えるべきだと思うのですが。
村上 先ほどAIの効用として効率化と新規事業を挙げましたが、効率を突き詰めると、人としての倫理観を失うことがあり得ます。有名な例で、エンジニアの採用に某企業がAIを使ったら女性を全部不採用にしたということがありました。AIというのは回答を最適化するためにモデルを作りますから、過去の合格者全員が男性だったら、最初の分岐点を性別にするのは当然です。AIは男女差別をしてはならないという価値観は持ち合わせておらず最適解を出力します。そこで、倫理的にしてはならないことは、人間が教えてあげなければなりません。してはならないことに人が気づくことができるかどうかも難しい問題です。アンコンシャス・バイアスという言葉がありますが、気づいていないからアンコンシャスなのですし、気づいている人と気づけない人がいた場合に、気づけない人がそれを取り除くことは困難です。先程の女性を排除する例でも、応募していても毎回落ちてしまったり、男性より成績がよくても落ちてしまったりとなると、そこで女性だけが気づくのです。男性は自分が合格しているから、気づくことができないのです。不利益な行動を取られてしまった人が声をあげることも大切ですし、統計的におかしなことが起きていることを測る技術的なソリューションもあるに越したことはないのですが、そうしたことは、AIだけでできるのではなく、人がきちんと考え続けなければならない問題だと思います。
――AIがバイアスを出力するとよくいわれますが、そもそもは人にあるバイアスを学習している。それをAIの責任とするのは根本的な解決には至りませんし、これからさらに古いデータを参照すれば、不可視なバイアスを学習することがありえます。
村上 不幸なことに、人間には差別や思想の偏りがあった歴史がありますし、それは残念ながら現在もあって、現在気がついていないものが今後出てくる可能性はあります。過去に私たち人間が行った誤りがデータには残っていますから、今はいけないことだとわかっていれば、そのデータを是正していかなければなりませんし、そこは意識してやらないといけません。今のAIの全てが、過去データに依拠して過去と同じことしかできないというわけではありませんが、どうしてもデータには引きずられてしまいます。AIの賢さは、AIそれ自体ではなく、入れるデータがいかに賢いかにかかっています。そのデータを用いて公平な世の中をつくっていけるかは、私たち人間がしっかりと監視していかなければなりません。
――同時に、今ある人間のバイアスを排除することも大事ですね。
村上 まったくそうだと思います。これはAIの安全性の話からは外れますが、私自身がそうしたことを心がけているのは、これまで自分自身が集団の中では比較的マイノリティだったことが多かったことに起因していると思います。中学生までは科学技術が好きな女の子で当時は珍しかったですし、大学では学生の90％以上が男性でした。IBMに入社してからは、みんなコンピュータサイエンス専攻の方々なのに、私は1人で物理学科出身、というように、ずっと何らかのマイノリティとして生きてきました。私は、おかしいことをおかしいと言えない性格ではありませんでしたから、おかしいと感じたことは声に出すようにしていました。今でも保険会社に転職して「この会社のこの常識はおかしくない？」ということを言ったりもします。それで少しでも組織が正しく向かえばよいと思っています。あまりにもマイノリティすぎると言えない人も出てきますから、組織のとるべき方法は2つあって、1つはさまざまな種類のマイノリティの人々が集まる多様性に満ちた集団をつくること、もう1つは「それおかしいですよ」という声をあげやすい組織をつくることがとても大事だと思います。
――AIは小さな声を拾いやすいシステムでもありますよね。
村上 そうですね。1個でもバイアスに満ちたデータが入っていると、データセットに入る可能性はありますから、データをどう扱うかは非常に難しい課題です。AIの多様性を担保することに挑んでいる研究者もいますが、それとは別の難しさがあるのだと思います。
