東京藝術大学大学院国際芸術創造研究科教授 清水知子氏に聞く
第2回 テクノロジーは暴力・ケア・民主主義の敵か
安全や福祉の名のもとで、AIによる監視技術は暴力や統制を制度的に正当化しうる。清水知子氏は、ドローン戦争の誤謬やディズニー映画の描く権力関係を例示しつつ、人々がすすんで権力を受け入れる倫理的危うさを指摘する。ケアを関係性の構築として捉えなおし、伴侶種的視点や多元的価値観から、民主主義やジェンダー、自然との関係、そしてテクノロジーの未来を再構想する必要性について語る。
清水 知子(しみず ともこ)
東京藝術大学大学院国際芸術創造研究科教授。専門は文化理論、メディア文化論。英国バーミンガム大学大学院MA(社会学・カルチュラル・スタディーズ)、筑波大学大学院博士課程文芸・言語研究科修了。博士(文学)。山梨大学助教授、筑波大学人文社会系准教授を経て現職。米国ハーバード大学ライシャワー日本研究所客員研究員(フルブライト研究員2010−2011)、独ベルリン自由大学客員研究員(2018-2019)。著書に『文化と暴力――揺曳するユニオンジャック』(月曜社)、『ディズニーと動物――王国の魔法をとく』(筑摩選書)、訳書『ジジェク自身によるジジェク』(河出書房新社)のほか、ジュディス・バトラー『アセンブリ――行為遂行性・複数性・政治』(青土社)、『非暴力の力』(青土社)、『自分自身を説明すること』(月曜社)、『権力の心的な生―主体化=服従化に関する諸理論』(月曜社)、アントニオ・ネグリ/マイケル・ハート『叛逆―マルチチュードの民主主義宣言』(NHKブックス)、ディヴィッド・ライアン『9・11以後の監視:〈監視社会〉と〈自由〉』(明石書店)、ノーム・チョムスキー『知識人の責任』(青弓社)など共訳多数。
目次
暴力とケアのデュアル・ユース
都築正明(IT批評編集部、以下――)前回は、冷戦終結から2001年のアメリカ同時多発テロ以降、世界のヘゲモニーの変化について伺いました。ジョージ・ブッシュが仕掛けたイラク戦争を次期大統領のバラク・オバマが終結させました。しかし、その後テクノロジーを駆使した不可視の暴力と監視が進んだように思います。2011年には9・11の首謀者であるアル・カイーダの指導者ウサーマ・ビン・ラーディン殺害直後の正視に耐えないような画像がインターネットで拡散しました。
清水知子氏(以下、清水)カナダの社会学者デイヴィッド・ライアンは、私が翻訳した『9・11以後の監視』(明石書店)という本で、その点を鋭く指摘しています。緊急事態とはいえ、法律や制度を一旦変えてしまうと元に戻ることはほとんどなく、そのまま恒常的に監視社会化へと移行してしまう。ライアンはその不可逆性を早くから警告していました。実際、9.11を契機に監視体制は一層拡大し、さらにテクノロジーの進歩によってプロファイリングが精緻化し、個々人の行動や嗜好まで把握されるようになっています。非常事態に対応するための暫定的な措置として始まったものが、テクノロジーの進展と結びつくことで常態化し、監視を基盤とする社会秩序そのものを再編していくことになりました。
デイヴィッド・ライアンとジグムント・バウマンの共著『私たちがすすんで監視し、監視される、この世界について』ではそれをリキッド・サーベイランス1として扱っていますね。この書籍のなかでは、ケアについても述べられています。デイヴィッド・ライアンは、監視側がケアの眼差しを持てば、それはよいことなのではないかというのですが、この場合のケアはパターナルで恣意的な余地を残します。
清水 そうですね。そこがライアンとバウマンとの意見が異なるところで、バウマンは、監視する側のテックエリートや国家がケアを強調することで、自らの行為の暴力性や不均衡を覆い隠し、疚しさや責任から免れる装置として機能しているのではないかと論じています。
私には、バウマンの主張すら甘い見方のように思えます。これはデュアル・ユースの問題で、ケアという美名のもとに監視ができてしまうと思っています。EUのAI法では人権とプライバシーを最大限に尊重する方向性で話が進みましたが、フランスやイタリアからテロの懸念から横槍が入り、最終的には安全保障と迷子探しには監視技術をつかってよいことになりました。後者は一見よい使い方のように思えるものの、迷子を探すのと同じ技術で不審者をあぶり出すことは十分に可能です。
清水 おっしゃるとおりだと思います。ケアと暴力が同じ制度的・構造的な枠組みのなかで共存してしまう。その倫理的矛盾や相互依存性について、いかに批判的に問い直すことができるのかがポイントだと感じています。実際、この構図は多層的に繰り返されています。健康管理はつねにバイオ・ポリティクスと結びつき、防犯目的の監視は市民の監視と選別、それに不審者の特定と不可分になっています。介護ロボットの導入もケアを標榜しながら、常時監視と統制の仕組みを制度化する危険をはらんでいますし、教育におけるAIの個別最適化も、学習成果の数値化や格付け、序列化を強化する回路と一体化しています。ケアや福祉、安心という名のもとに、対象者の自律性を剥奪する仕組みが制度的に内包されていることについて考える必要があると思います。さらに今日では、初期のライアンが警告したような監視への警戒心も希薄化しつつあります。むしろ「監視されているほうが安心だ」「自分は正しいから監視されても構わないし、監視が他者を排除して自分を守ってくれる」というロジックが広がり、ポスト・サーベイランス・ソサイエティの兆候がうかがえます。だからこそ、ケアを「行為」としてではなく、「関係性の構築」として再定義する必要があると思います。同じことはマクロな領域にも当てはまります。たとえば無人ドローンについて、「現代思想 2025年3月号 特集=統治vsアナーキー」(青土社)にも少し書かせていただきましたが、「無人」といっても、そこに人間の意思やアルゴリズムが介在している以上、けっして無人ではありません。“リスクなき戦争”といわれるときには、自国民の兵士を使わずにすむというナショナルな安全の枠内でしか語られず、善く生きるか、善く死ぬかという倫理的問いを奪い、むしろいかに効率的に殺すかという発想へと転換させています。そこには、ケアと監視、暴力と技術が錯綜する時代の倫理をめぐる根本的な危機が見出せるのではないでしょうか。
政治と戦争のありようそのものが変わってきていますね。もとアメリカ退役陸軍中佐の心理学者デイヴィッド・アレン・グロスマンという人が『戦争における「人殺し」の心理学』(安原和見訳/筑摩書房)という書籍で軍人の心理について書いています。第2次大戦を分析したところ、実践で敵に向けて射撃をした兵士はせいぜい15〜25%ぐらいに収まっていたそうです。人を殺すのが嫌なので、80%程度の兵士は銃口を人には向けていなかった。そこでベトナム戦争では、オペラント条件づけで敵の人型が立ち上がると撃つ射撃訓練をさせて殺人の心理的抵抗を軽減させたそうです。もちろん兵士自身はその後トラウマに苦しむわけですが。ドローンについていえば、同じ人間を殺めるという心理的抵抗は一層低減されてしまいます。
清水 ドローンだけが標的を決めているかのように語られることがありますが、実際には誰を殺すかという判断は人間の過去の記録や判断基準をデータセット化したものに依拠しています。アルゴリズムによる標的探索もまた、人間が構築した基準の反映でもあります。ですからドローンが無人だというのは欺瞞であり、実際には人間と機械と協働するハイブリッドな兵器として考えるべきではないかと思います。ビジネスで効率化の象徴とされてきたcobot(collaborative robot:協働ロボット)が戦争の現場で暴力の実行主体として転用されている、という事実は象徴的です。私が恐ろしく思うのは、暴力が不可視化されることで「私たちは安全でいられる」というロジックが容易に流通してしまうことです。実際、2010年にアフガニスタン・ウルズガン州で起きた事例では、女性と子どもは撃たないという設定がなされていたにもかかわらず、オペレーターがデータを読み違え、結果として23名の民間人が殺害されました。ここには、技術的制御への過信と、それを正当化する制度的ロジックの危うさが如実に表れています。哲学者グレゴワール・シャマユーは著書『ドローンの哲学―遠隔テクノロジーと〈無人化〉する戦争』(渡名喜庸哲訳/明石書店)のなかで、ドローンが稼働する紛争現場が“マン・ハント”を行う狩猟場と化していることを指摘しています。
先日の参院選では、保守を自称する政党党首が、ゲーマーをリクルーティングしてドローン軍をつくればよいという発言をしていました。そこには生産性が低いとされる人々を利用する視座が透けてみえて、嫌な気分になりました。
清水 その発言には「生産性が低い」というより、「有益だ」とされる人々を動員可能な資源として扱う発想が透けてみえますね。そこにはまた、人びとを「使い捨て可能な存在」とみなす視点もあるように思います。ドローン技術にも同じようなバイアスが組み込まれています。たとえば、ドローンが女性を非戦闘員として認識するのも、旧弊なジェンダー・バイアス図式に基づいており、誰を「使える存在」とみなし、誰を「守られるべき対象」とみなすかが恣意的に決められていますよね。結果的に、戦争の現場でも社会の現場でも、人間の生を序列化し、分配する権力のロジックが再生産されているように感じます。
桐原永叔(IT批評編集長、以下桐原)ケアと監視の二面性のロジックは、原子力爆弾についてもいわれますし、AIの進化についても同じことがいわれている気がします。原子力爆弾や生物兵器は戦争を早期に終息させて平和をもたらすと言われ、暴力を阻止するための暴力というロジックが用いられました。ドローンもまた暴力を阻止するための暴力であり、より安全だというロジックが成立することが問題だと思います。
清水 そうですね、むしろそれはロジックというよりレトリックなのかなとも思います。「安全」という言葉が何を意味するのか、そして誰にとっての安全なのかという問いを巧妙に糊塗してしまう。原子力爆弾や生物兵器と同じく、暴力を正当化するための言説として「安全」が利用され、結果的には特定の主体の安全だけを担保する一方で、他者の生を危険に晒す構造を隠してしまっているように思います。
桐原 テクノリリバタリアンたちのAIの進化を止めるべきでないという発想もまったく同じで、中途半端な進化よりも進化させきったほうが人々の幸福に適うという言い方もケアと監視の話とよく似ていると思います。
清水 構造的にまったく同じ図式が繰り返され、そのたびに多くの人々の命が奪われてきた歴史があると思います。原子力、監視技術、AIはどれも軍事と結びつき、そしてまた「より大きな進歩」や「より確かな安全」が謳われながら、その陰で排除や犠牲が生み出されてきた。その構造が更新されるたびに、テクノロジーは人間を守るものとしてではなく、むしろ選別し統制する装置として働いてきたところがあるように思います。
桐原 西洋的なロジックの枠内だけでテクノロジーが語られていることも、その一因のような気がします。たとえばユク・ホイのように、西洋の外側からロジックを壊すような発想もたらされない限り、人類は100年後も同じようなことを言いつづけて、このロジックの限界が平和の限界のままになるではないかと懸念します。
清水 そうですね。テクノロジーについては、ユク・ホイが指摘したように、西洋的ロジックに基づく単一の技術観に縛られるのではなく、技術を多元的な「コスモテクニクス」として再考する必要があると思います。つまり、人間と非人間を含めた複数的な関係性のなかにテクノロジーを位置づけ直し、別様の出会い直しを可能にすることですよね。そうでなければ、私たちは同じ構造を反復しつづけ、その限界を「平和の限界」として固定してしまう危険があるのかもしれません。
デモクラシーとケアの機能不全
AIに倫理を実装しようという声は多く聞かれますが、人の倫理については当然視されています。
清水 AIに倫理を実装するという議論において、その前提となる「人間の倫理」や「デモクラシーのあり方」そのものが十分に検討されていないのではないかとも思います。もともと近代以降のデモクラシーはナショナルな枠組のなかで構想されてきたところもあり、国境を超えたかたちでの民主的プロセスはあまり想定されていなかったように思います。その制約が今日の議論にも持ち越されており、結果としてAI倫理の議論もナショナルな民主主義観に依存したまま展開されてしまう恐れがある。だからこそ、デモクラシーとは何か、倫理とは何かをあらためて問い直す作業が必要だと思います。
国内だけでしか通用しない倫理というのは往々にして衝突を生みますものね。
清水 そうですね。またコンピュータ科学とフェミニズムが交差するところで、ホワイトケアという問題も指摘されています。アラン・チューリングは、1947年に書いた論文「計算機械と知能」で、生まれたばかりの子どものように、経験を通じて訓練するというアイデアを提示しました。人工知能も、子どもを育てるのと同じように教育とケアが重要だということです。しかし、その後の進化の方向を振り返ると、「誰がなぜケアするのか」というある種の権力関係が露わになっていきます。それがどのように進化したかというと、SiriやAlexaのようなスマートアシスタントの声は、すべて女性として設計されています。また、その先駆けとなったのがMITの計算機科学者ジョセフ・ワイゼンバウムが1966年に開発したELIZA(イライザ)で、初期のAIセラピストとして称賛されました。
ベトナム帰還兵の多くが精神的外傷を負っていた当時、臨床心理学やカウンセリング技法が確立されていなかったので、医師と同じことを話させたという初期のチャット・ボットですね。
清水 はい。感情労働やケア労働は女性が担うものだとされてきましたが、そうしたジェンダー化された分業はAIにおいても再生産されています。プリンストン大学でアフリカン・アメリカン研究やSTS(Science, Technology and Society:科学技術社会論)を研究しているルハ・ベンジャミンは、AIアシスタントが白人の中産階級のネイティブ英語話者の女性像を前提に設計されていると指摘しています。SiriやAlexaの声もそれを象徴しているように思います。けれども、現実には、グローバル市場のなかで家事やケア労働を担っているのは、身体を伴って移動してきたグローバルサウス出身の移民女性たちでもあります。かつてない規模で彼女たちが労働力として動員されている一方で、デジタル・デバイスから聞こえてくるのは洗練された白人の女性たちの声であるという現実には、矛盾と不可視化があるように思います。この構図は、AIのデータ・ラベリングやコンテンツ・モデレーションを担うゴーストワーカーにも重なります。膨大な肉体労働は不可視化されたまま外部化され、可視化される部分にはホワイトでクリーンなイメージが残される。AIとケアをめぐる領域では、人種・ジェンダー・労働の偏りと隠蔽が重層的に再生産されているように感じます。
ELIZAという名称はミュージカル「マイ・フェア・レディ」のヒロインに因んで名づけられたそうです。ミュージカルはハッピーエンドで終幕しますが、元ネタとなったバーナード・ショーの『ピグマリオン』は、イライザを大人の女性として育て上げるうちに恋した言語学者ヒギンズは、自立したイライザに去られてしまいます。また中年男がAIに恋をするスパイク・リー監督の映画「her」では、典型的なブロンド美人女優であるスカーレット・ヨハンソンがAIの声を演じています。この映画でも、アップデートしたAIが主人公の前から去っていくのですけれど。
桐原 日本であの映画をつくるのなら声優のアニメ声、いわゆる「萌え声」にしたほうがよいという冗談もありました。
清水 「マイ・フェア・レディ」は、下町訛りの花売り娘が白人の男性の言語学者によってレディに変貌する物語ですが、人間とテクノロジーをめぐっても同じような構造が反復されているように見受けられます。
ディズニー映画のみせる人間と自然の甘美なファンタジー
AIという新しいアクターを経由することで、権力構造が浮かび上がることもありますね。
清水 AIとの付き合い方には、一方にはチューリングのいうように育てたりケアしたりということもありますが、他方でAIと共にあるという考え方も欠かせないと思います。AIと向き合うことで私たち人間も変わっていきますし、AI自体もAIカニバリズム2と呼ばれるように、AIと人間は対立的に分かれて存在するのではなく、相互に絡み合いながら共存しているのだと思います。
そこは、先生の研究されている動物との関係性とも重なってくるのでしょうか。
清水 そうですね。2021年に上梓した『ディズニーと動物』では、人間と動物、そしてテクノロジーをめぐる力学について考察しました。アニメーションは物質と生命の関係性を考えるうえで興味深いメディアですが、ディズニーはアニメーションにとどまらず、最新のテクノロジーを駆使してさまざまな実験を試みています。たとえば、1948年から始まった自然記録映画シリーズでは、自然を驚異と冒険の対象として映し出し、「ネイチャー・フィルム」という領域を確立しました。さらに1964年のニューヨーク万博では、オーディオ・アニマトロニクスによるリンカーン大統領の演説が披露され、「生命の創造」をめぐるファンタジー装置として観客を魅了しました。ディズニー映画をジェンダーの視点から見ると、そこにも人間と自然の関係性をめぐる興味深い構造が浮かび上がってきます。『白雪姫』では、女性は「姫」と「魔女」に二分され、善を体現する白雪姫だけが動物たちと心を通わせることができます。とはいえ、その関係は決して対等ではなく、白雪姫は人間として動物たちより上位に置かれたまま動物たちと親和的な関係を築いていますよね。この構図は、近代において自然を搾取し文明化を進めながらも、その自然と「和解したい」と願う人間の欲望をセンチメンタルに物語化したものだと思います。人間は善悪の二項対立の論理に依拠しつつ、一度は客体化した自然を、今度は「友」として呼び戻そうとする。その欲望を叶える幻想装置としてディズニー映画は機能してきました。こうした「自然との和解のファンタジー」こそが、ディズニーがポピュラーメディアとして広く受容された理由のひとつだったのだと思います。
啓蒙思想で「知は力なり」として支配しようとした自然と当然のように和解できてしまう。
清水 ディズニーが1957年に制作した『わが友アトム(Our Friend the Atom)』は、その象徴的な事例だと思います。これはテレビ番組「ディズニーランド」シリーズのなかの「トゥモローランド」の企画の一環として放映され、同名の書籍とも連動しながら、原子力を未来の贈り物として広く普及させようとする啓発番組でした。番組のなかでドイツ出身の物理学者ハインツ・ハーバーが『アラジンと魔法のランプ』を下敷きにした『漁師とジーニー』の寓話をアニメーションを交えて語っています。漁師が瓶の栓を開けると恐ろしい魔神(ジーニー)が現れるものの、やがて人間によって「友」として飼いならされる。そこには、自然や未知の力を人間の理性と技術によって制御可能な対象へと変えていくという近代的なロジックが刻印されています。この「人間=主人/自然=魔神」という寓話的構図は、自然への一方的な優位を正当化するファンタジーの形式をとりながら、人間の暴力的な介入をあたかも無垢で希望に満ちたものとして語り直してしまうかのようです。自然界における人間はそこまで無垢な存在ではありません。としたら、こうした幻想から抜け出して、自然や技術と人間の関係をもう一度見つめなおす必要があるのではないかと思います。AIという未知の存在との関係も、こうした視点から再考できるのではないでしょうか。
人間とAIとの関係はトランス・ヒューマンか伴侶種か
前回、人とAIとの関係における教育とケアの話題になりました。ダナ・ハラウェイは『伴侶種宣言』(永野文香訳/以文社)で、ケアは相互的な関係に自らを曝すことから生じることを記しています。人とAIとの関係においては、ディズニー映画のような人間中心の視点でなく、伴侶種3のように仲良くできないかとも思います。
清水 ハラウェイは、人間だけが他の種との関係から独立しているかのように振る舞う幻想を「人間例外主義」と呼んで批判しました。人間例外主義は自然やテクノロジーを人間の目的に従属させる、ディズニー的な人間中心主義と地続きの側面があると思います。それはまた、既存の人間中心的な価値観を拡張し強化しようとするトランスヒューマニズムの発想にもつながっているように思います。それに対してハラウェイの「伴侶種」の視点は、関係性そのものから世界が編み上げられていくことを重視します。発達心理学者キャロル・ギリガンは、普遍的原則や自立した責任ある個人を前提にした“正義の倫理”に対し、“ケアの倫理”を唱えました。他者との具体的な関わりのなかで、他者からの呼びかけに自分がどう応じるのかを問い続けながらもっとも望ましい解決を模索する実践です。“ケアの倫理”は、伴侶種をめぐる思考とも響きあうところがあるように思います。関係のなかで互いの存在を調整し合い、脆さや依存を受け入れながら共に世界を築いていく姿勢です。AIとの関係もまた、この伴侶種という視点から考えることは可能だと思います。つまり、人間の能力を増幅・強化する道具ではなく、脆さや欠落を抱えた存在として認め合い、そうした関係性のなかで、その都度のケアや美学を編み直していく。テクノロジーの未来がどうなるかを予測するより、私たち自身がどのような存在のあり方を望み、いかなる関係を築いていきたいのかを問うことが重要ではないでしょうか。
トランスヒューマニズムは、誰の身体や知能が拡張されるかというところで、排除の問題を常に包含します。また虚構の人間を目的関数として、そこに最適化するという方向では、生身の人を扱うこととの齟齬が生じそうです。
清水 そうですね。既存の正しさを追求するよりも、揺らぎや対話、ヴァルネラビリティ(vulnerability:可傷性)を前提にして考えていきたいです。
清水 知子 (著)
月曜社
清水 知子 (著)
筑摩書房
スラヴォイ・ジジェク (著)
清水 知子 (翻訳)
河出書房新社
ジュディス・バトラー (著)
佐藤嘉幸, 清水知子 (翻訳)
青土社
ジュディス・バトラー (著)
佐藤嘉幸, 清水知子 (翻訳)
青土社
ジュディス・バトラー (著)
佐藤嘉幸, 清水知子 (翻訳)
月曜社
権力の心的な生: 主体化=服従化に関する諸理論 (暴力論叢書 6)
ジュディス・バトラー (著)
佐藤嘉幸, 清水知子 (翻訳)
月曜社
アントニオ・ネグリ, マイケル・ハート (著)
水嶋 一憲, 清水 知子 (翻訳)
NHK出版
ディヴィッド・ライアン, 田島 泰彦, 清水 知子 (著)
明石書店
ノーム チョムスキー (著)
清水 知子, 野々村 文宏, 浅見 克彦 (翻訳)
青弓社









