AIエンジニアに聞くコロナ禍でのマスク顔認証の進化
ーー（株）トリプルアイズ 片渕博哉インタビュー
REPORT
2021.04.07
聞き手
IT批評編集部
コロナウィルスの流行は、顔認証技術の世界にも大きな影響を及ぼしました。マスクの存在です。
マスクは新型コロナウィルス感染症（COVID-19）などの飛沫感染する病気の防止に効果的ですが、人々がマスクを装着することにより、従来の顔認証技術では人物の認証率を低下させることになりました。
本記事では、株式会社トリプルアイズに所属するAIエンジニアに、2020年のコロナウィルス流行以降のマスク装着をめぐる顔認証技術の動向と自身が取り組んできた顔認証技術の精度向上についてインタビューしました。
目次
1 技術者にショックを与えた米国立標準技術研究所（NIST）の報告
2 日本の大手企業のマスク顔認証への取り組み
3 マスク認証改良を阻むハードルとは？
4 先行するAIモデルが不在で試行錯誤を強いられる
5 今後はウォークスルーでの認証精度アップが課題に
 |
片渕博哉（かたぶち・ひろや）株式会社トリプルアイズAIZE事業戦略本部所属 画像認識プラットフォーム・AIZEのメインエンジニア。2016年、トリプルアイズ入社。同年、AIの研究開発から学習アーキテクトの構築をメインに、多種多様の企業案件やAIを使用した音楽配信レコメンドサービスの開発に従事。2017年には、クラウドIoTモータ管理システムを用いた大学との共同研究開発において、実証実験の仕様決定やインフラ設計、アプリケーション開発を担当。直近では、AI技術者教育サービス「CSEA」のリーダーとして、カリキュラムや教材の作成に従事するかたわら、囲碁AIソフト開発マネージャーや他社への講演活動も積極的に行っている。 |
片渕博哉が講師を務めるAIスクール「CSEA」
片渕博哉がメインエンジニアを務める「画像認識プラットフォーム・AIZE」
1 技術者にショックを与えた米国立標準技術研究所（NIST）の報告
――コロナウイルスの影響は顔認証業界にも大きな影響を与えたようですね
片渕：顔認識アルゴリズムは、人物の画像から多くの顔特徴ポイントを取り込む必要がありますが、マスクをかけることで人物の特定に必要な情報の多くが見えなくなってしまいます。もともと顔認証は光の加減や角度によって認識がうまくいかない側面があり、マスク着用はその精度をさらに下げることになりました。ただし、顔認証AIのプログラミングは各社独自のものであり、認証精度についても自社調べという形でしか発表されないので、マスク着用でどの程度精度が落ちているのかは、なかなか把握できませんでした。
――2020年7月に米国立標準技術研究所（NIST）のレポートが出ました
片渕：はい。「マスクは非常に高度な顔認識アルゴリズムの人物特定さえも阻止する。アルゴリズムの性能によってエラー率は5%～50％に上る」と発表しました。NISTでは、マスクをした画像を使って89の顔認識アルゴリズムの効果をテストしています。このテストは、「1対1」での照合能力を調べるために、ある人物の画像をその人物がマスクをした別の画像と比較する形で行われました。
この調査では、マスクで鼻を多く隠すほどアルゴリズムの識別率が低下することも判明しました。また、黒いマスクのほうが、水色のマスクよりもアルゴリズムのエラーを引き起こしやすいとの結果が出ています。
参考：https://nvlpubs.nist.gov/nistpubs/ir/2020/NIST.IR.8311.pdf
この発表で、みんな薄々気がついていたことが公になった感があり、私も含めてですが、AI技術者はマスクを着用しても精度の高い認証方法をいち早く編み出そうと拍車がかかったと思います。
――一方で感染症の拡大で非接触自動検温機が普及しました。ただ検温するだけならともかく、本人認証するとなるとマスク着用での顔認証精度の向上が急務になりました
片渕：自動検温機いわゆるタブレット型のサーモは、顔認証に関して言えば、有利な面があります。対象者は自ら進んで顔をカメラの正面に向けて枠の中に収めてくれるので、他の防犯カメラ型に比べれば画像が鮮明でAIの認証精度は確実に上がります。マスクなしなら認証精度は99%以上になります。ところが、検温時にマスクを外すのは煩わしいという意見もありますし、マスク着用を促す音声機能が自動検温機にはついているので、検温時にはマスクを外してくださいとは言いにくくなりました。やはりマスクを着用していても、非着用時と同じぐらいまで認証精度を上げないと、「顔認証は使えない」と言われかねません。
――iPhoneのFace IDがマスク認証を諦めたことからも、マスク着用での顔認証は相当ハードルが高いことがうかがえます
片渕：一般の人々に顔認証技術に接する機会を与えたという点では、iPhoneには功績があります。導入当初は、認識スピードが速いとうことで肯定的なコメントが多かったFace IDですが、コロナウィルスの流行でその論調は一変しました。基本的にFace IDではマスクをしていると認証ができないからです。サングラスなら問題なく認証できるのに、コロナ禍でマスクを外して認証しなければならないのは不便と言えるでしょう。2021年５月頃にアップデート予定のiOS 13.5では、マスクを取らなくてもiPhoneをロック解除できる機能が搭載されるということです。これは、Face IDがマスクを認識した場合、ホーム画面を上にスワイプするだけでFace IDをスキップし、パスコード入力する画面に切り替わるというものです。早い話、Face IDはマスクを認識したら顔認証は諦めるということのようです。
――NISTの報告から半年後の2021年の年明け早々、アメリカ国土安全保障省（DHS）科学技術局（S&T）は、最新の顔認証技術では、マスクをした飛行機の搭乗客の顔をほぼ正確に識別できると発表しました
片渕：DHS傘下の試験所で開催された2020年度生体認証技術大会（Biometric Technology Rally）で、さまざまなカメラやアルゴリズムを組み合わせた60の顔認証システムがテストされました。最高の成績を修めた認証システムは、マスクありで96％、マスクをなしではほぼ100%の認証率だったそうです。ただし中央値で見ると、マスクありの場合が77％で、マスクなしの場合が93％ですから、マスク着用時の認証精度に、優秀なものとそうでないものの差が広がったことがわかります。
いずれにしても、マスク認証は喫緊の課題として世界中のエンジニアが取り組み、成果を出しつつあることがうかがえました。
2 日本の大手企業のマスク顔認証への取り組み
――日本企業の取り組みはどうだったんでしょうか
片渕：顔認証に取り組んでいる大手企業は、2020年の秋頃からマスク認証のリリースを出すようになりました。NECさんは2020年9月24日、マスクを着けている人を高精度で認証する新しい顔認証エンジンを開発したと発表しました。人の目の周りから特徴点を抽出し、元データと照合して本人確認を行う仕組みです。NECの社内評価では、1対1認証（個人の生体情報を呼び出した上で、本人と比較する方式）での認証率が99.9％以上ということです。従来のエンジンは目・鼻・口から特徴点を抽出していましたが、新しいエンジンは、目に重点を置いて特徴点を抽出する仕組みにして、認証の精度を高めています。マスクに色や柄があっても問題ないということです。
マスク着用の有無に応じて分析アルゴリズムを切り替える機能を持ち、具体的には、カメラが人の顔を検出すると、まずマスク着用の有無を判定し、マスクを着けている場合は目の周り、そうでない場合は鼻や口などから特徴点を抽出するという仕組みです。
参考：https://jpn.nec.com/press/202009/20200924_01.html
また、富士通研究所さんは2021年1月21日、マルチ生体認証において、マスクを着用していても、マスク着用なしと同等レベルの99%以上の高精度で本人特定が可能な認証技術を開発したと発表しました。こちらは、マスク着用の影響を低減するために、マスク非着用の顔画像にマスクを付加した画像を生成し学習させることで、マスク着用時でもマスク非着用時と同等レベルの精度で絞り込みが可能となり、同一人物として認識することができるそうです。
▷参考：https://pr.fujitsu.com/jp/news/2021/01/21.html
一方、パナソニックさんが発表したのは顔認証の中でも属性推定と呼ばれる技術です。2020年10月16日、マスクを装着したままでも来店客の性別と年齢を推定できる機能を開発したと発表しました。
▷参考：https://news.panasonic.com/jp/press/data/2020/11/jn201104-3/jn201104-3.html
3 マスク認証改良を阻むハードルとは？
――そうしたニュースを横目で見ながら片渕さんは自社AIの改良をしていたわけですが
片渕：問題が多岐にわたっていたので、最初に想定していたよりも時間がかかりました。ひと口に顔認証と言いますが、そこにはいくつかのフローがあります（下図参照）。
認知した画像からそこに写っているものが「顔」なのかどうかを判断することを「顔検出」といいます。そして検出した顔からAIが顔の特徴を抽出してデータベースと照合することによって「顔認証」が行われます。
検出した顔がデータベースに登録している顔画像のどれと一致するのか判定するわけです。また、それとは別にAIに「属性を推定」させることも可能です。検出された顔が男性なのか女性なのか、何歳ぐらいなのか、笑っているのか怒っているのかなどを推定します。
――ほとんどの人がマスクを着用する社会が出現して、「顔検出」「顔認証」「属性推定」全ての面でAIは劣勢を強いられることになったわけですね
片渕：まず、従来のアルゴリズムでは、マスクをつけていると、この時点で「顔」であると認識することが難しかったのです。つまりスタート地点の顔検出で間違いをたくさん犯すようになりました。ただしこれはそれほど難しい問題ではありませんでした。マスクをつけている人の画像をAIに「顔である」とたくさん学習させることで解決したからです。現在は、当社も含めてほとんどのAIはマスク着用でもきちんと「顔検出」できていると思います。次に、顔画像から本人を特定する「顔認証」の問題に移りました。検出した顔から特徴を抽出してデータベースと照合します。マスクをつけるということは、露出している顔の半分以上を隠すわけです。鼻や口元が隠れてしまうので認証の難易度が上がることは容易に想像できるでしょう。ここでの認証の問題は二つに分けられます。「マスクなし画像⇄マスクあり画像」と「マスクあり画像⇄マスクあり画像」です。データベースに登録している顔画像が最初からマスクありであれば、マスク自体も顔の特徴と捉えることによって認証は可能です。難しいのは「マスクなし画像−マスクあり画像」です。同一人物であってもマスクを着用することで、AIが別人であると認識してしまう確率が大幅に高まったために早急に改善する必要がありました。
――NECの記事では、目に重点を置いて特徴点を抽出する新しいエンジンでは、1対1認証（個人の生体情報を呼び出した上で、本人と比較する方式）での認証率が99.9％以上ということでしたが
片渕：顔認証の認証方法は二つに分けて考えなければなりません。「１対１照合」と「１対N照合」です。「１対１照合（Verification）」とは、任意の画像と画像を比較して同一人物かどうかを判断するものです。それに対して「１対N照合（Identification）」とは、一つの画像が他のたくさんの画像の中のどれと同一人物かを判断するものです（下図参照）。
空港でのパスポートとの照合やコンサート会場での本人確認は「１対１照合」、勤怠認証や顔決済など複数の登録データから本人を特定するのは「１対N照合」になります。例えば、マスクをしていても、家族や友人、知人など見知った人なら見分けがつきますよね。「１対１照合」はこれに似ています。でも、まったく知らない人のマスクをかけた写真を見せられて、これと同じ人をたくさんの写真の中から選びなさいと言われたら、どうでしょう？ 相当困難なはずです。私は自信がありません。それが「１対N照合」です。
4 先行するAIモデルが不在で試行錯誤を強いられる
――「１対N照合」の方が難しいのですね。でも勤怠認証に使えるようにするにはこのハードルを超えなければなりません
片渕：私たちが開発してきたAIZEでは、従来、マスクなしの正面画像であれば「１対N照合」でも99%以上の精度で認証が可能でした。実際、ヤマダ電機様で使用されている顔決済のアプリ「ヤマダPay」では顔認証の機能をAIZEが受け持っているのですが、開始から1年を通して、誤って他者の顔で決済をしてしまったケースは一度もありません。マスクをした状態で「１対N照合」において、いかに認証精度を上げるかというのが、この1年の私の課題となりました。
――どんな手法を用いたのでしょうか？
片渕：私たちが取った手法は、任意の顔画像に合成して作ったマスク画像を着用させてAIに学習させるというものです。マスクも今は様々なバリエーションがあるので、色と形状のパターンを複数学習させて精度の向上を図りました。この精度向上のために半年間を費やしました。一番大変だったのが、情報がないことです。マスク認証についてはお手本になるAIモデルがないので、一から自分たちでアイデアを出し、学習アプローチ以外にも、検索アプローチ、データでのアプローチなど様々な角度から、試行錯誤しながら進めてきたという経緯があります。
5 今後はウォークスルーでの認証精度アップが課題に
――半年間を経てようやくマスク着用バージョンをローンチしたわけですが、かなり精度が向上したそうですね
片渕：現在では（2021年4月時点）、半年前に比較すると以下のようにマスク認証の精度を向上させることができました。
正面から顔を捉える場合は、上記の精度となりますが、ウォークスルー（防犯カメラタイプ）については設置環境にもよりますが、80％程度となります。理由としては、暗かったり下を向いていたりして顔をうまく捉えられないケースが多いためです。つまりどんなにAI側の精度を上げても、カメラ環境（撮影環境）に左右される問題は残り続けますので、そこは課題として取り組んでいきたいと思います。勤怠認証や顔決済など、認証精度が求められるケースでは、正面での顔認証となりますので、今回の精度向上で、運用への適用が可能なところまで来たと考えています。（談）
片渕博哉がメインエンジニアを務める「画像認識プラットフォーム・AIZE」については
