（株）トリプルアイズ 片渕博哉インタビュー
AIエンジニアに聞くコロナ禍でのマスク顔認証の進化

マスク認証改良を阻むハードルとは？

――そうしたニュースを横目で見ながら片渕さんは自社AIの改良をしていたわけですが

片渕：問題が多岐にわたっていたので、最初に想定していたよりも時間がかかりました。ひと口に顔認証と言いますが、そこにはいくつかのフローがあります（下図参照）。

認知した画像からそこに写っているものが「顔」なのかどうかを判断することを「顔検出」といいます。そして検出した顔からAIが顔の特徴を抽出してデータベースと照合することによって「顔認証」が行われます。

検出した顔がデータベースに登録している顔画像のどれと一致するのか判定するわけです。また、それとは別にAIに「属性を推定」させることも可能です。検出された顔が男性なのか女性なのか、何歳ぐらいなのか、笑っているのか怒っているのかなどを推定します。

――ほとんどの人がマスクを着用する社会が出現して、「顔検出」「顔認証」「属性推定」全ての面でAIは劣勢を強いられることになったわけですね

片渕：まず、従来のアルゴリズムでは、マスクをつけていると、この時点で「顔」であると認識することが難しかったのです。つまりスタート地点の顔検出で間違いをたくさん犯すようになりました。ただしこれはそれほど難しい問題ではありませんでした。マスクをつけている人の画像をAIに「顔である」とたくさん学習させることで解決したからです。現在は、当社も含めてほとんどのAIはマスク着用でもきちんと「顔検出」できていると思います。次に、顔画像から本人を特定する「顔認証」の問題に移りました。検出した顔から特徴を抽出してデータベースと照合します。マスクをつけるということは、露出している顔の半分以上を隠すわけです。鼻や口元が隠れてしまうので認証の難易度が上がることは容易に想像できるでしょう。ここでの認証の問題は二つに分けられます。「マスクなし画像⇄マスクあり画像」と「マスクあり画像⇄マスクあり画像」です。データベースに登録している顔画像が最初からマスクありであれば、マスク自体も顔の特徴と捉えることによって認証は可能です。難しいのは「マスクなし画像−マスクあり画像」です。同一人物であってもマスクを着用することで、AIが別人であると認識してしまう確率が大幅に高まったために早急に改善する必要がありました。

――NECの記事では、目に重点を置いて特徴点を抽出する新しいエンジンでは、1対1認証（個人の生体情報を呼び出した上で、本人と比較する方式）での認証率が99.9％以上ということでしたが

片渕：顔認証の認証方法は二つに分けて考えなければなりません。「１対１照合」と「１対N照合」です。「１対１照合（Verification）」とは、任意の画像と画像を比較して同一人物かどうかを判断するものです。それに対して「１対N照合（Identification）」とは、一つの画像が他のたくさんの画像の中のどれと同一人物かを判断するものです（下図参照）。

空港でのパスポートとの照合やコンサート会場での本人確認は「１対１照合」、勤怠認証や顔決済など複数の登録データから本人を特定するのは「１対N照合」になります。例えば、マスクをしていても、家族や友人、知人など見知った人なら見分けがつきますよね。「１対１照合」はこれに似ています。でも、まったく知らない人のマスクをかけた写真を見せられて、これと同じ人をたくさんの写真の中から選びなさいと言われたら、どうでしょう？　相当困難なはずです。私は自信がありません。それが「１対N照合」です。

先行するAIモデルが不在で試行錯誤を強いられる

――「１対N照合」の方が難しいのですね。でも勤怠認証に使えるようにするにはこのハードルを超えなければなりません

片渕：私たちが開発してきたAIZEでは、従来、マスクなしの正面画像であれば「１対N照合」でも99%以上の精度で認証が可能でした。実際、ヤマダ電機様で使用されている顔決済のアプリ「ヤマダPay」では顔認証の機能をAIZEが受け持っているのですが、開始から1年を通して、誤って他者の顔で決済をしてしまったケースは一度もありません。マスクをした状態で「１対N照合」において、いかに認証精度を上げるかというのが、この1年の私の課題となりました。

――どんな手法を用いたのでしょうか？

片渕：私たちが取った手法は、任意の顔画像に合成して作ったマスク画像を着用させてAIに学習させるというものです。マスクも今は様々なバリエーションがあるので、色と形状のパターンを複数学習させて精度の向上を図りました。この精度向上のために半年間を費やしました。一番大変だったのが、情報がないことです。マスク認証についてはお手本になるAIモデルがないので、一から自分たちでアイデアを出し、学習アプローチ以外にも、検索アプローチ、データでのアプローチなど様々な角度から、試行錯誤しながら進めてきたという経緯があります。

今後はウォークスルーでの認証精度アップが課題に

――半年間を経てようやくマスク着用バージョンをローンチしたわけですが、かなり精度が向上したそうですね

片渕：現在では（2021年4月時点）、半年前に比較すると以下のようにマスク認証の精度を向上させることができました。

正面から顔を捉える場合は、上記の精度となりますが、ウォークスルー（防犯カメラタイプ）については設置環境にもよりますが、80％程度となります。理由としては、暗かったり下を向いていたりして顔をうまく捉えられないケースが多いためです。つまりどんなにAI側の精度を上げても、カメラ環境（撮影環境）に左右される問題は残り続けますので、そこは課題として取り組んでいきたいと思います。勤怠認証や顔決済など、認証精度が求められるケースでは、正面での顔認証となりますので、今回の精度向上で、運用への適用が可能なところまで来たと考えています。（談）