情報通信技術の発展によって,顔認証システムは広がりを見せており,その信頼性と利便性が評価されている.マンションやオフィスのエントランス,アミューズメント施設,空港の入境ゲートなど様々な場面で顔認証システムが活用されている[1], [2].
筆者らは賃貸マンションの開発を手がけており,その経験から,マンションに顔認証システムを導入することで,より利便性が高く安全な住居環境を提供できると考えている[3].マンションへ顔認証システムが導入されることにより,入居者は鍵の代わりに顔認証を用いて入退館,宅配物の受け取り,エレベーターの操作,個々の住戸へのアクセスなどの操作ができる.開錠・施錠のたびに鍵を取り出す必要もなく,物理的な鍵の管理からも解放される.また,顔認証システムの特徴として,紛失の心配がないことや入力された顔画像が履歴として残るため仮に不正利用があった場合でも利用者が容易に特定できることから,悪用の危険性を極力排除できるといった利点も上げられる[1].
しかし,マンションの玄関ドアに顔認証デバイスを設置する際には,マンションの構造上の特徴を考慮することが不可欠である.マンションは,建物の向きや開口部の形状がそれぞれ異なる.顔認証デバイスに対する自然光への露出が設置場所により異なるため,結果として顔認証システムの認証精度に著しい影響を与える可能性がある.顔認証に関する既存研究では,屋外のコンサート会場等に顔認証システムを導入し,テントを用いて自然光を遮蔽することで影響を軽減する方法が取られていた[4].しかし,マンションの場合は,自然光を遮蔽する設備を新たに導入することはスペースの観点からも難しい.したがって,マンション顔認証システムを実用可能な精度で実装するには,自然光の影響を考慮した顔認証システムの開発が必要である.
本稿では,自然光の影響を受けるマンション環境において,顔認証システムにかかわる以下の4つのプラクティスを行った.1つ目は,マンションの顔認証システムを開発・導入したことである.本システムは専用スマホアプリ,顔認証デバイス,管理者向けWebアプリケーションを含む.2つ目は,自然光によって顔認証システムの認証精度が低下するというシステムの信頼性にかかわる重要な課題を実証実験を通じて明らかにしたことである.3つ目は,Neutral Density(ND)フィルタを用いた認証精度改善手法を示したことである.最後は,本システム導入後のマンションでのアンケート調査および運用状況の分析を通じて,本システムの実用性を確認したことである.NDフィルタを用いた認証精度改善手法の特徴は以下である.
–NDフィルタはカメラレンズに直接取り付けられるため,テント設置のように追加スペースを必要としない
–NDフィルタはテントのような設置工事を必要とせず,カメラレンズに貼り付けるだけで完了する
–NDフィルタには屋外環境に適した耐候性素材で作られた市販品がある
これらの特徴により,本研究によって得られた知見は,顔認証デバイスの精度改善において実用的な解決策を提供する.また,マンション以外の自然光の影響を受ける環境下において顔認証システムを開発・運用する際にも有用である.
以下に,本稿の構成を示す.まず,2章ではマンション向け顔認証システムの導入を検討した背景および実装するシステムの構成について述べる.次に3章では,実装後に確認された認証精度の問題およびNDフィルタを用いた対策について詳細に説明する.4章では,実験環境および屋外においてNDフィルタを用いた顔認証デバイスが多様な光環境でも認証可能であるかを検証し,その結果を報告する.5章では実際に顔認証システムを賃貸マンションに導入し,アンケート調査等の結果から,実用観点における顔認証システムの有用性について評価した.最後に6章では,今後の課題と展望について述べる.
本章では,マンションへの顔認証システム導入の背景について説明する.一般的に住宅の入室には物理的な鍵が必要であり,常に鍵を管理しておかなければならない.入居者は,常時鍵の携帯が必要であり,紛失のトラブルや盗難のリスクが常につきまとう.顔認証システムの導入によって,鍵の携帯が不要になり,紛失や盗難のリスクを回避できる.それだけでなく,物理的な接触を必要としないため,感染症対策にも有効であり,不正利用者の特定が容易であることからセキュリティの向上も期待できる.
管理会社にとっても,入居者による鍵の紛失に備えるため,マスターキーの管理業務が必要になる.また,入居者の退去時には鍵交換が必要になるため,その都度,時間と人員,そして費用が発生している.筆者らは,顔認証システムを用いてこれらの課題を解決するため賃貸マンションへ「顔認証システム」を導入することとした[5].
図1にマンション向け顔認証システムの概要を示す.ユーザはスマートフォンアプリを通じて顔認証情報と属性情報(部屋番号等)を登録する.これらの個人情報は,AES(Advanced Encryption Standard)に準拠した暗号化プロトコルによって処理される.また,情報の送受信にはHTTPSなどのセキュアな通信プロトコルが用いられている.顔情報を登録したユーザはマンションの入館,宅配物の受け取り,エレベーターの操作,個々の住戸へのアクセスといった一連の動作を物理的な鍵を必要とせず,顔認証だけで完結させることができる.
筆者らが開発した顔認証システムでは,マンションの入居者に対し顔画像を利用した認証および認可サービスを提供する.また,その他機能として,ユーザと賃貸管理者用の認証ログ参照機能,賃貸管理者向けの機能を提供する.
本システムはクライアントサーバシステムとして,Amazon Web Services(AWS)のクラウド環境上に構築した.全体構成について図2に示す.
ユーザ側のクライアントとして,本顔認証サービス専用のスマホアプリ,顔認証デバイスを用意した.スマホアプリでは,顔画像の登録や自身の認証ログの参照を行うことができる.顔認証デバイスはZKTeco社のProFace X [6]を採用した.デバイスを住戸の玄関前に設置した様子を図3に示す.
賃貸管理者側のクライアントとしてWebアプリケーションを構築した.Webアプリケーションでは入居者の招待や入居者情報の管理,認証ログの参照,一時的な入退室権限を内見担当者等に付与するOneTime機能がある.導入したWebアプリケーション画面キャプチャを図4に示す.サーバの構成要素および機能の概要は,表1にまとめている.
本節では,顔認証システムへの登録と認証時のフローについて説明する.ユーザはスマホアプリを用いて顔画像を登録し,次に管理者から招待メールを受け取りマンションへの利用者登録をすることで顔認証システムを利用できる.各処理フローは,図2の矢印にて示す.スマホアプリでの顔登録は青い矢印,マンションの利用者登録は緑の矢印,認証ログの参照機能は橙の矢印でそれぞれ表している.
ユーザはスマホアプリを用いてユーザ情報の入力と顔画像の撮影をする(図2青(1)).撮影した顔写真は,アプリに搭載されたReactNativeCameraのFaceDetectorモジュールによって顔の検出と簡易的なチェックが実行される[7].このチェックでエラーがなければ,顔画像はサーバへと送信される.
表1にサーバサイドの構成要素を示す.まずAmazon Rekognitionの機能を用いた顔画像のバリデーションが実行される.バリデーションの観点は以下のとおりである.
有効な顔画像と判定されれば顔画像は,ストレージへと格納される(図2青(2)).このストレージは,外部からのアクセスを禁止しており,またセキュリティ要件に応じた保存期間が定められている.保存された顔画像は,ユーザ管理データストア内に格納されているユーザ情報と紐づけられる.以上の手順で登録が完了する.
賃貸管理者は,Webアプリケーションの「入居者招待」画面から新規の入居者を招待する(図2緑(1)).ユーザの氏名,メールアドレス,部屋番号などの情報を画面に入力し,「招待」ボタンを押下すると,入力したユーザのメールアドレス宛に招待メールが自動送信される.バックオフィスDBとユーザ管理DBは,イベント駆動型のバッチ処理によって同期されている.変更があった場合も相互に反映することができる.
ユーザは自動送信された招待メールに記載された招待コードを用いて,アプリで登録申請する(図2緑(2)).賃貸管理者はユーザの登録申請を受け取った後,Webアプリケーションから申請内容を確認し承認することができる(図2緑(3)).登録申請を承認した場合,ストレージに登録されているユーザの顔画像情報はユーザが利用する顔認証デバイスへと送信される.
顔認証デバイスにて,受け取った顔画像の情報から特徴量を抽出し,それをデバイス内に保存する処理が実行される(図2緑(4)).この処理が正常に完了すると,受け取った顔画像はデバイス上から破棄される.
スマホアプリでの顔登録,マンションの利用者登録がすべて正常に完了すると,顔情報が顔認証デバイスに新規登録され,ユーザは認証が可能となる.ユーザが自身の情報が登録された顔認証デバイスに顔をかざすと,カメラは映された顔から特徴量情報を抽出し,それをデバイス内に登録済みの特徴量情報と比較することで認証可否を判定する.
マンションへの顔認証システム導入では,日々の時間帯や天候,建物の構造の変化により光の照射条件が大きく変動することを考慮する必要がある.顔認証デバイスであるProface Xの照度限界は,50,000 Lux [6]であることから,高照度環境下で認証機能が機能しなくなることが懸念された.実際,2021年8月某日の晴天時に照度を計測したところ,晴天昼太陽光下等では照度が128,000 Luxに到達し,Proface Xの照度限界を大幅に上回っていることを確認した.計測結果は表2に示したとおりである.照度の検証には,デジタル照度計を利用している.
後日,顔認証システムを工事中の屋外環境に位置するマンションのエントランスエリア,ゴミ置き場,および建物の下層階から上層階に至る各玄関ドア部分に臨時に設置し,実地検証を行った.その結果,特に晴天時の昼間における高照度環境下での認証プロセスにおいて,5回の試行を行った際に,すべての試行で成功しない事例が確認された.また,代用製品も検討したが,既存の商用製品の中からは,100,000 Lux以上の照度環境下で認証可能なものを見つけることが困難であった.そこで,高照度の環境下でも認証を可能にするための施策を検討した.
まず,光の照射方向や照度が顔認証に与える影響に関して調査を行った.既存研究によると,光の照射方向や照度が異なる環境下で撮影された顔画像の特徴量の差異は,日々のコンディションの違いや成長による個人のアイデンティティの変化によって生じる特徴量の差異を上回ることが判明している[8].そのため,一般的な顔認証デバイスを用いた撮影では,照度による影響が大きく,これを軽減する新たなアプローチが必要である.
既存研究ではこの照度問題に対して,いくつかのアプローチが用いられている.1つ目は,赤外線カメラを用いて光環境の変化に依存しない認証方式を構築する方法[9]である.赤外線カメラを用いた顔認証では,可視光カメラと比較し,認証の外部光源への依存度が低くなり,光の変化や入射角に対してより堅牢になる.しかし,赤外線カメラを用いた手法では,抽出される肌表面から得られる情報が少ないため個人差が出づらく,可視光カメラでの認証の代替案としては認証精度が低下してしまうことが懸念される[10].近年では,可視光カメラの画像と組み合わせて分析することで認識精度を改善する方法,機械学習を用いて赤外線の顔画像と可視光の顔画像のマッピングして認証精度を高める方法[11]も実現しているが,これらのアプローチはソフトウェアの開発およびデバイスへのカメラを追加して連携させるために多くの工数が必要である.そのため,これらの方法も期間とコストの観点から実用化が難しいと判断した.
2つ目は,画像処理を行うことによって照明変動による影響を軽減する方法である[12].たとえば制約相互部分空間法を用いた顔画像認証では,各個人の様々な変動を含んだ辞書データを用意し,その差分を計算することで,異なる照明条件下などに左右されない部分の特徴抽出を行うことができる[13].これによって得られた情報を顔認証に用いる入力情報とすることで,照度の影響を軽減し,高い精度で顔認証を行うことが可能である.一方,この方法を現在のマンション顔認証システムに適用するにはソフトウェアの大幅な改修が必要となることに加え,各個人の学習データの準備などが必要となるためユーザビリティの観点からもマンション環境に適していない.また夏の晴天昼太陽光下のような極端な環境下での検証はされていないため,実用面で十分な精度を得られるかについては十分な検証が必要である.ほかにも,線形結合モデルを用いて顔画像を生成することにより照明条件による影響を軽減する手法[12]も存在するが,これも計算コストの高さやモデルの複雑さから導入は容易ではない.
筆者らは,コストや導入の容易性の観点からハードウェア的なアプローチについて検討を行い,カメラのレンズに入る光の減光装置として用いられるNDフィルタに着目した.NDフィルタは光量を一定に抑える効果があり,それにより照明環境が顔認証の精度に与える影響を減らすことが期待される[14].この対策では,カメラのレンズ部分にNDフィルタを取り付けるのみでよいためコストも比較的低く,実現可能性が高い.
本章では,照度の影響を低減するために,カメラレンズに取り付けたNDフィルタの最適な度数を仮説検証により導出する.また,顔認証システムを実際に導入する新築マンションを想定した既築マンションの屋外環境において,認証性能を評価する.
適切なNDフィルタの度数を導出する.認証を可能にするには,NDフィルタ透過後の照度である光束発散度($M_{\tau}$)[15]が,Proface Xの照度限界である50,000 Luxを超えないような透過率を設定する必要がある.光束発散度,入射面における照度(E),NDフィルタの透過率(τ)の関係は,次式によって表せる.\[{M_\tau } = \tau E\](1)
これより,照度が100,000 Luxの環境では,NDフィルタの透過率(τ)は,50%程度にするべきと仮定できる.今回使用した富士フィルム社製NDフィルタ[16]では,ND-0.3またはND-0.5あたりが候補となる(表3参照).
次に,この仮説を検証するため実際に用いた環境を説明する.表3に照度および利用したNDフィルタ,光源の入射角の組み合わせを示す.照度は100,000 Lux~100 Luxの範囲とする.高照度環境に加え,100 Luxの暗所での検証を行ったのは,NDフィルタによる減光の影響で画像が暗くなることによる認証精度が下がることも懸念したためである.また,認証デバイスに光源を照射する角度は,水平(0°)および上斜め45°からそれぞれ前後左右斜めの8方位,真上からの1方向,計17のすべての方向からでも認証ができることを確認した.図5に示すように,検証には以下の機材を使用した.
ライトとレフ板を用いて,認証デバイスのカメラ付近が該当の照度となるよう調光したうえで計測をしている.
検証の結果を表4に示す.認証プロセスにおいて各5回の施行を行い,これらすべての施行で成功した場合を「認証可(○)」と定義する.一方,全施行のうち1回でも成功が得られなかった場合は「認証不可(×)」と定義する.結果から,フィルタなし/ND-0.2/ND-0.3では晴天昼太陽光下の照度(100,000 Lux)の場合では全施行で認証不可だったのに対し,ND-0.5以上では認証が可能だった.仮説では透過率50%程度と算出していたことから,仮説とも一致する結果が得られたといえる.また,夜間の物件外廊下(100 Lux)の環境では,いずれの場合もNDフィルタの減光の影響を受けず問題なく認証することができた.
前述の検証で採用したND-0.5を貼付した顔認証デバイスが,実際のマンションの環境に近い形でも正常に認証可能か屋外での追加検証を実施した.図6は検証の様子を示している.照度計により自然光を計測し,晴天昼太陽光下の照度100,000 Lux程度での順光/逆光,夕方の西日,夜間(100 Lux以下)の計4環境を再現した.
表5に示したとおり,4環境すべてにおいて認証が可能である結果が得られた.順光時はNDフィルタなしの場合,画像の一部のピクセル値が飽和してしまい,顔の細かな特徴や質感が失われ,画像上では過度に明るい部分が白色に近づくことから認証ができていなかったが,NDフィルタによって認証者の顔が補正されることで正常に認証できた.逆光時は照度限界により,全施行において認証デバイスが正常に機能しなかったが,NDフィルタによって減光することで正常に認証できた.
西日では,NDフィルタなしの場合,認証者の光が当たっている部分が影になってしまい,全施行において認証ができなかったが,NDフィルタによって影が補正されることで認証を実行することが可能となった.
夜間検証からは,NDフィルタの影響で減光されていても,認証可能であることが分かった.本検証結果を通して,ND-0.5フィルタを貼付した顔認証デバイスの実運用における有用性が確認できた.
本章では,マンション顔認証システムの実際の運用状況とユーザアンケートを基に,本システムの評価を行う.
2023年11月時点で,本システムは51棟2045戸に導入されており,累計認証件数は約302万件に上る[18].この中には,照度が高く認証がこれまで困難なことが多かった10:00から14:00の時間帯の認証件数47万件を含む.ユーザからの総問い合わせ件数は合計25件で,そのうち4件が顔認証システムにかかわるクレームだった.具体的には,顔認証デバイスの動作不良に関するものが2件,操作ミスによるシステム障害が原因のものが2件であり,照度による認証の不具合に関するクレームは時間帯にかかわらず一度も報告されなかった.これらのシステムの運用実績とユーザからのフィードバックより,前章で述べたNDフィルタを用いた対策が認証精度の向上に効果を発揮していると評価することができる.
次に,本システムのユーザ323名に実施したアンケート調査の結果から本システムの有用性について考察する.アンケートの内容および回答結果は表6に示すとおりである.Q1では,顔認証システムの利便性に関する質問に対し,回答者の97%が「非常に便利」または「便利」と評価している.続くQ2では,次回の転居先でも顔認証による入退管理を希望するかについて尋ねたところ,94%のユーザが「強く希望する」または「希望する」と回答し,システムに対する高い満足度が明らかになった.顔認証システムの具体的なメリットについては,Q3の回答から,「鍵の紛失リスクがない」,「外部の人による不正開錠の心配がない」,「鍵の持ち歩きが不要」といった点が多く挙げられた.
一方で,Q4では顔認証システムのデメリットについても意見を求めた.主な回答としては,「認証に時間がかかることがある」と「似た顔の他人による不正開錠への不安」が挙げられた.前者は,住戸前に設置した顔認証デバイスの認証強度を十分高めたことにより生じた現象と考えられるが,これはセキュリティとのトレードオフの関係にある.したがって,最適な認証強度の設定には慎重な判断が必要であるためこの問題の対処については今後の検討事項とする.後者については,入居時の説明やホームページ上で顔認証システムの安全性に関する詳細情報を提供することで,ユーザに安心感を与え,システムの利用を更に促進していく.
マンションの顔認証システム導入にあたり,顔認証デバイスの照度限界によって高照度条件下で顔認証の精度が著しく低下する問題が確認された.本研究では,その解決策として,光量を一定に抑える効果があるNDフィルタを利用する手法を考案した.ND-0.5(透過率32%)のフィルタを顔認証デバイスのカメラに貼付することで,高照度の環境下であっても認証可能であるという検証結果が得られた.更に,屋外環境で検証をすることで,本改良を施した本システムが実運用に耐えうることも確認した.
筆者らは本システムを,2023年11月時点で51棟2045戸のマンションへ導入している.実際の運用状況の中で,照度に関連する認証の失敗についてのクレームは一度も報告されていないことからもNDフィルタを用いた手法が効果的であると評価した.また,実施したユーザアンケートによると,回答者の97%が本システムを「非常に便利」または「便利」と評価し,さらに94%の回答者が次回の転居先で顔認証による入退管理システムの導入を「強く希望する」または「希望する」と回答したという結果が得られた.これらの結果より本システムに対するユーザの高い満足度が明らかになった.今後は,本稿で詳細に取り扱うことができなかったNDフィルタ以外の照度調整技術との比較を実施しNDフィルタを用いた手法の有用性をさらに検証していきたいと考えている.
さらなる導入拡大を目指し,現在セキュリティの強化に取り組んでいる.顔画像や抽出した特徴量データは個人情報保護法により個人情報として扱われるため,その管理には厳重な注意が必要である[19].顔画像はサーバ内のストレージに暗号化された状態で保存されており,適切なアクセス制御も行っているが,予期せぬ脆弱性や攻撃があれば漏洩してしまう可能性は完全には否定できない.また,顔認証デバイスにも特徴量情報が保存されているため,サイドチャネル攻撃やソフトウェアの脆弱性を突いた攻撃等による情報窃取の懸念も残る.筆者らは,秘密情報を複数のサーバで分散管理することで仮に情報を窃取されても復元が困難となる秘密分散技術や,外部の不正アクセスから物理的に隔離された実行環境であるTEEといった最新のセキュリティ技術の活用も視野に入れた研究に力を入れている.今後これらの技術が顔認証システムに適用されれば,より強固なセキュリティを担保し,より安全なサービスを提供できることが期待される.
2015年明治大学大学院グローバルビジネス研究科修士課程修了.2024年高知大学客員教授.顔認証システムの研究開発に従事.2004年プロパティエージェント株式会社設立ならびに代表取締役就任,2020年DXYZ株式会社代表取締役就任,2023年ミガロホールディングス設立ならびに代表取締役社長就任.電子情報通信学会,IEEE各会員.
2012年東京大学工学部電子情報工学科卒業.2017年同大学大学院情報理工学系研究科博士課程修了.博士(情報理工学).同年大学院工学系研究科電気系工学専攻助教.現在,同准教授.無線工学,サイバーフィジカルシステム,エッジAI等の研究に従事.2013年電気電子情報学術振興財団原島学術奨励賞,2019年IEEE CCNC Best Paper Award,2020年ACM IMWUT Distinguished Paper Award等受賞.電子情報通信学会,IEEE各会員.
1992年東京大学大学院工学系研究科博士課程修了.2006年同大教授.モノのインターネット,DX,無線通信システム,クラウドロボティクス,情報社会デザインなどの研究開発に従事.本会論文賞,電子情報通信学会論文賞(3回),ドコモモバイルサイエンス賞,総務大臣表彰,大川出版賞など受賞.情報通信ネットワーク産業協会(CIAJ)会長,電子情報通信学会会長,総務省情報通信審議会部会長,Beyond 5G新経営戦略センター長,シブヤ・スマートシティ推進機構会長等.
会員種別ごとに入会方法やサービスが異なりますので、該当する会員項目を参照してください。