デジタルプラクティス Vol.8 No.2(Apr. 2017)

豊島区総合防災システムにおける群衆行動解析

石寺 永記1  鈴木 哲明2  宮野 博義3  樫原 猛4

1(国研)情報通信研究機構/(株)NEC情報システムズ  2(株)NEC情報システムズ  3日本電気(株)  4豊島区 

本稿は,豊島区総合防災システム上に実現されている,群衆行動解析技術と運用結果について述べる.群衆行動解析技術は異常混雑検知と群衆の流れ(群衆フロー)の推定からなる.異常混雑の検知では,広域と中域のそれぞれの撮影範囲向けの混雑度推定方式を用い,混雑度が一定時間以上閾値を超え続けたときに異常混雑であるとした.また,群衆フローを推定し,モニタ画面に重畳表示することで,人の流れの目視確認を可能にした.屋外設置カメラを用いた群衆行動解析の実装上の工夫点についても示し,改善効果を確認した.

1.はじめに

地震や台風等の災害時に,迅速かつ適切な対応が自治体のサービスとして求められている.災害等によって駅等の公共エリアで異常な混雑や滞留などが発生した場合,危険な状態が引き起こされる.この危険を回避するためには,退避経路の確保や人々の誘導等の対策を迅速に決定する必要がある.しかし,従来の豊島区では,広範囲にわたる区内のどこに異常な混雑や滞留が起こっているかの状況把握を人的に行っていたため,危険性の判断から対策を打つまでに時間がかかっていた.特に池袋駅のように,1日あたり約262万人の利用者がある大きなターミナル駅で異常混雑が発生すると大変危険なため,異常混雑が発生した場合はリアルタイムに状況を把握する必要があった.

そこで,筆者らは防災カメラを活用し,主要な駅前や交差点等の屋外の公共エリアで発生した異常混雑をリアルタイムに自動検知し,混雑と滞留の状況を地図上に見える化することで,見落としなく迅速な意思決定や対応を支援するシステムを実現した.

本稿は次のように構成する.第2章で群衆解析についての技術的背景と豊島区総合防災システムの概要について述べ,第3章でシステム実装上の技術課題と解決アプローチを述べる.第4章では実装時に工夫した点をまとめ,第5章では,異常混雑の検知方法と豊島区で防災システムを実運用して得られた結果を示す.第6章で考察と今後の課題について述べ,第7章でまとめる.

2.技術的背景と防災システムの概要

本章では防災の観点から映像解析技術に求められる性質と従来技術について説明し,豊島区総合防災システムの概要と映像解析技術の位置付けを明らかにする.

2.1 映像解析の技術的背景

豊島区では,防災に向けて,特に池袋駅周辺などの繁華街や主要な交差点などにおける異常な混雑状況の把握をリアルタイムに行う必要がある.しかし,混雑状況を人手により判断すると,判断結果がばらつくリスクがあるため,判断基準を一定に統一することが必要である.

これらの要請に映像解析で応える場合,防災カメラ映像を常時解析し,単位面積あたりの大体の人数を混雑度として求め,あらかじめ定められた閾値による判定を行えば,リアルタイムに一定の判断基準で異常混雑を検知可能と考えられる.

カメラ映像に写った群衆映像から大まかな人数を数えるには,侵入検知などに用いられる人物行動解析技術 [1]や,人体のモデルをフィッティングして人物検知する人体検知技術 [2]や,背景差分 [3]に基づく移動体の面積を用いる群衆面積法や,部分画像内の人物の頭部の数を求める群衆パッチ法 [4]などが挙げられる.

縦軸をカメラの視野範囲,横軸を人物同士の重なり比率としたときの,各条件に適した技術を図1に示す.

図1
図1 群衆向け人数カウント技術

人物行動解析技術や人体検知技術では人物を1人ずつ抽出する必要がある.これらの技術は,人物同士の重なりが非常に多くなる異常混雑時には,人物を1人ずつ抽出することができずに解析不能になる.群衆面積法は粗い近似になるが,広域向けの異常混雑検知に活用が可能と考えられる.また,中域のカメラ視野範囲の場合は,群衆パッチ法による人数カウントを用いて異常混雑検知に応用可能と考えられる.

以上の技術的背景から,豊島区総合防災システムでは,カメラ視野範囲に合わせて群衆面積法と群衆パッチ法を用いて,大まかな人数を混雑度として求め,混雑度の閾値処理により異常混雑検知を実現した.また,群衆フローは,画像の動ベクトルを求めることで実現した.

2.2 豊島区総合防災システムの概要

本節では豊島区で導入された総合防災システムについての概要と,映像解析を行うビデオカメラシステムについて述べる.

豊島区が導入した総合防災システムで対応する業務範囲は図2に示す通り,災害情報の収集・管理・配信である.特に情報収集は,災害発生時の区の意思決定や迅速な対応を支援するにあたって重要である.

図2
図2 豊島区総合防災システムで対応する業務

総合防災システムでは,情報収集は主にビデオカメラシステムによって行われる.ビデオカメラシステムは,区内の重要個所に設置された防災カメラからの映像を受信・蓄積し,再生する機能,リアルタイムに映像をモニタリングする機能,映像を解析して異常混雑の発生をリアルタイムに検知してアラートを発報する機能とGUIを持つ.

ビデオカメラシステムの機能構成の概要を図3に示す.ビデオカメラシステムは3つのサーバからなり,1つは区内の重要個所(屋外)に設置された防災カメラから,映像を受信して蓄積するとともにほかのサーバに映像を配信する映像サーバである.2つ目は,映像サーバが受信した映像を解析して異常混雑等を自動検知する映像解析サーバであり,3つ目は地区全域の状況を地図上に表示したり,詳しい状況を確認するGUIの機能を持つ防災アプリサーバである.

図3
図3 総合防災システムにおけるビデオカメラシステムの構成

従来の防災システムは,単にカメラ映像を順番にモニタ画面に表示するだけなので,異常混雑が発生してもモニタにタイミング良く表示されなかったり,表示されたとしても人間から見過ごされる可能性があった.豊島区総合防災システムでは,映像解析によって区内の重要個所の混雑状況を常時解析するので,異常混雑が発生した場合,即座に自動検知して区全域の地図上にアラート表示することが可能である.

図4は,群衆画像から求めた局所的な人の密度や群衆の流れを,画面上に重畳表示する様子を示している.これにより,同じ混雑状況でも,人の流れの有/無が把握しやすく,異常な滞留が起こっているかどうかも,目視での確認が可能となる.

図4
図4 人数推定と群衆フローの重畳表示による気付きの支援

図5に防災アプリサーバが出力する画面のイメージを示す.本システムの異常混雑検知により,見落としなく,リアルタイムに混雑状況を把握できるようになり,これが迅速な意思決定や対応を支援することにつながると期待できる.

図5
図5 防災アプリサーバの画面イメージ

3.技術課題と解決のアプローチ

豊島区総合防災システムではカメラ視野範囲に合わせて群衆面積法と群衆パッチ法を用い,混雑度の算出を行った.本章では,それぞれの混雑度算出方式についての実装上の技術課題とその解決アプローチについて述べる.また,群衆フローを求める際の課題と解決アプローチについても述べる.

3.1 群衆面積法の課題と解決アプローチ

広域向けの混雑度推定には,背景差分で得られた動体(群衆)の面積を用いて粗く人数推定して混雑度を算出する群衆面積法を用いる.背景差分ベースの方式で群衆の抽出を行う場合,照明条件の変動を群衆として誤検知することがある.特に夕暮れどき等の薄明期には,急速な日照状態の変化による影の誤検知や建物の照明点灯等による誤検知が多くなり,これが混雑度の推定精度低下につながるという課題があった(図6).

図6
図6 背景差分による誤検知のイメージ

そこで,大域的な照明変動に安定な特徴量を併用して影や照明の影響を軽減することを検討した.ここでは,照明変動に影響を受けにくい特徴量として,エッジやテクスチャが挙げられる.エッジはノイズに弱い面があるため,本システムではテクスチャの比較を行える正規化相関を用いることとした.

本システムでは,単純な輝度値の差の絶対値として求めた背景差分値による,移動体らしさに加え,入力画像と背景画像との局所的な正規化相関の値も用いることで,照明変動による誤検知の抑制を実現し,混雑度の推定精度低下を軽減した.

3.2 群衆パッチ法の課題と解決アプローチ

中域のカメラ視野範囲の場合は,群衆パッチ法による人数カウントを用いて混雑度を推定する.群衆パッチ法は,照明変動にも影響を受けにくい利点がある.

群衆パッチ法では部分領域内の大まかな人数を自動推定するために,実際のカメラの映像とシミュレーションによって合成した群衆の画像を比較する(図7).

図7
図7 カメラ映像のメッシュ領域の人数推定イメージ

比較の際,シミュレーションで合成した群衆画像のバリエーションが多いほど人数推定精度は高くなると期待できる.本システムでは,あらかじめシミュレーションで数十万枚のオーダで大量の群衆画像を生成しておき,これらをConvolutional Neural Network (CNN) [5]に学習データとして与えることで人数推定を行うCNNを作成した.シミュレーションで生成した群衆画像例を図8に示す.

図8
図8 シミュレーションで生成した群衆画像例

本技術は頭部のシェイプをカウントするため,屋外利用では,雨天時に通行人が傘をさしていると人数を数えられなくなるという課題がある.そこで本システムでは,CNNに傘をさした群衆画像を学習させることで雨天対応を試みる.本報告では晴天用CNNと雨天用CNNを分けて学習し,2つのCNNのうち高い混雑度を出力したCNNの結果を採用することとした.この際,2つのCNNではなく1つのCNNに晴天と雨天のデータを学習させることも考えられるが,その場合CNNのサイズが大きくなり,学習が収束しにくくなる等の問題が考えられる.そのため,本システムでは晴天向けと雨天向けに分けてCNNを学習させることとした.

3.3 群衆フローの課題と解決アプローチ

本システムでは,群衆画像から動ベクトル(群衆の流れ)を求め,画面上に重畳表示した.

映像から動ベクトルを求める際には,できるだけ短い時間間隔で撮影された連続する2フレームの画像を用いることが必要である.動ベクトルを精度良く求めるには,少なくとも100ms以下の時間間隔(秒10コマ)で画像を取得することが望ましい.しかし,防災カメラからセンタへの映像伝送は限られた帯域を用いているため,常時秒10コマ(連続するフレームが100msの時間間隔)で画像を取得しようとすると,通信容量がオーバーするという課題がある.

混雑度とは歩行者の密集度合いなので100msの単位で大きく変化するとは考えにくく,混雑度自体は5秒に1回程度求めれば十分であると考えられる.そこで,本システムでは5秒に1回混雑度を求め,その際に連続して2枚の画像を100ms間隔で取得することで通信負荷を下げるようにした.

4.実際の工夫点

本章では,豊島区総合防災システムのビデオカメラシステムに異常混雑検知機能を実装する際の技術課題に対する対応内容について具体的に述べる.

4.1 群衆面積法の課題への対応

群衆面積法における日照変動の影響を軽減するために,従来の背景差分に正規化相関を併用する方法を試みた.具体的には,動体らしさを求める際に,背景差分値(入力画像と背景画像の輝度値の差から求めた尤度)と,局所的な正規化相関値(入力画像と背景画像の間で算出)の重み付き線形和を用いた.

図9の重み0.5の画像は背景差分尤度と正規化相関値を,重み5対5でブレンドした時の動体検知結果である.この場合,西日が差した場所が動体と誤検知され(赤い部分),混雑度が42%と算出された.

図9
図9 薄明期の西日の影響軽減(重み0.5)

図10の画像は,図9と同じ映像に対してブレンド率を2対8とした結果である.図9の条件では,誤検知された西日についても,影とひなたの境界部にやや反応がある(青く図示されている)以外は検知されておらず,西日の影響による人数推定の精度低下を軽減できていることが分かる.この際の混雑度も1%と算出された.

図10
図10 薄明期の西日の影響軽減(重み0.8)

この結果から,屋外の混雑状況を解析する場合にしばしば起きていた薄明期における異常混雑の誤検知が大幅に減らせると期待できる.

4.2 群衆行動解析における雨天対策

ところで,雨天時の屋外では,傘が利用されて人の頭部が見えなくなるため,3.2節で学習したCNNでは人数推定ができなくなる.そこで雨天向けに,傘をさした群衆画像をシミュレーションで多数生成して,これをCNNの学習に用いた.

晴天を前提として3.2節で学習した晴天用CNNモジュールは雨天時には人数推定ができないため,傘をさした群衆画像を入力すると低い混雑度が出力されることが予想される.同様に,雨天を前提として傘をさした画像で学習した雨天用CNNモジュールに晴天時の群衆画像を入力すると,やはり低い混雑度が出力されることが予想される.そこで,実運用時には晴天用CNNと雨天用CNNを並列で動かし,より混雑度の高い数値を出したモジュールの結果を最終結果として採用することとした.

図11図12はそれぞれ晴天時と雨天時の群衆画像を入力したときの晴天用CNNモジュールと,雨天用CNNモジュールの混雑度出力結果である.

図11
図11 晴天時の晴天用CNNと雨天用CNNの出力例
図12
図12 雨天時の晴天用CNNと雨天用CNNの出力例

図11と図12から,晴天時は晴天用CNNモジュールの,雨天時は雨天用CNNモジュールの混雑度が高く出力されていることが確認できる.この結果から,2つの天候向けのCNNモジュールを並列で動かし,高い混雑度数値を出したモジュールの結果を採用すれば,天候によらずに安定した混雑検知が可能であることが分かる.この技術強化により,雨天の屋外では解析不能だった混雑状況も解析できるようになった.

4.3 通信負荷の軽減

本システムでは,動ベクトルを精度良く求めるために短い時間間隔で画像を取得しつつ,通信負荷を抑える工夫を行った.

本システムでは,5秒に1回の頻度で混雑度を求める際に,連続して2枚の画像を100ms間隔で取得した(図13).すなわち,本システムでは,ある時点で画像を取得し,100ms後に再び画像を取得すると,次の画像取得まで約4,900msの時間を空けてから,再び100ms間隔で2回画像を取得する.このような間欠的な画像取得により,本システムでは動ベクトルを精度良く求めるために必要な画像を取得しながらも,通信負荷を大幅に減らすことができた.秒10枚ずつ画像を取得する場合,5秒間で50枚の画像を送信する必要があるが,本方法では2枚送ればよく,通信負荷を1/25に軽減したことになる.

図13
図13 間欠的な画像取得

5.異常混雑の検知と実運用結果

本システムでは,天候や時間帯によらず,映像解析による混雑度算出(大まかな人数推定)が可能になったことを説明した.本章では,この混雑度を用いて,豊島区総合防災システム上で異常混雑を検知する方法について述べ,実際にシステムを運用した状況について述べる.

5.1 平常時の混雑度との比較による異常混雑検知

本節では異常混雑を検知する方法について述べる.

映像解析によって異常混雑を検知する考え方として,本システムでは,現在の混雑度が日頃の平均値(通常状態)と比べてどのくらい大きな値になったかを評価する.具体的には,通常時のC倍を超える混雑度が一定以上の期間(T分間)継続した場合を異常混雑とした.ここで,本システムではC=2,T=10とした.

図14に異常混雑を検知する際の様子を示す.図14の緑色の線はある場所の平日の各時刻における混雑度の平均を取ったグラフであり,赤の線はこれを超えたときに危険状態であるとしてアラートを出す閾値である.図14の例では,通常時の2倍を超える混雑度が計測されたときを閾値として設定している.また11:00~17:00と21:30以降の期間で赤い線がフラットになっているが,これは普段あまり混雑しない時間帯には一定の混雑度を閾値として設定している様子を示している.当日の混雑度グラフがオレンジの線で示されており,この数値が閾値を一定時間上回り続けた際に,異常混雑であるとしてアラートを出す.

図14
図14 ある場所における平常時の混雑推移グラフと閾値

5.2 実運用結果

異常混雑検知機能を搭載した豊島区総合防災システムを実際に運用し,異常混雑を検知した例を示す.本事例は,ある日のA鉄道駅前の解析結果であり,20時10分ころに事故が発生し,21時10分ころに運転が再開されたときの異常混雑の発生事例である.図15に異常混雑時に解析した混雑度の推移を示す.

図15
図15 ある鉄道駅前における異常混雑時の検知結果

図15を見ると,事故発生から約20分を過ぎたころから閾値として設定した値を超える混雑度になっており,事故発生約40分後には異常混雑としてアラート発報したことが分かる.本システムは日常の運用でも交通機関が止まったことによる異常混雑を正しく検知できており,災害時などに発生する異常混雑も自動的に検知できるものと期待できる.

次の事例は,別の日の同時刻に同じA鉄道駅前を解析した平常時の例である.図16に解析した混雑度の推移を示す.

図16
図16 ある鉄道駅前における平常時の検知結果

図16によれば,瞬間的に当日の混雑度が閾値を上回る時間帯もあったが,閾値以上の混雑が一定時間(10分間)以上継続することがなかったため,異常混雑としては検知されなかったことが分かる.

この2つの結果から,本システムは通常状態では誤アラートを出さずに,高い混雑度が長時間継続するときにのみ異常混雑であるとして検知できることが確認できた.

平常時で職員がモニタリングをしていなかった際に,ある場所で入場待ちのような行列ができているところを検知し,アラート発報したことがあった.この事例は,従来だと見落とす可能性があったところを,システムが自動的に異常混雑を検知してアラートを出したので,職員が状況を把握できた例である.本システムは,職員に気付きを促せて,見落としの可能性を減らせる効果も期待できる.

本システムの実導入後,実際に地震が発生したときに,災害対策センタにいながら,火災や混乱が起きていないかを,システムにログインするだけでチェックすることも可能となり,防災カメラからのリアルタイムな情報収集により明らかに豊島区の区内を状況把握する際の対応速度が上がったことが確認された.

6.考察

本システムで実施した,混雑度推定の改善と群衆フローの活用方法について実運用の観点から考察し,異常混雑検知の今後の応用可能性についても述べる.

広域向けの混雑推定では,まだ,ひなたと影の境界部分では誤検知が残っているが,局所的な正規化相関を用いることで,影や照明を誤検知する面積を大幅に減らすことができ,実用レベルを達成できたと考えられる.ただし,吹雪や大雨などの天候では画像解析の精度低下が考えられるため,運用の工夫も含めた改善案の検討が必要である.

本システムでは,中域向けの群衆パッチ法は,傘への対策のみを行った.状況によってはヘルメットや特殊な帽子をかぶった人物の比率が多い場合が想定できるが,このような場合には人数推定精度が低下する可能性がある.帽子なども学習データに含めるなどの学習データの増強による精度改善も重要である.

群衆フローに関しては,現状はフローの大小を画面に重畳表示する機能のみを実現した.現在は,人の流れの有無を人間の目視によって確認する利用法にとどまっているが,今後は混雑度とフローの両方を分析し,より詳細な異常混雑の分析・検知に活用する検討が必要であると考えられる.

また,今後群衆フローを幹線道路の混雑状況予測等に活用することも期待できる.

本システムは,実運用で駅の事故での検知が正しく行われ,平常時にはアラートが出なかったことから,防災の観点で求められていた「混雑の判断基準がばらつくことなく,リアルタイムに異常混雑を検知する」機能を実現できたといえる.

今後,異常混雑検知機能は,災害時の防災だけでなく,大量の人出を伴う季節のイベントやスポーツイベント時の異常混雑の検知から人の流れの安全で効率的な誘導にも有効活用できると考えられる.

7.おわりに

豊島区に導入した総合防災システムの群衆解析技術について述べ,実用化に際しての技術課題とその解決策について述べた.総合防災システムの群衆解析によって,異常混雑を検知可能とし,実運用でも豊島区の災害対策センタから区内の状況を確認可能とした.そして,従来と比べて状況確認の速度が上がったことを確認できた.また,本システムで異常混雑を自動的に検知し,アラートを出すことで職員の気付きを促せたことから,防災の観点で求められていた「混雑の判断基準がばらつくことなく,リアルタイムに異常混雑を検知する」機能を実現できたといえる.

今後,首都直下地震の発生が危ぶまれている中,災害などの発生時に本システムを有効活用できるよう,訓練などを通じて運用と一体となった災害対策の機能向上を図っていきたい.

参考文献
  • 1)原田典明,石寺永記,大網亮磨,中尾敏康:人物行動を把握する画像解析技術と適応例,NEC技報,Vol.63, No.3, pp.39-43 (2010).
  • 2)Zhang, Z., Yin, W. and Venetianer, P. L.:Fast Crowd Density Estimation in Surveillance Videos without Training, IEEE 9th Int. Conf. Advanced Video and Signal-Based Surveillance, pp.452-457 (2012).
  • 3) 鈴木哲明,橋口祐卓,宮野博義,石寺永記:教師あり学習による複数の背景差分の統合,MIRU2014,SS1-14(2014).
  • 4)宮崎真次,宮野博義,池田浩雄,大網亮磨:群衆行動解析技術を用いた混雑推定システム,NEC技報,Vol.67, No.1, pp.82-85 (2014).
  • 5)LeCun, Y., Boser, B., Denker, J. S., Henderson, D., Howard, R. E., Hubbard, W. and Jackel, L. D.:Backpropagation Applied to Handwritten Zip Code Recognition, Neural Computation, Vol.1, pp.541-551 (1989).
石寺 永記(非会員)ishide@nict.go.jp

1991年慶應義塾大学理工学研究科電気工学専攻修士課程修了.同年日本電気(株)入社.以来,画像処理・パターン認識に関する研究開発に従事.2001年Essex大学研究員.2009年~2016年(株)NEC情報システムズマネージャを経て,現在,国立研究開発法人情報通信研究機構専門研究員.

鈴木 哲明(非会員)t-suzuki@du.jp.nec.com

2000年東京工業大学総合理工学研究科物理情報工学専攻修了.同年日本電気(株)入社.以来,画像処理・パターン認識に関する研究開発に従事.2006年カーネギーメロン大学研究員.現在,(株)NEC情報システムズマネージャ.

宮野 博義(非会員)h-miyano@cq.jp.nec.com

1997年東京大学大学院工学系研究科情報工学専攻修士課程修了.同年,日本電気(株)入社.以来,パターン認識,動画像処理に関する研究開発に従事.現在,NECデータサイエンス研究所研究部長.2011本会喜安記念業績賞受賞.

樫原 猛(非会員)takeshi-01-kashihara@city.toshima.lg.jp

1986年学習院大学法学部政治学科卒業.同年練馬区役所入庁.以来,産業振興や危機管理に従事.現在,豊島区総務部防災危機管理課長.

採録決定:2016年12月20日
編集担当:位野木 万里(工学院大学)