1．はじめに

施設の安全性向上に向け，施設モニタカメラの普及が進んでいる．これに伴い，近年，カメラ映像を解析し，施設内の混雑度や人流を計測する技術への期待が高まっている．

駅などの人の多く集まる施設においては，運行停止やラッシュなどさまざまな要因により混雑（人の密集状態）が発生する．たとえば2011年3月11日に発生した東日本大震災では，地震発生直後の鉄道運転見合わせにより，帰宅困難者が駅に殺到し，駅構内の大混雑が発生した．また2016年１月18日の関東地域における大雪の際も，各路線が運転見合わせや運行制限を実施し，一部駅では駅構内への入場制限が行われるほどの混雑が発生した．事故の未然防止のために混雑への対応は必要であり，また利用者も混雑状況を知って混雑を回避したいニーズがあるため，混雑状況を適切に利用者に知らせることが重要である．

施設内部の状況を外部に提供する際，施設利用者のプライバシ保護が最大の課題となる．本研究では施設モニタカメラの映像を画像処理し，プライバシ保護を行った上で（図1），分かりやすく混雑度を可視化する手法について検討を行った．

実際の駅構内の映像を用いた実験が，2016年3月から東急線（東京急行電鉄（株）の路線）の6駅に対して実施された^1）．本稿では本実験に向けた取り組みについて紹介する．

第2章では映像を用いた人流計測技術の概要を説明する．第3章では人流計測技術を用いた駅構内の混雑度可視化技術について説明する．第4章では実験による効果の確認と，得られた知見に基づいた改善検討について説明する．

2．人流計測技術の概要

本章では映像を用いた人流計測技術について説明する．

筆者らはこれまで，映像を用いた施設内の人流計測技術を開発してきた^2）．この技術は映像中の動き情報を解析することで，映像内の人数や移動速度，移動方向などを抽出する技術である．施設内の混雑度可視化には，この技術の活用が有効であると考えた．

そこで本章では，従来の一般的な画像処理技術について紹介した後，筆者らが提案する人流計測技術について説明する．

2.1　従来技術

一般的に映像からの人流計測は，人物の検出および移動方向の計測により行う．人物の検出には，背景差分^3），^4）や，HOG特徴量等による手法^5），^6）などが用いられる．しかし，どちらの方式も人同士の重なりに弱く，混雑する状況への適用が難しい．

これに対して，映像中からTrackletと呼ばれる細かい動き情報（図2）を抽出し，抽出した動き情報を解析することで，流動を計測する手法が提案されている^7），^8）． Trackletは，短時間（画像数フレーム分の時間）の追跡処理を画像中の多数の点に対して行うことで得られる軌跡情報の集合であり，各点の追跡には正確な処理を必要とせず演算コストが低い．また多数の点に対する追跡処理を行うため隠れに強く，ロバストに人流推定できるといった特徴がある．そこで筆者らは，混雑する場所において人流を計測するには，Trackletが有効であると考えた．

Trackletを用いた人流計測手法の従来手法であるZhouらの方式^8）では，各Trackletが歩行者ごとに分離して得られていることを前提としている．そのため，映像中の歩行者同士の重なりが大きく，Trackletが歩行者ごとに分離されていない状況には適用できないといった課題があった．そこで筆者らは，Mean-Shiftクラスタリング^9）を用いて各Trackletを歩行者ごとに分離することで，人流計測を行う技術を開発した．

2.2　開発した人流計測技術

2.2.1　開発した人流計測技術の概要

本研究では筆者らが以前提案した人流計測技術^2）を活用した．ここではその概要について簡単に説明する．

図3に開発した人流計測技術の処理概要を示す．本方式の処理は3つのステップからなる．始めに画像中の動きのある部分からTrackletを抽出する．次に抽出されたTrackletをMean-Shiftクラスタリングを用いて人物ごとに分離する．最後に，分離されたTrackletを人物ごとに集計することで，各人物の移動軌跡を計算する．得られた移動軌跡からは人物の位置や移動方向，速度といったさまざまな情報を抽出することが可能である．

Mean-Shiftクラスタリングでは，計算方法を改良することで，人流計測への適用を可能にした．以下，その詳細を説明する．

時刻 $t$ における $i$ 番目のTrackletの特徴点の座標ベクトルを$p_i\left(t\right)$とし，クラスタリングに用いるフレーム数を $n$ フレームとすると，各Trackletの座標ベクトル$x_i$は次の式（1）となる．

$x_i\left(t\right)={\left(p_i{\left(t\right)}^T,p_i{\left(t-1\right)}^T,·\; <!--\; middle\; dot\; -->·\; <!--\; middle\; dot\; -->·\; <!--\; middle\; dot\; -->p_i{\left(t-\left(n-1\right)\right)}^T\right)}^T$（1）

ここでは，Trackletの数を $N$ 個とする． $n$ =1の場合，Trackletのクラスタリングは，$x_1,x_2,·\; <!--\; middle\; dot\; -->·\; <!--\; middle\; dot\; -->·\; <!--\; middle\; dot\; -->x_N\in \; <!--\; element\; of\; -->R^2$の点群のクラスタリング問題と同一となる．Mean-Shift用サンプル点$y_i$を次の式（2）とする．

$y_i\left(t\right)={\left(m_i{\left(t\right)}^T,m_i{\left(t-1\right)}^T,·\; <!--\; middle\; dot\; -->·\; <!--\; middle\; dot\; -->·\; <!--\; middle\; dot\; -->m_i{\left(t-\left(n-1\right)\right)}^T\right)}^T$（2）

Mean-Shiftクラスタリングでは，以下の更新式（3）を用いる．Mean-Shiftクラスタリングを毎フレーム行うと，収束までに時間がかかり，演算量が大きい．そこで，従来のMean-Shiftクラスタリングを次の式（3）のように改良することで，1フレームごとの演算量を抑えた．

この方式では時間t方向に収束結果を引き継ぐため，効率の良い演算が可能である．式（3）中の$K_{Hi}\left(x\right)$はMean-Shift用カーネル関数であり，次の式（4）で与えられる．

ここで$T_i=\left\{t,t-1,t-2,·\; <!--\; middle\; dot\; -->·\; <!--\; middle\; dot\; -->·\; <!--\; middle\; dot\; -->t-\left(n-1\right)\right\}$であり，クラスタリングに用いる全対象フレームを意味する．

関数$B\left(m\left(t\right)\right)$は，Mean-Shift用サンプル点$m\left(t\right)$を入力とし，バンド幅行列 $H$ を出力する関数である．

$H_i\in \; <!--\; element\; of\; -->R^{2\times \; <!--\; multiplication\; sign\; -->2}$はバンド幅行列で，$H=diag\left(1/h_1,1/h_2\right)$で表わされる．カメラ映像中では奥行きに応じて人物の大きさが変化するため，通常のMean-Shiftクラスタリングと違い，奥行きに応じてバンド幅を変えながら計算する必要がある．そのため，$h_1$および$h_2$はサンプル点 $y$ の位置に人物の重心位置がある場合における人物の外接矩形の横幅および縦幅となることが望ましい．この外接矩形についてはカメラの外部パラメータと人物の位置関係から計算する．詳細な外接矩形の計算方法については3.1節の人物アイコンサイズ適正化において述べる．

ここまで奥行きに応じて人物の形状に合うようにバンド幅を決定する方法について述べた．しかし，オクルージョンがある場合には人物の全身の形状に合うバンド幅を用いると誤差が大きくなる．そこで，オクルージョンを考慮して，バンド幅の縦幅を変える必要がある．以下でオクルージョンを考慮したバンド幅の調整方法について述べる．

まず，各サンプル点に対して，サンプル点から下の一定の範囲を判定領域とし，この判定領域にほかのサンプル点が存在するかどうかを判定する．サンプル点が存在しない場合には，オクルージョンがない領域のサンプル点である可能性が高いため，人物の全身の大きさに合うように縦幅$h_2$を設定する．一方で，判定領域にサンプル点が存在する場合には，オクルージョンがある可能性があるため，頭部に相当する部分のみを用いて縦幅を設定する．以上のように決定したバンド幅を用いて，Mean-Shiftクラスタリングを行い，最後に各サンプル点が収束した点におけるバンド幅サイズの矩形同士を比較し，重なりが大きいサンプル点同士を統合する．以上により，オクルージョンを考慮したMean-Shiftクラスタリングを実現できる．

以上のようにサンプル点yの位置に応じてバンド幅を決定しながらMean-Shiftを行うと，最終的な収束点では図3（c）に示すような人の形状に合わせたバンド幅となる．そのため，人の重心位置にサンプル点yを収束させることが可能となる．

以上により得られた重心位置yをクラスタごとに時間方向に繋ぐことで，人物の移動軌跡を得ることができる．

2.2.2　混雑度可視化アプリケーション

2.2.1節では人流計測方法について説明した．この人流計測方法を用いて混雑度を可視化するにはさまざまな手法が考えられる．人流計測技術によって，人数や移動速度，移動方向といった情報が得られる．これらの情報を組み合わせることによって表現可能な可視化手法について検討するために，アプリケーションを開発した．

図4に開発したアプリケーションを示す．図4に示すように，（a）通過人数，（b）滞留人数，（c）混雑度割合グラフ，（d）人物アイコン化画像，（e）混雑度ヒートマップの5つの手法により混雑度を可視化した．それぞれについて以下に説明する．

（a）通過人数は，人物の移動方向を使い，画面内の一部領域を通過した人数を計測し，提示する．

（b）滞留人数は人物の移動速度を用いて速度が一定以下の人数を提示する．

（c）混雑度割合グラフでは移動速度を用いて移動中の人数と滞留人数を算出し，全体の長さを総人数で決定し，滞留人数を黄色，移動中人数を紫色で示す．これにより，滞留している人数の割合を直感的に知ることができる．

（d）人物アイコン化画像では，誰も映っていない背景画像に対して，人流計測処理によって検出された人物位置に人型のアイコンを重畳することで，人物をアイコン化した画像を生成し提示する．これにより，映像に映っている人物のプライバシが完全に保護される．さらに，人物ごとの速度を用いて，滞留している人物アイコンと移動中の人物アイコンを切り替えることで，混雑状況を可視化する．人物アイコンは2次元のシンプルな人型アイコンを用いた．2次元アイコンは，3次元のアイコンを用いた場合と比べ，人数が多くなってきた際に描画される輪郭情報を少なく抑えることができ，重なっている対象が視認しづらくなるといった現象が起こりにくく，結果として分かりやすいためである．

（e）混雑度ヒートマップでは，検出した人物の位置を地図上の座標に変換し，座標上のグリッドごとに統計処理を行うことでヒートマップとして提示する．これにより，どのエリアで混雑が発生しているか直感的に把握できる．

以上のように画像処理によって計測された人流情報を加工することでさまざまな情報に変換できる．第3章ではこれらの情報を活用して，駅構内映像の混雑情報を可視化する方法について検討した結果を紹介する．

3．駅構内混雑度可視化に向けた検討

2.2.2節で説明したアプリケーションは，混雑度を可視化するための汎用的なアプリケーションである．本章では駅構内映像を用いた実証実験に向けた，本アプリケーションの改善検討について述べる．

実証実験では，利用者に直感的に分かりやすいことと，プライバシに配慮できることが必要であった．そのため，2.2.2節で示したアプリケーションのうち（d）人物アイコン化画像を活用することとした．

駅構内映像に適用する上で，人物アイコン化画像は以下の点において課題があった．

1. 過密状態における混雑状態の再現不足

2. 混雑時における背景オブジェクトの視認性低下

これらを改善するために，下記2点を検討した．

1. 人物アイコンサイズ適正化

2. 駅構内オブジェクトの視認性向上

次の3.1節および3.2節では上記の項目について詳細に説明する．

3.1　人物アイコンサイズ適正化

2.2.2節で説明した混雑度可視化アプリケーションでは，対象の距離が近いほど大きいアイコンを表示する処理を行っている．しかし，アイコンサイズを実際の人物に合うように調整していなかったため，人物同士の隣接度合いが正しく表現できていなかった．そのため，駅などの過密状態を表現するには不十分であり，利用者が混雑度を正しく認識できないといった課題があった．図5に実際の映像とアイコン化画像を比較した結果を示す．図5（a）および図5（b）を比較すると，アイコン化画像から得られる混雑度と入力画像の印象に乖離があることが分かる．たとえば図5（b）上段の画像は図5（a）上段の実映像と比べやや混雑度合いが低い印象を受ける．一方で図5（b）下段の画像は通路奥の方の人物が大きく表示され，入力画像よりも混雑した印象を受ける．そこで混雑度をより正確に把握できるようにするため，アイコンサイズの検討を行った．

図6にアイコンサイズの調整方法を示す．アイコンは，肩幅が映像中の人物モデルに合うように調整して作成しておく．次に，人物の検出結果から足元の座標を調べる．地面の位置情報と，カメラの外部パラメータおよび内部パラメータを用いて，カメラ座標上の足元座標を実空間座標に変換する．次に実空間座標上で人を半径50cm高さ165cmの円柱と仮定して（図6（a）），その円柱をカメラ座標に投影する．次に投影された円柱に外接する長方形を求める（図6（b））．最後に求めた長方形の縦幅とアイコンの縦幅が一致するようにアイコンサイズを決定する（図6（c））．以上の処理により，実際の人物サイズを考慮した大きさでアイコンが表示されるため，混雑度を正確に把握できる．

図5（c）に調整後の画像を示す．このように，より直感的に混雑度を把握できることが分かる．

3.2　駅構内オブジェクトの視認性向上

駅構内には改札や案内板といった特有のオブジェクトが存在する．ユーザがアイコン化画像を見た際に，これらのオブジェクトからカメラの映している場所の状況を推察できる．たとえば，改札が映っていれば改札付近の状況であることが瞬時に分かる．また改札に対する人物の位置関係などを比較することで，実際の混雑度合を想像しやすくなる．しかし，混雑するに従い，アイコンの量が画像中に増えるため，これらのオブジェクトの視認性が低下し，混雑状況を正確に把握しづらくなるといった課題があった．

実際にエキストラに協力を依頼し，鉄道駅を借りて撮影した映像に対して処理した例を図7に示す．入力画像（図7（a））に対する処理結果（図7（b））では，柱や改札の上に直接人物を表示しているため，距離感や状況が視認しづらい．

この課題を解決するために，各オブジェクトに対する人物の位置関係を考慮して画像を重畳することで，駅構内のオブジェクトの視認性を向上する技術を開発した．

この課題を解決するために，各オブジェクトに対する人物の位置関係を考慮して画像を重畳することで，駅構内のオブジェクトの視認性を向上する技術を開発した．

開発した技術では，各オブジェクトに対してマスク領域を図7（c）のような形で与える．次に，検出した人物がマスク領域と重なる場合，検出した人物の足元座標とマスク領域の下端情報を比較し，足元座標がマスク領域の下端に対して上にある場合には，オブジェクト領域に重ならない部分のみを描画する．この際，距離の違うオブジェクトが重なっている場合には，図7（c）の右側の柱と改札のように，別のオブジェクト同士のマスクが一体化してしまい，正しくマスク領域の下端座標が得られない場合がある．そのため，別のオブジェクト同士が重なり，マスクが一体化する場合を考慮して，各マスクの下端座標の情報をマスク画像中に入れることでこの問題を解決した．図7（c）で示したマスク画像では，カラー画像でマスクを用意し，RGBのうちGにマスクの有無情報を設定し，Bに下端座標の情報を設定することとした．以上の処理により，改札を通る人物や柱の陰に隠れている人物をより現実に近い形で再現することができる．

本方式で必要となる足元座標については，2.2.1節で示したMean-Shiftの収束点を元に推定する．Mean- Shiftにおいてオクルージョンがないと判定された収束点については，収束点が体の中心となるように円柱モデルを当てはめて足元位置を推定し，オクルージョンがある対象については収束点が円柱モデルの頭部位置となるようにモデルを当てはめることで足元位置を推定する．この処理により，隠れが有る対象についても足元位置が推定可能となる．

改良した方式による処理結果を図7（d）に示す．各オブジェクトの視認性が向上し，オブジェクトと人の位置関係が把握しやすいため，状況が理解しやすいことが分かる．

4． 実地映像による実証実験

第3章にて開発した駅構内の混雑度可視化技術を用いて，実映像を用いた評価実験を行った．実験では人流計測技術による人数の推定精度の評価，および混雑度可視化画像の目視評価を実施した．

4.1　人数推定の精度評価

開発した混雑度可視化技術では，表示されているアイコン数が実際の人数と一致しているほど，正しく混雑度を提示できていることとなる．そこで，人流推定により推定された人数と実際の人数を比較し，人数推定の精度評価を行った．

人数推定の精度評価には，エキストラ約40名に協力を依頼し鉄道駅を借りて撮影した10分間の評価用映像（シーン1：図11（a））と，社内従業者約40人に協力を依頼し自社施設内で撮影した実験映像（シーン2：図5（a）下段）を用いた．シーン1の映像は駅構内を利用する人物の自然な動作を撮影した映像であり，駅構内映像に対する開発技術の有効性を確認する目的として用いた．またシーン2は40人程度の人物が約2人/m²の密集度合いで歩くことで，駅構内における混雑状態を模擬して撮影した映像であり，混雑状況下における開発技術の有効性の確認に用いた．

結果を図8に示す．このグラフでは横軸に時間をとり，縦軸に人数の推移を示している．また，実線に人数推定結果を示し，破線に正解人数を示す．この結果から，正解人数の変化に対して推定人数が同じように変化しており，人数推定が正しくできていることが分かる．また30秒ごとの推定人数に対する正解人数を比較し精度評価を行った結果，シーン1では平均約95%の精度，シーン2では平均約84%の精度で人数を推定できていることが分かった．さらに，それぞれに対して処理速度を評価した結果，1フレームあたりの処理時間は平均約32msであった．

以上により，駅構内モニタカメラ映像に対する開発技術の有効性が確認できた．

4.2　混雑度可視化画像の目視評価

2016年3月から東急線で実施された実証実験では，実際の駅構内モニタカメラの映像に対してプライバシ保護処理を実施し，ユーザに提示する実験が行われた^1）．筆者らはこの実験に対し，本稿で紹介した技術を用いて参加した．実験対象駅は6駅であり，このうち東急線のあざみ野駅と溝の口駅の駅構内モニタカメラ映像に対して，本技術を用いたプライバシ保護処理を実施し，混雑度可視化を行った．両駅とも改札前に設置されたモニタカメラを利用した．

駅の改札前は，通常時は人がとどまることなく通行するが，運行障害発生時などにおいては，電車の運行開始を待つ人など滞留する人の数が増加し，混雑が発生する．そのため，改札前の状況を配信することで駅構内の混雑状況を効果的に伝えることができる．また，活用したモニタカメラは既設カメラであっため，画角などの影響により，それぞれのカメラで映る範囲に違いがあった．そのため，カメラによって画角内に映る人数に違いがあり，実験に使用したモニタカメラでは，混雑時に50人程度映るカメラから，200人程度映るカメラまで存在した．しかし，混雑状況は人物の密集度合いから判断できるため，最大人数の少ないカメラであっても混雑状況を伝えるには十分であると考えられる．

実際に処理した結果を用いて，目視評価を実施した．評価は，本研究について事前知識のない70人の社内従業者を評価者として，アンケート形式で行った．アンケート内容は次の通りとした．

アンケートの結果を図9に示す．この結果から，87%の評価者が理解できたと回答（選択肢1，選択肢2）しており，混雑度の可視化方式の有用性が示された．一方すぐに理解できた評価者（選択肢1）は44%であり，視認性については改善の必要があると考えられる．そこで，本アンケート結果を受けて，視認性の向上を検討した．

4.3　視認性向上検討

目視評価の際のアンケートにおいて，選択肢2および選択肢3を選択した評価者に対し，その理由を調査した．その結果，約74％が「アイコンに方向がないため」と回答した．そこで，アイコンに方向情報を追加することで，現実の映像に近づけ，視認性を向上する検討を行った．

図10に新しく追加した方向付きアイコンを示す．このアイコンを人物の移動方向に応じて切り替えて表示することで，より現実に近い映像を提供可能となる．

　

図11に方向付きアイコンを用いて処理した結果の例を示す．移動方向の推定はすでに検出済みの軌跡を用いて計算することで，軽量な処理で求めることができるため，1フレーム辺りの平均処理時間は改善前の処理時間と同等であった．改善した処理結果を用いて，前回分かりにくいと回答したユーザを対象に再度アンケートを実施した．その結果，90%の評価者が改善した（「すぐに理解できた」）と回答した．この結果により，方向付きアイコンを用いることで，より混雑状況を認識しやすくなることが分かった．

　

5．おわりに

カメラ映像から人流計測する技術を活用し，駅構内モニタカメラ映像の混雑度を可視化する技術を開発した．開発した技術は画像処理によって画面内の動き情報から人物の位置や移動速度，移動方向などの情報を抽出し，得られた情報を用いて人物をアイコン化することで，プライバシを保護した画像を生成する技術である．この際，ユーザが混雑度を認識しやすくするために，アイコンのサイズを調整し，さらに駅構内オブジェクトとの距離関係を考慮してアイコンを配置することで，混雑状況を把握しやすい画像を提示する技術を開発した．また，方向付アイコンを用いることで視認性を向上した．

開発した技術を実際の駅構内映像に適用して評価を実施した．人数の推定精度を評価した結果，駅構内の自然なシーンでは95%の精度で推定可能であり，混雑状況下では84%の精度で推定可能であることを確認できた．また目視評価の結果，87％の評価者が混雑度を理解できたと回答し，方向付きアイコンを用いることで90%の評価者が視認性向上効果があると回答した．以上により開発した技術の有用性が示された．

今後は，人流解析によって得られる時間ごとの滞在人数や，混雑度ヒートマップなどの情報を活用する方法について検討し，さらなる付加価値の提供を検討する．また，車や電車といった人物以外の対象の可視化を検討し，本技術のより幅広い活用を目指す．