トランザクションデジタルプラクティス Vol.3 No.2(Apr. 2022)

下水管スクリーニング検査のための浮流型カメラと映像処理に関するプラクティスの報告

澤野 弘明1  清水 竣太1  國保 有香1  石原 進2

1愛知工業大学  2静岡大学 

日本の多くの下水管は老朽化の問題を抱えており,検査と整備が急務である.下水管検査は危険でコストが高いため,安全かつ低コストな方法が求められている.筆者らは下水管内の要修理箇所を短時間で検査するスクリーニング検査のための安全かつ低コストの手法として,浮流移動する機体で下水管内を撮影し,無線通信で映像を転送する浮流型無線ネットワークカメラシステムを検討してきた.本稿では,このカメラシステムにおける浮流型カメラの設計,浮流型カメラの構造により発生する映像回転の補正手法,および撮影された映像からひび割れを検出する手法を提案し,その実装・評価について報告する.下水管での試作機による撮影実験,および回転補正処理の結果,スクリーニング検査に十分な品質の映像を得ることができた.また,塩化ビニル管で構築した模擬実験環境で行ったひび割れ検出実験では,適合率が64.0%,再現率が100.0%の精度でひび割れ箇所を検出できた.

下水管,スクリーニング検査,映像処理,回転補正,ひび割れ検出

A Practice Report of Video Processing and a Drifting Camera System for Screening of a Sewer Pipeline

Hiroaki Sawano1  Shunta Shimizu1  Yuka Kokubo1  Susumu Ishihara2

1Aichi Institute to Technology, Toyota, Aichi 470–0392, Japan  2Shizuoka University, Hamamatsu, Shizuoka 432–8561, Japan 

Large amount of Japan's sewer pipes are aging, and there is an urgent need for inspection and maintenance. Since inspection of sewer pipes is dangerous and expensive, a safe and low-cost method is required. To realize a safe and safe sewer screening for quickly locating damages points, we have been working on a drifting wireless network camera system that takes a video of the inside of a sewer pipe with a floating camera unit and transmits the video via wireless communication. In this paper, we propose a design of a floating camera for this camera system, a method for correcting the image rotation caused by the structure of the floating camera, and a method for detecting cracks in the captured video. We implemented the system and the methods and conducted experiments in a real sewer pipe. The results of the rotation correction of the video obtained by the camera achieve sufficient quality for sewer screening. The proposed crack detection method achieved 64.0% precision and 100% recall in experiments conducted in a experimental sewer pipe made by polyvinyl chloride.

sewer pipe, sewer inspection, video processing, rotation correction, crack detection

1. まえがき

日本国内の下水管の総延長は約47万kmに達しており,そのうち約1.4万kmは下水管の耐用年数である敷設50年を超過している[1].2015年には下水道法が改正され,腐食の恐れが大きい箇所については,5年に1回以上の頻度で検査することが義務づけられている.しかしながら,日本の下水管は1975年から1998年までの間,年度ごとの敷設延長が増加しており,2036年には,老朽化した下水管の延長が14万kmに達する.下水管が耐用年数を超過すると管材の腐食の進行により,道路の陥没事故が発生しやすくなるため,下水管検査の効率化が急務である.

下水管検査には,検査員による目視や有線の遠隔操作カメラ[2]を用いた方法が行われている.目視検査では検査員が管内に侵入して検査するため,管内の状況を詳細に観測できる.しかし有毒ガスにより1年に1名ほど死亡者が出るほど危険である[3].そのため下水管内での作業量は少ないほうが望ましい.また,検査対象の下水管の口径は検査員が侵入できる大きさに限られる.有線の遠隔操作カメラによる検査では,走行機能を備えた機体から撮影された高画質映像を検査員が地上で視聴できる.そのため目視検査に比べて危険性は低い.一方で自走カメラ,ケーブル,制御装置全体は大がかりかつ,太いケーブルの取り回しが煩雑であり,装置の費用,作業いずれの面でもコストが高い.

上記の検査方法の課題を解決するために,長距離検査可能なスクリーニング検査*1の開発が国土交通省のB-DASHプロジェクトのもと進められている[4].下水管スクリーニング検査のために,文献[4]では管口カメラ,自走式の展開広角カメラや画像認識型カメラ,文献[5]では浮流型カメラを用いた方法が提案されている.管口カメラはカメラと直進性の高い光源を棒の先に取り付けた装置である.この方法では検査員が管内に入ることなく,マンホールの口から管口カメラを挿入することで下水管内の映像を撮影できる.しかし観測可能なマンホールからの距離は限定的であるうえ,マンホールごとの区間の撮影を繰り返し実施する必要がある.自走式の展開広角カメラや画像認識型カメラを用いた検査では,管内を移動しながら前方および全周囲の映像を撮影できる.自走式のカメラには有線ケーブルが使用されるため,一度の検査距離は100 m程度が限界である.関野によって報告されている浮流型カメラ[5]は,照明とカメラを船型の機体に搭載させた装置で,水流により機体を上流から下流まで浮流しながら下水管内を撮影する.この浮流型カメラでは記憶装置に映像が蓄積するのみで,リアルタイムのモニタリングができない.また下水管の構成によっては頻繁に装置を取り出して,再度流下させる必要がある.

そこで筆者らは,図1に示すように,地上にいる検査員が即時的に下水管内の映像を視聴できる浮流型無線ネットワークカメラシステム[6]-[10](以下,本システム)を提案している.本システムでは,浮流型カメラを下水管内に流して,下水管の上部に現れる,ひび割れ,木片,配管のズレなどを撮影・検出する.撮影された映像はマンホールに設置したアクセスポイントを介して地上の検査員あるいはクラウド上のサーバに転送される.

浮流型無線ネットワークカメラシステムの概要 Outline of a drifting wireless networking camera system.
図1 浮流型無線ネットワークカメラシステムの概要
Fig. 1 Outline of a drifting wireless networking camera system.

これまで検証してきた小口径下水管内(φ200–250 mm)でのIEEE802.11無線LANでの通信性能に関しては,2.4 GHz帯で通信距離が2–3 m程度,5 GHz帯で10 m程度であることが文献[7]で確認されている.また,このような限られた通信距離内で,浮流観測機に蓄積された撮影済映像データを確実にアクセスポイントに転送するためのプロトコルが開発されている[8], [10].このプロトコルでは,アクセスポイントと観測期間の短い通信距離に起因するデータ転送可能量の制限を緩和するため,複数の観測器を利用する.すなわち,互いに無線通信の干渉が起きない程度離した間隔で複数の観測機を浮流させて同一区間の撮影をさせ,その区間内の別々の部分を各観測器がアクセスポイントに転送することで,各観測器がアクセスポイントと接続可能な時間が短くても全体として大きな観測データを送信可能としている.

浮流型カメラの進路には,落差の衝撃による下水管の破損を防ぐための副管や,段差などが存在している.このため,副管や段差の影響により浮流型カメラがひっくり返らない,もしくは直ちにカメラの光軸を上部方向に戻す仕組みが求められる.また,水量が少なく浮流できない場合においても,浮流型カメラが傾斜によって移動できることが望ましい.

そこで本稿ではこの利用条件を満たす,本システムにおける浮流型カメラの設計について提案する.提案する設計は二重のカプセル構造をもち,外側カプセルが回転してもカメラを備えた内部は常に上を向き,下水管内の上部を撮影可能である.この構造では移動に伴って内部カプセルに水平方向の回転が生じるため,動画像処理によりこの回転を補正する手法をあわせて設計し,実装した.また,本システムで撮影した映像から下水管内のひび割れを自動検出するシステムを構築し,本システムによる撮影映像を用いてその効果を検証した.

本稿の貢献は以下のとおりである.

  • (1) 下水管内の下水の流れによって移動可能な二重カプセル構造の浮流型の撮影機体筐体と撮影系を設計・実装し,実環境での実験で撮影品質,下水管内の移動性を検証した.
  • (2) 二重カプセル構造に伴う撮影映像の回転の補正方法を開発し,実環境での撮影映像で検証した.
  • (3) 提案システムによる撮影映像に対するひび割れ検出手法を設計し,その効果を検証した.

なお,(2),(3)で使用している個々の技法は既存技法の応用であるが,二重カプセル構造の浮流カメラによる下水管内撮影映像にこれらを適用し,効果を検証したのは筆者らが知る限り他に例がない.

以下,2章で浮流型カメラの設計の設計・実装について,これまでの試作と実環境実験より得られた知見と,それに基づいた本稿における提案する設計について述べる.3章では浮流型カメラで撮影した映像に対する映像処理手法である,回転補正手法とひび割れ領域の検出手法について述べる.4章では,提案システムを用いた実環境での撮影実験について述べ,さらに実撮影映像を使用した回転補正手法の検証について述べる.また,ひび割れ検出手法について,実験用パイプでの映像に基づいて行った検証の結果について述べる.最後に5章で論文をまとめる.

2. 浮流型カメラの設計と実装

2.1 基本構想

前章で述べたように,本システムではマンホールの上から検査員が浮流型カメラを下水管に挿入し,浮流カメラが下水管内の下水で浮流移動して,管内を撮影する.撮影された映像はいくつかのマンホールに設置されたアクセスポイントを介してクラウド上のサーバに転送される.本研究の検査の対象としている下水管は,日本で敷設延長が最も長い塩化ビニル製および鉄筋コンクリート製の200–400 mm口径帯の汚水管および合流管*2である.硫化水素,土圧,木根の侵入等,下水管の中央より上部で主に生じるので*3,カメラは管内上部を撮影し続ける必要がある.また,下水管内の水による浮流移動を想定しているが,水の量が少ない場合は傾斜による移動も考慮しなければならない.

本稿では,二重カプセル構造の浮流型カメラの設計を提案する.図2のように,このカメラ装置は外側のカプセルの中に水と,カメラを搭載した内部ユニット(土台)を格納した構造となっている.この構造により,カプセルが回転移動する際に生じるピッチ軸およびロール軸回転をカメラの光軸に影響させず,光軸を常に上向きにさせるようにしている.

浮流型カメラの基本構想 Basic concept of the drifting camera.
図2 浮流型カメラの基本構想
Fig. 2 Basic concept of the drifting camera.

本研究における浮流型カメラでは,地上の検査員に映像を転送するため,カメラと通信機能を必須とする.この要件を満たすため,ポータブルメディアプレイヤーiPod touchと小型コンピュータRaspberry Piを用いた2種類の試作品を実装した.次節よりそれぞれの試作品について述べる.

2.2 iPod touchを利用した浮流型カメラ

本節では撮影機器にはカメラと無線機器が内蔵されているカメラ付きポータブルメディアプレイヤー(iPod touch MKH62J/A)を採用した浮流型カメラについて述べる.iPod touchのカメラを使いつつも広範囲に撮影するため,拡張の魚眼レンズ(TS-1258)を装着した.これにより垂直画角は148度,水平画角は118度になった.図3にiPod touchを利用した浮流型カメラの構造を示す.

iPod touchを利用した浮流型カメラ Drifting camera using an iPod touch.
図3 iPod touchを利用した浮流型カメラ
Fig. 3 Drifting camera using an iPod touch.

設計した構造に基づいて,カプセルを直径170 mm,厚さ2.5 mmのポリエチレンテレフタレートで製作して,撮影機器用の土台を直径160 mmのABS樹脂で造形した.照明には,配光角度が270度のWUBEN社製LEDライトG340(130 lm)2台に,遠隔拡散フィルム(LSD80PC10-5)を接着させた.試作品全体の重量は水を含んで820 gであった.

この試作品による撮影映像の品質について検証した.管径が200 mmの塩化ビニル管4 m(図4)に水を含まない状態で,浮流型カメラを平均速度0.3 m/sで転がしながら映像を撮影した.画像サイズを1,280×720 pixel,フレームレートを30 fps,エンコーディングにはH.264を用いて映像を記録した.図5に撮影映像を示す.図中の矢印は筆者の一人がカメラの進行方向を目視で確認して描画した結果であり,図5(b)から(c)までの間にヨー軸周りに約1/4回転していることを示している.

塩化ビニル管で構築した模擬下水環境 Simulated sewage environment constructed with a polyvinyl chloride pipe.
図4 塩化ビニル管で構築した模擬下水環境
Fig. 4 Simulated sewage environment constructed with a polyvinyl chloride pipe.
iPod touchを利用した浮流カメラによる入力映像の各フレーム Examples of input video frames from the drifting camera using an iPod touch.
図5 iPod touchを利用した浮流カメラによる入力映像の各フレーム
Fig. 5 Examples of input video frames from the drifting camera using an iPod touch.

ヨー軸回転の映像を検査員が視聴する場合,映像酔いする可能性がある.そこでiPod touchに搭載されているジャイロセンサを利用して,撮影機体の回転角度を計測し,計測した角度に基いて映像の回転補正を行うこととした.カメラの中心にジャイロセンサが搭載されていれば,ジャイロセンサが計測した角度をそのまま用いて回転補正が可能となるが,iPod touchにおけるジャイロセンサとカメラの位置関係は明らかではない.そのため,iPod touchに生じる回転軸のみを考慮して大まかな回転補正を行うこととした.ジャイロセンサから回転角度を取得して,映像に対して逆回転のアフィン変換を行うことで撮像系の影響を補正した.図5の入力映像に対して回転補正を適用した結果を図6に示す.図6(a)から(d)において進行方向がすべて同じであるため,映像酔いのおそれは軽減している.

センサ値による各フレームの回転補正結果 Result of rotation correction for each frame based on sensor values.
図6 センサ値による各フレームの回転補正結果
Fig. 6 Result of rotation correction for each frame based on sensor values.

上記浮流型カメラの実用化の検証に,上下水道局の練習場で直径250,300,450 mmの下水管で実験を行った.この結果,以下の課題が明らかになった.

浮流可能な水深 浮流可能な水深は37 mmであった.上流域の下水量は,時間帯によっては全くない場合もあるため,カプセルが浮流できない場合は給水車からの水流により移動させる必要がある.

撮影画角 撮影された映像のカメラの画角が十分ではないため,下水管内の上半分を網羅して撮影できなかった.

反射光 カプセルや水滴で照明光が反射し,映像の鮮明さが損なわれていた.

カプセル表面の傷 ポリエチレンテレフタレート製のカプセルは,表面に傷が発生しやすかった.この傷は検査員が目視で確認する際に視認性の低下につながることと,画像処理で下水管の損傷と誤検出する可能性があるため,できるだけ傷がつかない材質への変更が必要である.

映像の回転 ジャイロセンサによる回転補正手法では映像とセンサに生じる回転誤差が蓄積するため,センサ値のみの回転補正では限界がある.

2.3 Raspberry Piを利用した浮流型カメラ

iPod touchを搭載した浮流型カメラの問題(浮流可能な水深,撮影画角,反射光,カプセル表面の傷,映像の回転)を解決するため,撮影機器,照明,カプセル素材を変更して新たな試作を行った.

浮流可能な水深 撮影機器をiPod touchから,Raspberry Pi Zero WH(以降,Raspberry Pi)に変更し,バッテリに小型リチウムイオンポリマーバッテリ2,000 mAh(DTP-605068)を用いた.有効撮影時間は1時間である.中身を空洞にした土台を光硬化樹脂で製作して,Raspberry Piやバッテリを内部に格納させた.提案機体の重量は725 gである.iPod touchを搭載した機体の密度が3.8×10−4 g/mm2あったのに対して,直径160 mmカプセルにおいてRaspberry Piを搭載した機体の密度は3.3×10−4 g/mm2となり浮力が向上し,浮流可能な水深は,37 mmから30 mmに改善した.図7(a)に提案機体の構造を示す.

Raspberry Piを利用した浮流型カメラ Drifting camera using a Raspberry Pi.
図7 Raspberry Piを利用した浮流型カメラ
Fig. 7 Drifting camera using a Raspberry Pi.

撮影画角の広域化 撮影画角を広げるためにRaspberry Piに専用の魚眼カメラ(VR220)を接続した.VR220は垂直画角200度,水平画角220度の範囲を撮影できる.

反射光の抑制 十分な光量と広い配光角度を確保するために,照明にはLEDテープ(X1B50W)を用いた.LEDテープを土台上部側面に巻き,カメラと照明の光軸を垂直にすることで,反射光を抑制した.

カプセル表面の傷の抑制 カプセルの材質をポリエチレンテレフタレートから,傷が発生しにくい透明耐熱樹脂(TSR884B)に変更した.

浮流型カメラのサイズは,内部に搭載されるデバイスの容量,カプセル表面の反射光の影響,光造形システムの仕様で決定される.本システムでは浮流型カメラをできる限り小さくしたいが,カプセルのサイズを小さくすると反射光の影響を強く受けることが試作段階で明らかになっていた.本稿では,カプセルの直径が異なる2種類の機体を製作したので,これらについて紹介する.製作したカプセルのサイズは,この試作品の前に製作したカプセル(本稿未掲載)と同一のサイズの直径160 mm,光造形で製作可能な最小サイズでかつ反射光の影響が十分小さくなる直径120 mmとした.カプセルと土台の距離をできるだけ小さくするため,土台のサイズをカプセルに対して直径が10 mm小さい110 mmと150 mmで設計した.図7(b)にカプセルの直径が160 mmの試作品の外観を示す.

映像の回転 撮影された映像を利用した回転補正手法について検討した.次節に検討した手法について述べる.

3. 映像処理手法

二重カプセル構造に伴うカメラのヨー軸(水平方向)の回転を画像処理で補正する方法を設計・実装した.この方法はiPod touch版の試作で用いたジャイロセンサに依存しないので,汎用性が高いうえ,センサ測定値の誤差に伴う累積誤差が発生しにくいという利点がある.また,撮影映像から管壁のひび割れを検出する手法を設計・実装した.以下にそれぞれの手法について述べる.

3.1 回転補正手法

下水管内での撮影映像から浮流型カメラの回転角度を推定し,推定された回転角度に基づいて映像補正する手法について述べる.下水管内で撮影される映像には,図8(a)のように暗部領域が二箇所存在する.これらの領域は,管路の上流側と下流側に照明光が届かないことによって生じる.したがって,2つの暗部を端点とする線分のどちらかの方向が機体の進行方向となる.そこで,暗部領域を検出し,1フレーム前との位置を比較することで回転角度を推定して,逆回転のアフィン行列を施して回転を補正する.

回転補正手法 Rotation correction method.
図8 回転補正手法
Fig. 8 Rotation correction method.

浮流型カメラで撮影された映像を極座標系で表現すると,図9上のように,画像中央に原点,原点からの距離r,水平方向からの角度θによって映像上の点の位置を表すことができる.この極座標画像をパノラマ展開して,直交座標系で表現する.また撮影された映像では,映像上下で欠損が生じるため,パノラマ展開の際に,欠損部分を黒色で補間する.図8(a)に対するパノラマ展開画像を図8(b)に示す.そしてパノラマ展開画像をグレースケール変換して,固定閾値法により二値化を行う.この閾値については撮影内容に応じて動的に決定することが望ましいが,本稿では手法の効果の基礎的な検証のために固定とした.図8(c)に二値化した画像を示す.二値化した画像を用いて,横軸を画像回転角度θ,縦軸をθの各値における黒色画素数とした度数分布図(図8(d))を作成する.図10に示すように,前後フレームの度数分布の差分値の総和が最小となる回転角度dを算出し,逆回転のアフィン変換を入力画像に施す.提案手法に基づく回転角度の補正結果を図8(e)に示す.

パノラマ展開 Panorama development.
図9 パノラマ展開
Fig. 9 Panorama development.
度数分布の比較手法 Comparison method of frequency distributions.
図10 度数分布の比較手法
Fig. 10 Comparison method of frequency distributions.

3.2 ひび割れ領域検出手法

浮流型カメラで撮影した映像から自動的に下水管内の損傷箇所を検出する手法を設計した.損傷箇所の検出処理には,クラウド上に設置された計算サーバによる準リアルタイムのオンライン処理と,撮影後にカメラ本体に保存された映像データを取り出した後行うオフライン処理の両方を想定している.本稿では,撮影された映像から,損傷の1つであるひび割れ領域を検出する手法の設計について述べる.ひび割れ領域の検出には,道路やコンクリート建造物のクラック検出に用いられるガボールフィルタを用いた手法[11]を応用した.以下,図11(a)に示す提案機体で撮影した映像のフレームの一例を使用して説明する.

ひび割れ領域検出手法 Crack area detection method.
図11 ひび割れ領域検出手法
Fig. 11 Crack area detection method.

提案機体は二重カプセル構造なので,カメラ撮影映像には,外部カプセルについた傷が映り込む.したがって,ひび割れの検出時にはカプセルの傷が下水管壁のひび割れと誤認されないようにする必要がある.下水管内のひび割れは,グレースケールの画像上では,管壁と比較して輝度値が小さい.一方で,反射光およびカプセルの表面に発生した傷の場合,輝度値が大きい.そこでまず輝度値を利用して反射光とカプセルの傷の領域を除去する.つぎに,入力画像に対してグレースケール変換を行い,グレースケール変換した画像に対して閾値処理を施し,高い輝度値の画素のみを抽出した二値画像を生成する.この後,生成された二値画像をマスクとし,グレースケール画像に対するマスク処理により,反射光とカプセルの傷の領域を除去する.反射光とカプセルの傷が除去された領域では画素値に欠損が生じるので,欠損部分を修復する.このために,Teleaによる周辺の画素値を利用した画像補間手法[12]を欠損画像に適用する.図11(a)の画像に対し,反射光,カプセルの傷の除去後,欠損部分の修復を行った結果を同図(b)に示す.

欠損部分修復後の画像に対して輝度変化に頑健なガボールフィルタ[13]を適用して,方向(角度)ごとの線分を取得する.ガボールフィルタは以下の式で表される.\[g(x,y) = \exp \left( -\frac{x'^{2} + \gamma^2 y'^{2}}{2\sigma^2} \right) \cos \left( 2\pi \frac{x'}{\lambda} + \psi \right)\](1)

ここで,λは正弦波因子の波長,σの値はガウシアン包絡線の標準偏差,γは空間アスペクト比,ψは位相オフセットである.ここで,λ,σ,γ,ψは画像上の検出したいエッジ特徴に対して,経験的に決定される.図11(b)の画像に対し,ガボールフィルタを用いてすべての方向(θ)の線分を抽出して足し合わせた画像を図11(c)に示す.すべての線分の画像に対して固定閾値処理による二値化を行い,生成したすべての二値画像の論理和を求めた画像を図11(d)に示す.最後に,求めた論理和画像に対して細線化処理を施し,残った輪郭をひび割れ領域として判定する.ひび割れ領域を検出した結果を図11(e)に示す.

4. 実験と考察

本システムにおける浮流型カメラの実現性を検証するために,Raspberry Piを利用した試作品を実環境の下水管に投入して,下水管内の撮影を行った.本章ではまず,本実験の方法と得られた映像品質について述べる.つぎに実環境で撮影された映像に対して3章で述べた映像回転補正方法を施し,その効果について検証する.最後に,実験用の下水管に疑似的に設けたひび割れの映像を用いたひび割れの検出実験について述べる.

4.1 実環境での撮影実験

千葉県内の鉄筋コンクリート製の口径が直径250 mmと400 mmの合流管でRaspberry Piを登載した試作機を用いて映像撮影実験を行った.実験環境の様子を始点・終点間の距離と下水管の口径とともに図12に示す.

実環境での実験環境 Experimental environment in a real environment.
図12 実環境での実験環境
Fig. 12 Experimental environment in a real environment.

下水管の口径が直径250 mmの実験箇所1(図12(a))において,直径120 mmのカプセルの試作品で撮影した結果を図13に示す.実験時は下水管内に水が不足しており,浮流移動できなかったため,給水車から大量の水を上流から流すことによって浮流型カメラを移動させた.その際,浮流型カメラは平均速度約0.67 m/sで移動した.専門家に撮影した映像を見せたところ,撮影時の光量は十分であり,この映像の品質は下水管内の損傷を確認するには十分であるというコメントが得られた.

実験箇所1の撮影結果 Shooting results at experimental location 1.
図13 実験箇所1の撮影結果
Fig. 13 Shooting results at experimental location 1.

下水管の口径が直径400 mmの実験箇所2(図12(b))では水量が多く,浮流型カメラの姿勢が安定していたため,浮流型カメラのカプセルを外して,直径150 mmの土台を浮流移動させた.試作品で撮影した結果を図14に示す.浮流型カメラは平均速度約0.33 m/sで移動し,113 mの移動の間に45回程度水平方向に回転した.カプセルを外して浮流移動させたために水滴や反射光による乱れがない,高品質な映像を撮影することができた.このように下水管内の水量が十分にある区域では外部カプセルを外した状態でも検査に十分な映像の撮影ができることが確かめられた.

実験箇所2の撮影結果 Shooting results at experimental location 2.
図14 実験箇所2の撮影結果
Fig. 14 Shooting results at experimental location 2.

4.2 回転補正機能の検証

実験箇所2(図12(b))で撮影した映像に対して回転補正処理を施し,カメラの進行方向が映像上で固定されるかを評価した.ここで,暗部領域を限定するために,これまでに筆者らが撮影してきた複数の下水管映像に基づいて設定した二値化閾値を20*4とした.図15図16に入力映像と回転補正結果の一部を示す.それぞれの画像に対して筆者の一人が浮流型カメラの進行方向を目視で確認して矢印を描画した.回転補正が適切に行われている場合,下水管上流,下流の暗部が常に同じ位置に表示される.つまり図中に加えた機体進行方向を示す矢印が常に同じ方向を向いていることが望ましい状態である.図15(a)から(d)までの入力映像では,浮流型カメラはこの約17秒間に水平方向に約1回転していることが確認された.提案手法を施した補正結果では,図16(a)から(d)では暗部領域が画像中心に対する回転移動が少ないため,進行方向が固定された映像となった.しかしながら,投入時と撮影終了時までの2分28秒(52 m)間全体では,最大±10度程度の回転*5が確認された.下水管壁面に黒色領域が多い箇所で前後フレームの回転角度が誤推定され,補正が十分になされなかった.この誤推定は,二値化の閾値を適応的に行うことで回避できると考えられる.

Raspberry Piを利用した浮流型カメラで撮影された入力映像(約17秒間) Input video frames captured by the drifting camera using Raspberry Pi (approx. 17 sec.).
図15 Raspberry Piを利用した浮流型カメラで撮影された入力映像(約17秒間)
Fig. 15 Input video frames captured by the drifting camera using Raspberry Pi (approx. 17 sec.).
図15に対する回転補正の結果(約17秒間) Result of rotation correction for Figure 15.
図16 図15に対する回転補正の結果(約17秒間)
Fig. 16 Result of rotation correction for Figure 15.

4.3 ひび割れ領域検出の実証実験

3.2節で述べたひび割れ検出手法の精度について,地上に設置した長さ1,300 mmの塩化ビニル管(口径300 mm)による模擬実験環境(図17(a))で検証した.実際の下水管でひび割れのある箇所の映像を撮影し,それを用いた検証を行うのは容易ではないので,文献[14]の評価手法を参考にして,ひび割れに似せた画像を印刷して,実験管内に貼り付け,これを検出することとした.図17(b)の評価画像を印刷して,ひび割れに見立てた黒色領域のみを切り取り,塩化ビニル管内の4箇所に貼り付けた.黒色領域の最大幅は5 mm,最大長は150 mmであり,塩化ビニル管には水を入れず,傾きもない状態で配置した.この状態で,浮流型カメラを,管の一端から反対側まで初速を与えて転がした.映像のフレームサイズは1,280×720 pixel,フレームレートは25 fpsである.カメラの平均移動速度は0.138 m/sであった.撮影は10回行った.画像処理ライブラリにはOpenCV Ver. 4.0.0を利用した.最大輝度値255の画像に対して,カプセルの傷除去と線分抽出の二値化閾値を,それぞれ200,250とし,ガボールフィルタのフィルタサイズを31×31 pixel,パラメータをλ=10,σ=0,ψ=4,γ=0.5とした.θは,0–359度までの間を30度刻みで回転させた.これらのパラメータには,事前実験の結果に基づいて良好な結果が得られる値を選定した.

模擬実験環境((b)の傷:最大幅5 mm,最大長150 mm) Simulated sewer environment (cracks in (b): maximum width 5 mm, maximum length 150 mm).
図17 模擬実験環境((b)の傷:最大幅5 mm,最大長150 mm)
Fig. 17 Simulated sewer environment (cracks in (b): maximum width 5 mm, maximum length 150 mm).

映り込んだ評価画像を検出した場合(図11の赤線がひび割れの位置に1画素でも検出された場合)を正検出,筆者の一人が目視で確認して評価画像が映り込んでいないにもかかわらず,ひび割れがあると検出した場合を過検出,評価画像が映り込んでいるにもかかわらず,検出しなかった場合を未検出としたときの適合率,再現率を表1に示す.適合率は64.0%($\frac{208}{208 + 117} = 0.64$),再現率は100.0%($\frac{208}{208 + 0} = 1.0$)となり,設置したすべてのひび割れを見逃すことなく検出できた.正検出と過検出の画像例をそれぞれ図18(a),(b)に示す.大半の過検出は,マンホールの縁と塩化ビニル管のつなぎ目で生じていた.これはマンホールの縁,管の継目の線画像がひび割れと検出されたためである.これらの線図形は,マンホール部分,継目の特徴を基に容易に除外できると考える.マンホールならば円図形,継目部分はカメラ移動方向に対して垂直な長い直線となるので,これらを検出すればよい.

表1 ひび割れ検出結果
Table 1 Results of crack detection.
ひび割れ検出結果 Results of crack detection.
ひび割れ領域検出結果(赤色の線分) Result of crack area detection (red line segment).
図18 ひび割れ領域検出結果(赤色の線分)
Fig. 18 Result of crack area detection (red line segment).

実際の下水管映像に提案手法を適用させたところ,下水管壁面に存在する黒色の汚れを誤検出するという結果が毎フレームで発生した.この問題は,本稿で判定しているひび割れ領域が,輝度値が小さい(黒色である)画素としていたために発生した.図15に示すように汚れのテクスチャの黒色領域は,ひび割れの黒色領域よりも,幅広い形状を持っており,形状の特徴が異なる.この形状の違いに基づいて,汚れとひび割れの分類が可能と見込まれる.なお,本稿で採用したひび割れ検出手法では,事前実験の結果に基づいてパラメータを固定させている.今後動的なパラメータ調整手法の検討や,壁面のテクスチャについての調査が必要である.

4.4 使用条件についての考察

本稿では2種類のサイズの浮流型カメラを設計した.今回実施した実験では同一環境による比較を行っていないが,どちらのサイズの浮流型カメラで撮影された映像でも検査員が目視で検査するには十分な映像品質であるというコメントが得られた.

口径が小さい上流の下水管では時間帯によって水量が十分ではないため,今回の実験では給水車を利用したが,実利用場面では,水量が多い時間を狙って作業を行い,給水車に頼ることなく検査を実施できることが望ましい.また,実験に協力していただいた検査員から,「口径が大きい下流の下水管では上流の水が合流するため,水量が多くなる」というコメントをいただいた.下流では水量が多くなり,カプセルが管底に接したまま回転しながら移動することは起こりにくいため,下流で水量が多い場合は今回の実験のように浮流型カメラの外側のカプセルを外し,カプセルによる映像の劣化を防ぐことができる.

本稿で紹介した実験とは異なる老朽化した下水管での撮影実験では,蜘蛛の巣や埃がカプセルに付着して映像品質を低下させる事例が確認された.浮流型カメラで下水管内を撮影する前に,蜘蛛の巣や埃を除去するために,簡単な清掃(たとえばゴムボールを転がして蜘蛛の巣や埃をボールに付着させる)が必要となろう.

5. おわりに

本稿では浮流型無線ネットワークカメラシステムにおける浮流型カメラの設計と,浮流型カメラの二重カプセル構造によって生じる映像の回転を補正する手法,そして撮影映像に対するひび割れ検出手法の提案・実装について述べた.Raspberry Pi搭載した試作品を利用した実環境による実験では,下水管検査に十分な映像品質を確認することができた.撮影映像に対する回転補正結果ではスクリーニング検査に十分な映像品質が得られることが確認できた.模擬環境で検証を行ったひび割れ検出手法の検証では,ひび割れの未検出がなかった点に関しては有用性が確認された一方,マンホール縁や塩化ビニル管のつなぎ目の誤検出が多くみられた.すでに提案済みのマンホール検出手法[15]や,管継目の長い線分の検出と組み合わせることで,こうした誤検出は軽減できると見込まれる.

本稿で実験に利用した回転補正の二値化閾値やひび割れ検出におけるガボールフィルタの各パラメータについては,使用映像を確認して良好な結果が得られるように手動で設定しており,設定方法に関して十分検証できているとはいえない.そのため撮影映像ごとに動的に設定できるパラメータ決定手法については今後の検討課題である.

ひび割れを含む映像フレームの撮影位置の推定は,マンホールや撮影データ中継用のアクセスポイントなどの既知のランドマークに基づく補間で可能である.文献[15], [16]で筆者らはマンホールやアクセスポイントを画像処理および無線通信により検出し,これらのランドマークの位置と経過時間に基づく補間により各映像フレームの撮影位置を推定する手法を提案し,模擬環境で提案手法の効果を検証している.今後,本稿で述べた浮流カメラ機体,映像補正手法,およびひび割れ検出手法を,文献[10]の無線通信プロトコルの実装,アクセスポイントと組み合わせてシステムを構築する予定である.

謝辞 本稿で紹介した研究成果は,総務省戦略的情報通信開発推進事業(SCOPE)の助成による一連の研究で得られたものである.実験実施にあたっては株式会社日水コンによる協力をいただいた.名古屋市上下水道局および浦安市下水道課からは,下水管検査の現状に関して貴重なご意見を頂戴しているほか,実験設備のご提供をいただいた.また,浮流型カメラの製作には,株式会社アビストのご協力をいただいた.ここに記して深く感謝する.

参考文献
  • [1] 岩崎宏和,深谷 渉,川島弘靖,野田康江:下水道管路の持続可能なストックマネジメントに関する調査,平成29年度下水道関係調査研究年次報告書集,国総研資料,No.1056, pp.1–8 (2019).
  • [2] 日本下水道管路管理業協会:最新鋭・管内調査用tvカメラの実力,JASCOMA, Vol.17, No.33, pp.11–25 (2010).
  • [3] 朝日新聞DIGITAL:マンホール内で作業員2人死亡 有毒ガスが2種類発生,〈https://www.asahi.com/articles/ASNBP35RGNBPUJHB002.html〉(confirmed in July 2021).
  • [4] 小川文章,深谷 渉,末久正樹:スクリーニング調査を核とした管渠マネジメントシステム技術の概要,B-DASHプロジェクトNo.7スクリーニング調査を核とした管渠マネジメントシステム技術導入ガイドライン(案),国総研資料,No.876, pp.10–32 (2015).
  • [5] 関野 勇:ストリーム・カメラシステムによる幹線管きょのtvカメラ調査について,月間下水道,Vol.34, No.3, pp.55–58 (2011).
  • [6] Ishihara, S. and Sato, D.: Active Node Selection Inflowing Wireless Sensor Networks, Proc. 6th ICMU, pp.8–15 (2012).
  • [7] Nagashima, T., Tanaka, Y. and Ishihara, S.: Measurement of WLAN in Sewer Pipes for Sewer Inspection Systems Using Drifting Wireless Sensor Nodes, IEICE Trans. on Communications, Vol.E99-B, No.9, pp.1989–1997 (2016).
  • [8] 田中悠大,武居悠樹,石原 進:複数の浮流無線ノード協調による下水管内撮影データ回収手法の設計と実装,信学論,Vol.J100B, No.12, pp.1004–1013 (2017).
  • [9] Takei, Y., Liu, Z. and Ishihara, S.: Effect of Channel Bonding and Parallel Data Transmission with IEEE802.11n Wireless LAN in a Small Sewer Pipe, 2018 Int'l Conf. on Information Networking (ICOIN), pp.223–228 (2018).
  • [10] Ishihara, S., Liu, Z., Tachibana, S. and Yasuda, T.: Implementation of Video Data Transmission Protocol for a Narrow Sewer Pipe Screening System Using Drifting Wireless Cameras, 2020 Int'l Conf. on Information Networking (ICOIN), pp.384–389 (2020).
  • [11] 瀧内裕之,広兼道幸,林  勲:ガボールフィルタを用いたコンクリート構造物上のひび割れ抽出にする研究,日本知能情報ファジィ学会,ファジィシステムシンポジウム講演論文集,Vol.22, p.46 (2006).
  • [12] Telea, A.: An Image Inpainting Technique Based on the Fast Marching Method, J. of Graphics Tools, Vol.9, No.1, pp.25–36 (2004).
  • [13] Gabor, D.: Theory of Communication. Part 1: The analysis of Information, J. of the Institution of Electrical Engineers - Part III: Radio and Communication Engineering, Vol.93, No.26, pp.429–441 (1946).
  • [14] 野間康隆,早川健太郎,黒台昌弘,西村 毅:UAVマルチコプタ撮影画像を用いたコンクリート構造物のひび割れ画像処理,日本リモートセンシング学会誌,Vol.38, No.3, pp.234–240 (2018).
  • [15] 清水竣太,前田拓磨,澤野弘明,石原 進:下水管映像分割のためのマンホール検出方法の提案,第80回情処全大,2R-06, pp.2-459–2-460 (2018).
  • [16] 近本祐介,立花誠也,堤 悠喜,澤野弘明,石原 進:浮流無線観測機を用いた省労力下水管検査システムのための映像閲覧システムの構築,マルチメディア,分散,協調とモバイル(DICOMO2021)シンポジウム論文集,pp.741–749 (2021).
脚注
  • *1 下水管の損傷箇所を洗い出すための簡易検査
  • *2 汚水と雨水を流す管であり,汚水管と雨水管に比べて水量が多い
  • *3 上下水道局への取材による
  • *4 輝度値の範囲:[0:255]
  • *5 反時計回りに10度回転して,その後時計回りに10度回転

澤野 弘明(正会員)sawano@aitech.ac.jp

2006年早稲田大学大学院情報生産システム研究科修士課程修了.2009年同大学大学院博士後期課程修了.2007年日本学術振興会特別研究員.2009年アイ シン・エィ・ダブリュ株式会社を経て,2011年愛知工業大学情報科学部講師,2015年同大学准教授,現在に至る.スポーツ分析,教育支援システムに関する研究に従事.情報処理学会,電子情報通信学会,画像電子学会,日本芸術科学会,ACM各会員.


清水 竣太

2018年愛知工業大学情報科学部情報科学科卒業.2020年同大学大学院修士課程修了.画像処理に関する研究に従事.


國保 有香

2020年愛知工業大学情報科学部情報科学科卒業.2020年同大学大学院修士課程在学中.画像処理に関する研究に従事.


石原 進(正会員)ishihara.susumu@shizuoka.ac.jp

1994年名古屋大学工学部電気工学科卒業.1999年同大学大学院工学研究科博士後期課程修了.1998年日本学術振興会特別研究員.1999年静岡大学情報学部助手.2014–2015年カリフォルニア大学ロサンゼルス校客員研究員.現在,静岡大学学術院工学領域教授.博士(工学).モバイルコンピューティング,モバイルアドホックネットワーク,センサネットワークに関する研究に従事.IEEE,ACM,電子情報通信学会各会員.情報処理学会シニア会員.

受付日2021年9月3日
再受付日 2021年11月5日
採録日 2021年12月27日

会員登録・お問い合わせはこちら

会員種別ごとに入会方法やサービスが異なりますので、該当する会員項目を参照してください。