デジタルプラクティス Vol.9 No.3 (July 2018)

恵山道立自然公園を事例とした複数台ドローンの自動飛行に よる精密な映像撮影手法の構築

山内 翔1  尾形 晃基2  鈴木 恵二2  川嶋 稔夫2

1北見工業大学  2公立はこだて未来大学 

近年,ドローンならではの山,海岸,湖沼など自然地形を対象とした映像を用いたプロモーションが積極的に行われている.こうした自然地形を対象としたドローン撮影では,人手での映像撮影が主流で,操作主の技量が必要とされている.しかし,広範囲にわたる撮影を計画的に,意図通りに,トラブルなく実施しようとする場合,人手では限界があり,ドローンの特性を活かした自動飛行による撮影を行うことが望ましい.そこで本稿では,自然地形を対象としたドローンの自動飛行による精密な映像撮影を行うため,安全に対象をモデリングし,そのモデルを用いた映像撮影用の飛行経路計画手法を提案する.その際,複数台のドローンを同時運用することを前提とし,機体間での性能のばらつきを吸収するための誤差検証方法を構築する.最後に,北海道道南地区の恵山道立自然公園で実際に本稿で提案する手法を用いた精密飛行による映像撮影を行い,本手法の有効性を検証した事例を示す.

1.はじめに

近年,ドローンの利用が活発となり,ドローンによるドローンならではの映像を用いたプロモーションなどが積極的に行われている.そのような映像の被写体として,山,海岸,湖沼など自然地形を対象とした映像が多く撮影されている.こうした自然地形を対象としたドローン撮影では,その対象が数km単位の広範囲におよぶため,対象物の正確な位置関係や形状を知ることが困難であり,人手での映像撮影が主流である.そのため,操作主の技量が必要とされている.しかし,広範囲にわたる撮影を計画的に,意図通りに,トラブルなく実施しようとする場合,人手では限界があり,ドローンの特性を活かした自動飛行による撮影を行うことが望ましい.

その際,映像撮影においては,ドローンに搭載されたセンサによる自律的な障害物の緊急回避行動のような場当たり的な対処法では予期せぬ移動が発生し,本来計画していた撮影の構図とは異なってしまうため,そのような事態は避ける必要がある.加えて,天候,時間帯など限られた場所と時間内に迅速に撮影する必要があるため,事前計画を容易に立てられ,その計画を現地で迅速に実施できる必要がある.

そこで本稿では,こうした条件下で安全な飛行経路を確保しつつ,被写体に接近した映像を撮るための,複数台ドローンの自動飛行による映像撮影手法を提案する.本稿で提案する手法では,まず複数台ドローンを用いて地形の起伏,森林などを含めた広範囲の地形測位によって3Dモデルの作成を行う.その3Dモデルを用いて安全な撮影飛行経路を構築し,自動飛行による映像撮影を行う.

地形のドローンによる測位では,土木工事向けの指針としてグリッド状の撮影が多く用いられている[1].しかし,山や森林部分を含む3次元的な形状を持つ地形測位では対象物同士の重なり合いが発生し,モデリングできない部分が多くなる[2].また,非常に広域を撮影する必要がある場合,ドローンの性能によってはグリッド状飛行では短期間では撮影しきれないことも予想される[3].そのため,本稿では多数の円形飛行による写真撮影から対象地域のモデリングを行う.

また,実際に撮影する際には被写体の立地や,人の往来,交通網等の状況により,離発着場所選定に,制限を受ける.こうした制限と,ドローンの飛行時間,飛行距離の制約[4]から,地形のモデリングのための円形飛行が一度では実行しきれない場合が多発する.こうした状況下での撮影時間の短縮のため,本稿では複数台のドローンの運用を前提とした手法を構築する.その際,複数台のドローンを用いた撮影では機体ごとの特性のばらつきから計測結果にばらつきが出ることが予想される.そのため,機体ごとの特性のばらつきを明らかにするための事前検証を行い,構築した対象のモデルとその検証結果とを合わせて撮影用飛行経路の安全性を判定する.

最後に,北海道南部にある恵山道立自然公園で実際に本稿で提案する手法を用いた精密飛行による映像撮影を行い,本手法の有効性を検証した事例を示す.

2.飛行管理システム構成と自動飛行による映像撮影までの流れ

本稿の提案手法では,広域の対象を撮影することを目的とするため,対象を分割して撮影する複数台のドローンを同時に運用できるシステムを使用する.そのため,飛行計画を区分的に進められ,かつ複数台の飛行管理を可能にする自動飛行管理システムを構築した.

2.1 利用するドローン機体

本稿のシステムでは,ドローン機体として DJI Phantom3 Professional,DJI Phantom4 Pro をはじめ,DJIのインテリジェントフライト機能を有する機種を使用可能で,複数台,複数機種を同時に管理できる.現在まで,最大4台での同時運用で撮影を行っている.

2.2 飛行経路管理

飛行経路は XML ファイルに記述する.飛行経路はウェイポイントの列として記述され,各ウェイポイントには緯度,経度,高度が記述されている.また,各ウェイポイントで実行する行動として,撮影用方向転換(カメラのヨー制御),カメラのピッチ制御,写真・動画撮影の有無を指定することができる.飛行経路を記述した XML ファイルを各ドローン機体にアップロードし,自動飛行を実行させる.

2.3 飛行時の機体情報モニタリング

各ドローン機体の状態はPCで一括したモニタリングが可能であり,飛行の中断や再開などの命令を送信できる.モニタリングする情報は各ドローンのバッテリ残量,機体の姿勢,位置座標,GPS信号レベル,機体識別番号である.各ドローンのモニタリングと命令の送信はPC側ソフトウェアで一括して行う.実際のモニタリング画面を図1に示す.

図1 複数台ドローンのモニタリングおよび命令送信画面

2.4 対象地形のモデリング

本システムでは,対象領域の地形モデルを SfM(structure from motion)で生成する.このモデリングは一般的に用いられている図2の流れで行うものとする[5],[6].まずドローンによる写真撮影を行い,疎な点群および密な点群を生成する.密な点群をもとにメッシュ生成を行い,最終的に各地点の標高値をディジタル化した数値標高モデルを生成する[7].ただし,空撮によるモデリングを行う際に,モデル精度の向上のために設置される GCP(ground control point)は用いないものとする.GCPを用いないのは,対象領域が広大で,かつ私有地が多く存在すること,また立ち入りの難しい自然地形が多いことから,基本的にGCPの設置が困難であるためである.モデリングには Agisoft Photoscan Professional edition を使用している.本稿での実験における対象のモデリングのための写真撮影では,グリッド軌道ではなく円形軌道により撮影を行っている.これは本稿での対象が自然地形であり,全体が広大であるため,撮影経路が短縮でき,撮影した写真同士のオーバーラップが均等に発生すると考えられるからである[8],[9].

図2 モデリングフローチャート

2.5 自動飛行による映像撮影までの流れ

映像撮影の自動飛行を行うまでの流れは以下のとおりである.

(1) 複数台ドローンで確実に安全な高度からモデリング用写真撮影を行う

(2) 対象領域のモデリングを行う

(3) 対象領域のモデルを利用して安全飛行可能な場所を割り出し,目的に合わせた撮影飛行経路を用意する

(4) 自動飛行による映像撮影を行う

まず,明らかに障害物が存在しないと考えられる十分な高度から,飛行経路の安全判定のためのモデリング用写真撮影を行う.その写真を用いてSfMによるモデリングを行い,対象領域のモデルを得る.このモデルにおいて対象物に応じて,安全を保障できる十分な距離 x 1 (m) と,機体間で発生する最大誤差 x 2 (m)より,構築したモデル表面からの垂直距離および斜面に対する垂直距離双方が x 1 + x 2 (m) 以上である領域を安全飛行可能な領域とする.こうして算出した安全領域内で望ましい飛行経路を計画し,自動飛行による撮影を行う.なお,安全を保障できる十分な距離 x 1 (m)は,単にモデルの精度だけを表す値ではなく,実際にドローンを飛行させた際に起こる可能性がある突風や動作不良といった,外的・突発的・偶発的な要因による予期せぬ動作を吸収し,安全な飛行を続行できる距離を表している.

3.複数台による機体位置の誤差の検証

本稿では,対象の規模が数km単位であるため,複数台のドローンを用いて安全な撮影経路計画のための対象のモデリングを行う必要がある.これら複数台のドローンは,個体間の精度のばらつきをはじめ,複数機種が混在する場合は異なる機種間の性質の差があるため,同様の位置座標を指定しても,実際の飛行の際には位置のずれが生じると考えられる.安全な飛行のためには,実際に用いる機体に対応した誤差の範囲を,飛行実施前に知っておく必要がある.本稿では,複数の機種を混在して用いる状況を想定するとともに,たとえ,機体自体の詳細な性能がブラックボックスであっても,誤差の検証が可能な手法を提案する.

そこで,実際に用いるすべての機体ごとに事前に検証用モデルを作成し,各機体の指定位置からの誤差範囲を検証する.まず,すべての機体に同様の撮影計画を実行させる.このときに,各撮影ポイントでのハードウェアトラブルによる撮影失敗回数や,その撮影位置のずれをすべて考慮して誤差範囲を検証する.

本稿では複数機種が混在する3台のドローンを同時に利用する際の事例を示す.今回は公立はこだて未来大学校舎を検証用被写体として検証を行った.まず,撮影経路として公立はこだて未来大学校舎中心から半径100mの円状の領域を均等に72個所に分割し,ついで,各個所の高さ80mの位置から,カメラを水平から下向き60度に向けて撮影を行う経路を設定した(図3).撮影個所は72個所であるが,実際にはその時の天候や機体の状態により撮影に失敗する場合もある.そのため,撮影枚数そのものも機体の性質に依存するため,撮影数も考慮した検証を行う必要がある.同条件下での各機体の平均撮影枚数を表1に示す.この結果は3機の各機体ごとに3回同様の撮影を行わせ,そのときの平均撮影枚数を表したものである.次に,公立はこだて未来大学校舎の内,基準となる水平方向3辺,垂直方向3辺を定め,それぞれA,B,CおよびD,E,Fとする.各機体3回の撮影写真からそれぞれモデリングを行い,それぞれの結果をA,B,CおよびD,E,Fの実寸と比較し,その差を計算する.A,B,CおよびD,E,Fを図3に示す.機体3回のモデルの内,測定値の最大値および最小値から実寸を引いた値をそれぞれ d max d min とし,表2表3に列挙する.実際に作成された公立はこだて未来大学校舎のモデルの例を図4に示す.これらの表2,表3の結果から,機体間の水平方向(A,B,C),垂直方向(D,E,F)の各方向に対し,それぞれ最大となる d max と最小となる d min を抜き出し,両者の差を計算する.結果は表4のようになった.表4より,機体間では最大で水平方向に d h =3.7226(m),垂直方向に d v =2.310(m)の差が想定され,両者が同時に発生した場合, x 2 = d h 2 + d v 2 = 4.381(m) の機体間の位置の誤差が発生すると考えられる.

図3 公立はこだて未来大学校舎の検証用撮影経路と,計測する基準 となる6辺.D, E, F は垂直方向の辺を表す.
表1 機体ごとの実際の撮影数
表2 水平方向の実寸からの差
表3 垂直方向の実寸からの差
図4 作成した公立はこだて未来大学の校舎モデルの例
表4 水平・垂直方向の機体間の最大誤差

4.恵山道立自然公園における自動飛行による映像撮影実験事例

4.1 恵山道立自然公園のモデリング

次に恵山道立自然公園を対象とした自動飛行による映像撮影の事例を示す.恵山道立自然公園は,北海道道南地区の活火山恵山を中心とする道立自然公園であり(図5),その中でも,主に観光客・登山客が訪れるエリア周辺を対象とした観光プロモーション用動画の作成が目的である.観光プロモーション用映像として,恵山の山肌,渓谷に接近した映像を多く撮影することが望まれる.しかし,恵山地域一帯には木々が植生しておりその大きさや領域も変化する.山頂部や山々の間を通過する安全な撮影飛行経路を構築するためには,実際の高さやその変動具合を撮影時にある程度知る必要がある.また観光客が多く訪れるという性質上,ドローン飛行のための安全な離発着場所が限られる.そのため,今回は市等が管理する駐車場等や,私有地において許可を得て離発着場所とした.離発着個所は計5個所である.モデリングの対象となるエリアは 5.9(km) x 4.3(km) におよび,離発着場所から撮影場所までの最大距離は後述する例外的に手動操縦を行った個所を除き1.5(km)である.恵山道立自然公園モデリングのための円形飛行経路を図6に示す.図6の実線は実際に飛行した円形飛行経路を表している.この円形飛行経路は,モデリング対象を完全に被覆し,円同士のオーバーラップがある程度確保されるという条件下で,撮影期間内に撮影が終わるように計画し,手動で位置を決定している.また,図6の白点線で囲まれた個所は離発着場所からの距離が2〜3(km)程度ある.バッテリの消費量は周囲の気温や風の影響を受けて変動する.そのため自動飛行で円形飛行を行う場合,バッテリ量に余裕がない距離を飛行させるとバッテリ消費量の正確な予測ができず,バッテリ切れを起こす可能性があり安全な飛行の保障ができない.そこで,バッテリ残量に応じて撮影枚数や撮影位置を臨機応変に変更するため,これらの個所では例外的に手動操縦で撮影を行った.手動操縦であり,かつできる限り距離を稼ぐ必要があるため,円形軌道のような複雑な飛行は避け,直線的に飛び,局所的に周囲の写真を撮影した.そのため,図6の白点線で囲まれた個所の写真は不規則に撮影されたものとなっている.

図5 恵山道立自然公園
図6 恵山道立自然公園モデリング用撮影経路.画像は地理院地図を利用.

撮影には第3章で検証した3機を用いた.撮影したすべての写真を用いてモデリングした恵山道立自然公園のモデルを図7に示す.撮影は2017年7月下旬から10月上旬にかけて合計29時間行った.総写真枚数は1,645枚(手動撮影数は423枚)で,モデリングにはIntel corei7-6700k 4コア4.0-4.2GHz,メモリ64GB,GeForce GTX980MのPCを用いて103時間ほどの計算時間を要した.

図7 作成した恵山道立自然公園のモデル

4.2 モデルを利用した自動飛行による映像撮影経路設計

実際に構築した恵山道立自然公園の,経路の安全性判定のためのモデルを用いて,安全と確認できた望ましい撮影経路を構築した.今回は,天候から受ける影響を考慮し,安全を保障できる十分な距離 x 1 = 45(m) とし,モデリング用の写真撮影は第3章で用いた3機で行っているため機体間の最大誤差 x 2 = 4.381(m) から簡単のため x 2 = 5(m) と置き,安全である飛行領域をモデル表面からの垂直距離と斜面に対する垂直距離の双方が x 1 + x 2 = 50(m) 以上の領域とした.なお,各機体の飛行経路はすべて互いに x 2 = 5(m) 以上離れるように設計されているが,帰還の際に離発着地点において最も接近し,5(m)以内まで接近するケースがあった.しかし,離陸時に x 2 =5(m)を満たすように配置しているため,機体同士が衝突することはなかった.実際の映像撮影経路を図8に示す.高度はモデル表面からの垂直距離50(m)に設定しているが,斜面がある場合は斜面に対する垂直距離が50(m)になるように50(m)より大きな値に設定してある.なお,この飛行経路は安全である飛行領域内に設定された,望ましい構図の映像を撮影するための飛行経路である.そのため,モデリング時の飛行経路とは異なり,円形ではない.この経路により,実際に安全な飛行を行い,映像を撮影することができた.実際に撮影した動画の一部を図9に示す.

図8 映像撮影経路の概要
図9 撮影された動画

4.3 考察

本稿で提案した映像撮影経路の構築法により,安全かつ望ましい映像を撮影することができた.しかし,今回の事例では安全を保障できる十分な距離 x 1 を天候や対象の性質から経験的に定めている.この値は,モデリング用写真撮影の状況や被写体の性質と位置関係,映像撮影時の天候などにより変化すると考えられる.今後は x 1 を状況に合わせて計算可能にするとともに, x 1 の性質の検証をさらに重ねることで,今回定めた x 1 =45(m)を更に短縮し,より被写体に接近した映像が撮影できる可能性がある.

5.まとめ

本稿では,自然地形を対象としたドローンの自動飛行による精密な映像撮影を行うため,安全に対象をモデリングし,そのモデルを用いた飛行経路計画手法を提案した.その際,自然地形は広範囲に及ぶこととドローンの性能的制限から,複数台で運用することを前提とし,機体間での性能のばらつきを吸収するための誤差検証方法を提案した.実際に恵山道立自然公園にてモデリングおよび自動飛行による精密な映像撮影を行った事例を示し,本手法の有効性を確認した.

謝辞 本研究は平成29年度南北海道学術振興財団学術研究 支援事業からの支援を受けたものである.

参考文献
  • 1) Siebert, S. and Teizer, J.:Mobile 3D Mapping for Surveying Earthwork Projects using an Unmanned Aerial Vehicle (UAV) System, Automation in Construction, Vol.41, pp.1-14, Elsevier(2014).
  • 2) Schmid, K., Hirschmüller, H., Dömel, A., Grixa, I., Suppa, M. and Hirzinger, G.:View Planning for Multi-View Stereo 3D Reconstruction Using an Autonomous Multicopter, Journal of Intelligent & Robotic Systems, Vol.65, pp.309-323, Springer(2012).
  • 3) Franco, C. D. and Buttazzo, G.:Coverage Path Planning for UAVs Photogrammetry with Energy and Resolution Constraints, Journal of Intelligent & Robotic Systems, Vol.83, pp.445-462, Springer (2016).
  • 4)Maza, I., Kondak, K., Bernard, M. and Ollero, A.:Multi-UAV Cooperation and Control for Load Transportation and Deployment, Journal of Intelligent & Robotic Systems, Vol. 75, pp. 417-449, Springer (2010).
  • 5)Smith, M. W., Carrivick, J. L. and Quincey, D. J.:Structure from Motion Photogrammetry in Physical Geography, Progress in Physical Geography, Vol.40, pp.247-275 (2016).
  • 6)Lucieer, A., Jong, S. M. and Turner, D.:Mapping Landslide Displacements using Structure from Motion (SfM) and Image Correlation of Multi-temporal UAV Photography, Progress in Physical Geography, Vol.38, pp.97-116 (2014).
  • 7)Westoby, M. J., Brasington, J., Glasser, N. F., Hambrey, M. J. and Reynolds, J. M.:‘Structure-from-Motion’ Photogrammetry :A Low-cost, Effective Tool for Geoscience Applications, Geomorphology, Vol.179, pp.300-314, Elsevier (2012).
  • 8)Nex, F. and Remondino, F.:UAV for 3D Mapping Applications: A Review, Applied Geomatics, Vol.6, pp.1-15, Springer (2014).
  • 9)Liénard, J., Vogs, A., Gatziolis, D. and Strigul, N.:Embedded, Real-time UAV Control for Improved, Image-based 3D Scene Reconstruction, Measurement, Vol.81, pp.264-269, Elsevier (2016).
山内 翔(非会員)sho-yama@mail.kitami-it.ac.jp

1988年10月27生.2014年北海道大学大学院情報科学研究科複合情報学専攻複雑系工学講座博士後期課程修了.2014年より日本学術振興会特別研究員.2016年より北見工業大学助教.自律ロボットシステムの研究に従事.博士(情報科学).

尾形 晃基 (非会員)

1995年生.2018年公立はこだて未来大学システム情報科学部複雑系知能学科卒業.在学中,ドローンを利用した自動飛行撮影の研究を行う.

鈴木 恵二(正会員)kjsuzuki@fun.ac.jp

1965年生.1993年北海道大学大学院工学研究科精密工学専攻博士後期課程修了.同年北海道大学助手.1995年同大学助教授.2000年公立はこだて未来大学助教授.2004年同大学教授.2008年北海道大学教授,2015年公立はこだて未来大学教授,現在に至る.複雑系工学,マルチエージェントシステム,マリンIT等の研究に従事.博士(工学).人工知能学会,観光情報学会等各会員.

川嶋 稔夫(正会員)kawasima@fun.ac.jp

1982年北海道大学大学院修士課程修了.同年,苫小牧高専助手.1984年北海道大学工学部助手.1990年同講師.1992年同助教授.2000年公立はこだて未来大学教授,現在に至る.情報メディアに関する研究に従事.工学博士.電子情報通信学会,ACM,各会員.

投稿受付:2017年12月11日
採録決定:2018年4月5日
編集担当:峯 恒憲(九州大学大学院)

会員登録・お問い合わせはこちら

会員種別ごとに入会方法やサービスが異なりますので、該当する会員項目を参照してください。