AR（拡張現実）ソリューションなどを手掛けるホロラボ（東京・品川区）は4月18日、西松建設と、ドローンの空撮映像に3Dモデルをリアルタイムで重畳し、ヘッドマウントディスプレイと連携することで、施工の可視化とドローンの操縦を支援する技術を開発したと発表した。
今回の技術では中国DJI（ディージェイアイ）のドローン「Mavic 3 Enterprise」にRTKモジュールを搭載。GNSS（全地球航法衛星システム）の位置情報と、ドローン自身の姿勢、カメラの情報をひも付け、マーカーを必要とせずにリアルタイムなAR重畳を行った。3Dモデルの配置には設計の緯度経度情報を利用し、登録された指定座標にウェブブラウザから直接配置できるようにした。
同時に、ドローンの操縦を行いながら制御をすることで作業が複雑化するのを解決するため、操縦者が透過型XR（クロスリアリティ）ヘッドマウントディスプレイ「Trimble XR10 with HoloLens2（XR10）」を装着し、操縦している手を放すことなく様々な情報を把握、操作を補助するシステムを開発した。
「XR10」の空間ヘッドアップディスプレイ（HUD）では、AR重畳された空撮映像のほかに、ハンドトラッキングで操作できる3Dモデルの制御UI（ユーザーインターフェース）、撮影機能、飛行中のドローンのステータスが確認できる。また、位置情報に基づいてドローンの飛行位置をARで投影された地図上に表示する。そのため、カメラの向きを切り替えての確認が不要で、目視では把握しづらい遠方のドローンの位置を俯瞰的に把握できる。
さらに、ARレンダリングの処理負荷がドローン制御やXRデバイスに影響するのを回避するために、システムの演算作業を現場ネットワーク内の高性能PCで処理。PCから現場のネットワーク上で映像を共有することで、機器の負担を軽減しながら、高解像度なリアルタイムレンダリングと通信速度を可能にした。加えて、遠隔会議システムと連携し、インターネット経由で遠隔地からも空撮映像の共有できるようにした。
ホロラボと西松建設は、西松建設が宮城県名取市に施工中のダム建設現場で開発のフィールド検証を実施。
検証の結果、ドローンの空撮映像にダム堤体や岩級区分の3Dモデルを重畳し、自由な視点での現場全体の確認と、現況と施工計画を比較できることを確かめた。また、ドローンが機動力を生かして広大なフィールドを短時間で移動と確認ができるため、従来のAR技術と比較して、現地での移動時間を大幅に短縮できることも確認した。
検証では、自由視点での3Dモデルを重畳した広域現場での状況把握や、作業時間の削減を確認できた一方で、ドローンの移動中の伝送速度とレンダリング速度の差による重畳精度のズレなども判明した。そのため、2社は今後、精度向上とシステムの最適化、操作性と利便性の向上に向け機能を拡張し、汎用利用可能なサービスとして展開するべく開発を進めるとしている。
