Graduate School of Information Sciences, Tohoku University
(Department of Electrical, Information and Physics Engineering, School of Engineering, Tohoku University)
Computer Structures Laboratory

少数視点画像からの高精度な 3 次元復元に関する検討

高間 夏暉   (東北大学),  伊藤 慎太郎   (東北大学),  伊藤 康一   (東北大学),  青木 孝文   (東北大学)

2024.

Graphical Abstract
Abstract

3 次元データを取得するために,複数の異なる視点で撮影された多視点画像から対象の 3 次元形状を復元する多視点 3 次元復元が用いられている. 画像のみから対象の形状を復元できるが,多数の画像の撮影が手間であったり,環境によって多数の視点から撮影できなかったりする問題がある. また,現在までに提案されている多視点 3 次元復元手法を用いて,少数の視点で撮影された少数視点画像から復元を行っても,復元精度が低い. 本稿では,多視点画像から高精度にデプスマップを推定できる 2D Gaussian Splatting (2DGS) を少数視点画像に対応させることで,少数視点画像から高精度に 3 次元復元を行う手法を提案する. 2DGS に対して,デプスを用いた損失と,画像の再投影に基づく損失を導入することで,少数視点画像から高精度にデプスマップを推定し,それらを統合することで 3 次元復元を行う. 3 次元復元用の多視点画像データセットを用いた精度評価実験を通して,提案手法の有効性を実証する.