位相情報に基づく画像マッチングとその応用展開
―― ピクセル分解能の壁を越える画像処理技術をめざして ――
Phase-Based Image Matching and Its Applications
--- Toward Image Processing Technology beyond the Limit of Pixel Resolution ---


青木 孝文
Takafumi Aoki
東北大学 大学院情報科学研究科
Graduate School of Information Sciences, Tohoku University

1. まえがき

 画像マッチングは,画像・映像信号処理やコンピュータビジョンなどの分野で重要になる基本処理です.通常,ピクセル精度の画像マッチングが用いられることが多いですが,近年,サブピクセルのレジストレーション性能を有する画像マッチングへの要求が高まっています.画像の位相情報を用いたレジストレーション [1,2] はその精度が高く,上記の要求に対する1つの解を与えると考えられます.以下では,私のグループが開発してきた位相情報に基づく一連の画像マッチング技術「位相限定相関法」[3,4,5,6]とその応用について述べます.位相限定相関法は,高精度な画像対応づけが必要となる各種応用で有効であるのみならず,最近では,バイオメトリクス認証のための生体画像の照合においても有用性が示され,今後の広範な展開が期待されています(図1).

位相限定相関法の応用展開
図1 位相限定相関法の応用展開

2. 位相限定相関法の原理と技術概要

 2枚の画像が与えられたとき,それぞれの画像の2次元離散フーリエ変換を振幅成分で正規化したうえで積をとったものを合成位相スペクトルと呼びます.位相限定相関関数(POC 関数)は合成位相スペクトルの2次元逆離散フーリエ変換として定義されます.画像が類似している場合,POC 関数はきわめて鋭いピークを有します.この相関ピークの高さは画像の類似度の尺度として有用であり,さらにピークの座標は2枚の画像の相対的な位置ずれに対応します.
【平行移動量推定 [3]】スペクトル重みづけによる位相成分の抽出と解析的モデルに基づく POC 関数のピーク座標のサブピクセル推定により,サイズが 100×100 の画像の平行移動量を 1/100 ピクセル程度の精度で推定することが可能です.
【対応点探索 [4]】上記を局所的な画像ブロックのマッチングに適用し,coarse-to-fine 探索とサブピクセル窓あわせ法を組み合わせることにより,2枚の画像の対応点をサブピクセル精度で検出することができます.サイズが 11×11 の画像ブロックを用いて約 1/20 ピクセル精度の対応付けが可能です.
【相似変換パラメータ推定 [3]】平行移動量推定を応用して,画像サイズが 250×250 程度の場合,回転角度誤差 1/40 度,倍率誤差 1/10000 程度の高精度パラメータ推定が可能です.
【画像類似度の評価 [5]】帯域制限型の POC 関数を用いて,画像の特性変化にロバストな画像照合を実現できます.

3. 工業市場向け画像認識システムへの応用

 位相限定相関法に基づく工業市場向け超高速画像認識システム(図2)が実用化されています [7].本システムは画像の類似度・平行移動量・回転角度を出力する機能を有し,専用 ASIC [8] により POC 関数(128×128)の計算を 3ms 弱で実行できます.液晶基板や半導体ウエハ等の位置決め装置,製本検査装置など幅広い応用に適用されています.

超高速画像認識システム
図2 超高速画像認識システム

4. 電子顕微鏡向け画像解析技術への応用

 位相限定相関法に基づき,従来は困難であった透過型電子顕微鏡(TEM)のオートフォーカス機能が世界で初めて実現されています [7].また,近年,電子顕微鏡画像の倍率推定の問題(図3)に位相限定相関法が適用され,顕微鏡の高精度な倍率校正を実現できる可能性が示されています [9].

電子顕微鏡画像の倍率解析
図3 電子顕微鏡画像の倍率解析

5. 高精度・受動型3次元計測技術への応用

 レーザ走査やパターン投影などを用いない受動型の3次元計測において,能動型計測に匹敵する精度を実現するためのブレークスルーが示唆されています [9, 10].短基線長ステレオビジョンと位相限定相関法のサブピクセル対応点探索を組み合わせることで,自動車部品や顔などの3次元形状を高精度に計測できることが実証されています(図4).

サブピクセル対応付けに基づく受動型3次元計測
図4 サブピクセル対応付けに基づく受動型3次元計測(左:3次元計測システム,右:3次元復元した顔)

6. バイオメトリクス認証への応用

 位相限定相関法は指紋などの生体テクスチャの照合に有効です [5, 6, 9, 11].すでに実用化された指紋照合装置(図5)は,指紋画像の劣化に強く,手荒れや乾燥肌のユーザーにも利便性が高いです.一方,位相限定相関法は虹彩照合においても世界最高水準の性能を発揮することが明らかになっています [12].さらに,上記の高精度・受動型3次元計測による3次元顔認証の実用化研究が進んでいます [9, 10].図4に示す顔によるバイオメトリクス認証では,これまで2次元の画像を用いることが多く,十分な安全性が得られませんでした.これに対して,顔の正確な3次元データを得ることにより,高い精度で個人を識別することが可能であります.この3次元計測技術は,顔の表情の違いなども識別できるほどの性能も持っているため,近い将来,コンピュータに人間の表情を理解させることができる可能性があります.

指紋照合装置
図5 指紋照合装置

7. 高品質映像処理への応用

 位相限定相関法によるサブピクセル対応点探索 [4]は,そのまま映像のサブピクセル動き推定に適用することが可能であり,従来法と比較して精度とロバスト性の両面から優れています [9, 13].超解像,オブジェクト抽出,背景スプライト生成(図6)などの各種映像処理に適用されています.

背景スプライト生成への応用
図6 背景スプライト生成への応用(左:原画像,右:背景スプライト)

8. むすび

 位相情報に基づく一連の画像マッチング技術である「位相限定相関法」は,広範囲の応用にインパクトを与えつつあります.今後,システム LSI 技術の高性能化とともに,コンシューマ製品などへの展開も加速するものと期待されます.

謝辞

 東北工業大学の樋口龍雄教授,株式会社山武の小林孝次氏,中島寛氏,勝亦敦氏,松下電器産業株式会社の近藤敏志氏,株式会社日立製作所の常田るり子氏,スズキ株式会社の山華義博氏,小野勝一氏に深謝いたします.

参考文献

[1] C. D. Kuglin, et al., "The phase correlation image alignment method," Proc. of International Conference on Cybernetics and Society, pp. 163--165, 1975.
[2] Q. Chen, et al., "Symmetric phase-only matched filtering of Fourier-Mellin transforms for image registration and recognition," IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 16, no. 12, pp. 1156--1168, Dec. 1994.
[3] K. Takita, et al., "High-accuracy subpixel image registration based on phase-only correlation," IEICE Trans. Fundamentals, vol. E86-A, no. 8, pp. 1925--1934, Aug. 2003.
[4] K. Takita, et al., "A sub-pixel correspondence search technique for computer vision applications," IEICE Trans. Fundamentals, vol. E87-A, no. 8, pp. 1913--1923, Aug. 2004.
[5] K. Ito, et al., "A fingerprint matching algorithm using phase-only correlation," IEICE Trans. Fundamentals, vol. E87-A, no. 3, pp. 682--691, Mar. 2004.
[6] H. Nakajima, et al., "Pattern collation apparatus based on spatial frequency characteristics (USP 5915034)," US Patent, May 1995.
[7] http://www.aoki.ecei.tohoku.ac.jp/research/poc.html
[8] M. Morikawa, et al., "Pixel-and-column pipeline architecture for FFT-based image processor," Proc. of the 2002 IEEE International Symposium on Circuits and Systems, vol. 3, pp. 687--690, May 2002.
[9] 電子情報通信学会技術報告, vol. 105, no. 145?146, Jun 2005 (位相限定相関法関係5件発表:SIP2005-35, SIP2005-36, SIP2005-37, SIP2005-40, SIP-2005-42).
[10] N. Uchida, et al., "3D face recognition using passive stereo vision," Proc. of the 2005 IEEE International Conference on Image Processing, Sep. 2005 (to be published).
[11] K. Ito, et al., "A fingerprint recognition algorithm using phase-based image matching for low-quality fingerprints," Proc. of the 2005 IEEE International Conference on Image Processing, Sep. 2005 (to be published).
[12] K. Miyazawa, et al., "An efficient iris recognition algorithm using phase-based image matching," Proc. of the 2005 IEEE International Conference on Image Processing, Sep. 2005 (to be published).
[13] H. C. Loy, et al., "Robust motion estimation for video sequences based on phase-only correlation," Proc. of the 6th IASTED International Conference on Signal and Image Processing, Aug. 2004.




もどる