[概要]
近年,画素サイズの微細化に伴い映像機器の高解像度化が急速に進んでいる.しかし,低解像度の入力画像データをこれらの高解像度出力機器に表示する場合,高い解像度に拡大する必要がある.一般に用いられる拡大手法にはBilinear補間,Bicubic補間などがあるが,これらの手法では失われた高周波成分は復元されず,ぼけた画像が生成されやすいという問題がある.そこで,高周波成分を復元し,より鮮明な拡大処理を行う超解像と呼ばれる技術が注目されている.その代表的な枠組みとして,再構成型超解像と事例ベース超解像がある.
再構成型超解像では観測された低解像度画像は,本来の高解像度画像からぼけやダウンサンプリングなどの観測過程を経て得られた画像であるという仮定の下で,観測画像から本来の高解像度画像を推定するという逆問題を解くことになる.しかし,高解像度画像の次元に対し,得られた観測画像の次元が小さいため,一般的に不良設定問題となる.そこで,再構成型の手法では位置ずれのある複数の観測低解像度画像を利用し,解に対する拘束項の数を増やす.そして,初期の高解像度画像を設定し,観測モデルに基づき低解像度画像の画素値を算出する.この際,観測値と推定値との誤差を最小とするように高解像度画像を繰り返し更新することで再構成を行う.しかし,観測値と推定値との誤差を最小とするだけでは高解像度画像を推定するための情報が不足するため,望ましい画像が得られない場合がある.そこで,高解像度画像に対する先見情報を付加し,事後確率を最大化する最適化問題として高解像度画像を推定するMAP(Maximum
A Posteriori)法と呼ばれる手法がある.先見情報を利用することでより高品質な画像を再構成できるということが報告されている.
事例ベース超解像では予め取得した高解像度画像と,それを低解像度化した画像をペアとして構成される画像データベースを利用する.まず,処理対象の低解像度画像を5×5程度の小領域(以下,パッチと呼ぶ)に分割し,それぞれのパッチと類似する低解像度パッチを画像データベースから探索する.そして,見つかった低解像度パッチに対応する高解像度パッチを処理対象のパッチと置換することで高解像度画像を推定する.しかし,性能は画像データベースに大きく依存するため,処理対象の画像とデータベースの画像の性質が異なる場合,最も類似するパッチをそのまま置換するだけでは望ましい高解像度画像を得られないことがある.そこで,画像データベースを学習サンプルとし,低解像度パッチの画素の加重和として高解像度パッチを推定するという回帰問題に拡張することで,より高品質な画像を推定できることが報告されている.
しかし,いずれの手法にも複数の画像が取得できるという前提があり,静止画など画像が一枚しかない場合には適用できない.この問題を解決するために,画像の局所類似性に基づき,画像一枚から超解像を行う手法が提案されている.
本研究では,一枚超解像の精度を向上させることを目的とする.提案手法では,画像をパッチ毎に見れば,入力画像を縮小した画像内においても,被写体の輪郭やテクスチャ部分において,類似したパッチが多数見つかることに注目する.従来の一枚超解像の手法では,誤差逆伝播法により高解像度画像を推定しているが,画像の先見情報を導入しMAP法を適用することで,より高精度な超解像処理を実現できると考えられる.
与えられた一枚の画像のみを用いて高解像度画像の再構成を行う手法をMAP推定に基づき提案する.一枚の画像のみでは,再構成処理に必要となる拘束(高解像度画像空間内で輝度値が確定した位置)が不足する.そこで,本手法では,解像度の異なる画像間での局所的類似性を基に,サポートベクター回帰による画素補間を行うことで拘束数を増加させる.評価実験により,定量的・定性的に高品質な高解像度画像を生成できることを確認した.