対応点を用いないローリングシャッター歪み補正と...
TRANSCRIPT
対応点を用いないローリングシャッター歪み補正と映像の安定化 ～ 並進から回転へ
Rolling Shutter Distortion Correction and Video Stabilization without Correspondence
～ from Translational to Rotational Motion
松永 力Chikara Matsunaga
株式会社朋栄アイ・ビー・イーFOR-A IBE Co., Ltd.
E-mail: [email protected]
SSII2015 IS1-16:
2015年6月11日（木）
監視カメラ監視カメラ
2015年6月11日（木）
ビデオスタビライザ
監視カメラ
揺れ映像
揺れ補正映像
ビデオスタビライザビデオスタビライザ
シーン
2015年6月11日（木）
加速度センサ＋レンズ移動 画像処理
レンズレンズ
【光学式】 【電子式】
光学式vs電子式光学式vs電子式
2015年6月11日（木）
研究の概要研究の概要
● ローリングシャッターに起因する映像の動き歪み変形を 隣接する画像間のグローバルな動きの変換としてモデル化し， 回転を含む一般的な運動の場合に拡張する．
● 動き歪みパラメータを“逆結合Lucas-Kanadeアルゴリズム”の 更新量を 1次近似した“近似逆結合Lucas-Kanadeアルゴリズム” により推定する．
● 移動カメラの場合に，推定した並進パラメータの時系列変化に 対して，“巡回型バイラテラルフィルタ”により揺れ成分を除去して， カメラの移動を保持したまま，映像中の揺れのみを補正する．
2015年6月11日（木）
ローリングシャッター順次露光による動き歪みローリングシャッター順次露光による動き歪み
円が画像の下方向へ移動する場合（カメラが上を向く場合）とその結果の歪み画像．
縦線が画像の右方向へ移動する場合（カメラが左を向く場合）とその結果の歪み画像．
2015年6月11日（木）
ローリングシャッター動き歪みモデルローリングシャッター動き歪みモデル
並進動きを仮定すると， 速度 は １ フレーム時間 で割ることによって得られる．
画像縦横サイズが のCMOSカメラが動くと，撮影されたシーン中の物体の特徴点 は 1 フレーム期間中に画像の動き によって動くとする．
CMOS動き歪み位置 は，
2015年6月11日（木）
ローリングシャッター並進歪み（１）ローリングシャッター並進歪み（１）
画素位置 までの経過時間を と近似すると，
と の間の並進歪み変換は，次のようになる．
2015年6月11日（木）
ローリングシャッター並進歪み（２）ローリングシャッター並進歪み（２）
2015年6月11日（木）
ローリングシャッター並進歪み（３）ローリングシャッター並進歪み（３）
と置いて，行列の各要素を等値する．
松永 力, 対応点を用いないローリングシャッタ歪み補正と映像安定化, 第19回画像センシングシンポジウム(SSII2013)講演論文集, 横浜(パシフィコ横浜), 2013年6月.
2015年6月11日（木）
カメラが左を向くと画像は右に変形する．
カメラの移動による画像の並進歪み（１）カメラの移動による画像の並進歪み（１）
2015年6月11日（木）
カメラが右を向くと画像は左に変形する．
カメラの移動による画像の並進歪み（２）カメラの移動による画像の並進歪み（２）
2015年6月11日（木）
カメラが上を向くと画像は伸びる．
カメラの移動による画像の並進歪み（３）カメラの移動による画像の並進歪み（３）
2015年6月11日（木）
カメラが下を向くと画像は縮む．
カメラの移動による画像の並進歪み（４）カメラの移動による画像の並進歪み（４）
2015年6月11日（木）
人工画像シミュレーション実験人工画像シミュレーション実験
2015年6月11日（木）
人工画像シミュレーション実験人工画像シミュレーション実験
補正結果
松永 力, 対応点を用いないローリングシャッタ歪み補正と映像安定化, 第19回画像センシングシンポジウム(SSII2013)講演論文集, 横浜(パシフィコ横浜), 2013年6月.
2015年6月11日（木）
ローリングシャッター剛体歪み（１）ローリングシャッター剛体歪み（１）
歪みのある隣接する 2 画像 の間の動きを，
仮想的な歪みのない隣接する 2 画像 との
間の歪み変形による変換と，歪みのない隣接する 2 画像間の動き
による変換に分離する．
2015年6月11日（木）
ローリングシャッター剛体歪み（２）ローリングシャッター剛体歪み（２）
とすると，並進歪みに帰着する．
2015年6月11日（木）
ローリングシャッター回転歪みシミュレーション画像ローリングシャッター回転歪みシミュレーション画像
(a) カメラ動きなし（基準画像），
(b) カメラが3度回転（時計回りの回転）すると画像は左に変形する，
(c) カメラが−3度回転（反時計回りの回転）すると画像は右に変形する．
(a) (b) (c)
2015年6月11日（木）
ローリングシャッター動き歪みの推定（１）ローリングシャッター動き歪みの推定（１）
第 フレームの剛体歪み画像 を第 フレームの剛体歪み画像 に合わせる． だから，Lucas-Kanade アルゴリズムにより，次の差分二乗総和を最小化する
パラメータ を推定する．
と摂動したとして，差分二乗総和を展開して 1次近似
したものを で微分して 0 と置く． について解くと，
2015年6月11日（木）
ローリングシャッター動き歪みの推定（２）ローリングシャッター動き歪みの推定（２）
は，第 フレーム画像の勾配である． 剛体歪み変換の場合，
→ ヘッセ行列 （の逆行列）は反復毎に計算しなければならない．
2015年6月11日（木）
ローリングシャッター動き歪みの推定（３）ローリングシャッター動き歪みの推定（３）
2015年6月11日（木）
ローリングシャッター動き歪みの推定（４）ローリングシャッター動き歪みの推定（４）
2015年6月11日（木）
ローリングシャッター動き歪みの推定（４）ローリングシャッター動き歪みの推定（４）
2015年6月11日（木）
ローリングシャッター動き歪みの推定（４）ローリングシャッター動き歪みの推定（４）
2015年6月11日（木）
MotionEstimation LPF ー ＋
MotionCorrection
ローリングシャッター動き歪み補正と安定化処理ローリングシャッター動き歪み補正と安定化処理
2015年6月11日（木）
は，ディジタルカットオフ角周波数（ ）．
並進成分 に対して，時系列フィルタ処理を行い，フィルタ処理結果 との差分 を累積加算した により動き歪み補正と安定化処理を行う．
ローリングシャッター動き歪み補正と安定化処理ローリングシャッター動き歪み補正と安定化処理
2015年6月11日（木）
時系列フィルタに，巡回型フィルタを用いると，1次バタワース巡回型フィルタの場合は
次のようになる．
ここで，
松永 力, 対応点を用いないローリングシャッタ歪み補正と映像安定化, 第19回画像センシングシンポジウム(SSII2013)講演論文集, 横浜(パシフィコ横浜), 2013年6月.
ローリングシャッター動き歪み補正と安定化処理ローリングシャッター動き歪み補正と安定化処理
2015年6月11日（木）
時系列フィルタに，信号のレベル差に応じた重み係数を導入した巡回型バイラテラルフィルタを用いると，1次バタワース巡回型バイラテラルフィルタの場合は次のようになる．
人工画像シミュレーション実験（回転歪み）人工画像シミュレーション実験（回転歪み）
2015年6月11日（木）
人工画像シミュレーション実験（回転歪み）人工画像シミュレーション実験（回転歪み）
補正結果
2015年6月11日（木）
(a) (b)
実画像列シミュレーション実験（固定カメラの場合）実画像列シミュレーション実験（固定カメラの場合）
(a) 水平および垂直方向にそれぞれ平均0，標準偏差1画素の正規乱数による
並進パラメータ，平均0，標準偏差0.2度の正規乱数による回転パラメータを用いて
生成した剛体歪み画像列の加算平均画像(640×480画素，60フレーム)，
(b) 歪み補正および安定化処理結果の画像列の加算平均画像．
画像境界付近の黒味は補正処理による見切れのためである．
2015年6月11日（木）
実画像列シミュレーション実験（固定カメラの場合）実画像列シミュレーション実験（固定カメラの場合）
(a) 並進（水平方向） (b) 並進（垂直方向）
(c) 回転 (d) ピークSN比の変化
2015年6月11日（木）
実画像列シミュレーション実験（移動カメラの場合）実画像列シミュレーション実験（移動カメラの場合）
移動カメラによる剛体歪み画像列の一部．画像は左から右の順に，カメラが左上方へパンアップしている．上段から，原画像列，固定カメラとして補正した結果の画像列，移動カメラとして補正した結果の画像列．
2015年6月11日（木）
移動カメラによる剛体歪み画像列から推定した隣接2画像間の並進パラメータの時系列変化．32フレーム目でカメラが静止する．上段が水平方向，下段が垂直方向．
実画像列シミュレーション実験（移動カメラの場合）実画像列シミュレーション実験（移動カメラの場合）
2015年6月11日（木）
まとめまとめ
● ローリングシャッターに起因する映像の動き歪み変形を 隣接する画像間のグローバルな動きの変換としてモデル化し， 回転を含む一般的な運動の場合に拡張した．
● 動き歪みパラメータを“逆結合Lucas-Kanadeアルゴリズム”の 更新量を 1次近似した“近似逆結合Lucas-Kanadeアルゴリズム” により推定した．
● 移動カメラの場合に，推定した並進パラメータの時系列変化に 対して，“巡回型バイラテラルフィルタ”により揺れ成分を除去して， カメラの移動を保持したまま，映像中の揺れのみを補正した．
2015年6月11日（木）