画像化プロセスと画像ノイズ - robotics lab. -- ロボ...
TRANSCRIPT
画像化プロセスと画像ノイズ
高松 淳 !
（奈良先端科学技術大学院大学）!
"#$%&'(!)#*%+%,&-./%&-*.)0!1"2(!340(55672789-./%&-*.)05:)#*%+%5
1
本チュートリアルのターゲット
2
光源
物体レンズ センサ
出力
背景
• ノイズがもたらす画像処理における悪影響
3
どうやって？
• ノイズそのものの振る舞いの予測は難しい
4
輝度出現頻度
t
t
時刻
時刻
輝度値
画像ノイズに対する頑健化
• 統計的手法の利用
5
!
p "X( ) =p X"( )p "( )p X"( )p "( )dx#
X(!データセット!;(!モデルパラメータ
ベイズ推定
!
ˆ " = "# p "X( )d"
事後確率最大化
!
ˆ " = argmax"
p "X( )
最尤推定
!
ˆ " = argmax"
p X"( )
統計的手法の適応手順
6
!
p "X( ) =p X"( )p "( )p X"( )p "( )dx#
X(!データセット!;(!モデルパラメータ
<. 確率変数の関係のモデル化!=. 個々の確率密度関数の設計>. 全体の確率密度関数の推定!
確率密度関数の推定
• 小規模な問題なら解ける!
• 大規模な問題＋?%9*76&@%87/!– A6%03!9B*-!
– 信念伝搬法!
– パーティクルフィルタ!– 隠れマルコフモデル!
7
?%9*76&@%87/：ノイズ除去の例
8
X(!入力画像!!(!ノイズ除去された画像
!
p X"( ) = p xi # i( )i$各画素は独立
!
p "( ) = p # i,# j( )j$N i( )%
i%隣合う画素同士は関連がある!
（例：滑らかさ）
!
p "X( ) =p X"( )p "( )p X"( )p "( )dx#
確率密度関数の設計
9
!
p X"( ) = p xi # i( )i$
!
p "( ) = p # i,# j( )j$N i( )%
i%
真の値に対する観測値の尤度：画像ノイズ
画像データベースからの学習、?&"'C!7D!"E0"6*-
本日の内容
• 画像化プロセス!• 画像化プロセスと画像ノイズモデル!
• 画像ノイズの取得!
• レスポンス関数・FGH画像!
• 画像ノイズ・画像化プロセスを利用した推定!
• 画像ノイズからみるモデル推定手法!
• おまけ!
10
画像化プロセス
11
画像化の仕組み
• フォトトランジスタによる光電効果の利用!
12
光の吸収にともない電子が励起される現象
フォトトランジスタを配列上に配置し、!光電流を取り出す機構をつければよい
IIGとIJKL
様々な波長の信号を取り出せば色情報も得られる!
基本的には
>センサ、<センサ!M!デモザイキング、（?KNOKP!Q>）
13
IIGイメージセンサ
図は「IIGイメージセンサ」（=R<R年<<月２５日（木）STI!<=(>U）!『フリー百科辞典 ウィキペディア日本語版』より一部改変して引用!
IJKLイメージセンサ
• 一種のメモリ
14 図は「IJKLイメージセンサ」（=R<R年<<月２５日（木）STI!<=(>８）!
『フリー百科辞典 ウィキペディア日本語版』より引用!
色画像の取得
• >センサーの利用（HV!AV!W）
• I?X＋デモザイキング
15
!"!"!
#!#!#
#!#!#
!"!"!
#!#!#
!"
#!
!"
#!
"!
!#
"!
!#
!"##$%&'( !"##$%&')
!"##$%&'* !"##$%&'+
より美しく画像を見せるために
• ホワイトバランス：光源の影響をキャンセル!
• カメラレスポンス関数：表現の効率化!
16 Input
Output
画像化プロセス
<. 光電効果による変換!=. アンプによる信号処理!
>. （デモザイキング）!Y. ホワイトバランス!
Z. レスポンス関数!
[. （信号処理）!U. X5G変換!
\. データ圧縮!
HX]フォーマットによる出力!
6%1画像をさわろう
• C96%1を使えば中身に触れる!
• デモザイキングアルゴリズムとしてW&'&/"%6、NPA、^^A、XFGが実装されている!_#`!aR!b!>cd!
• <[2&*で'&/"%6!IH?で吐き出してくれる!_#Yd!
• I?Xパターンもわかる!
18
http://www.cybercom.net/~dcoffin/dcraw/
画像化プロセスと画像ノイズ
19
画像化プロセスと画像ノイズ
<. 光電効果による変換!=. アンプによる信号処理!
>. （デモザイキング）!Y. ホワイトバランス!
Z. レスポンス関数!
[. （信号処理）!U. X5G変換!
\. データ圧縮!
ノイズの発生源!
ノイズの特性の変換!
20
時間的な問題によるノイズ
– モーションブラー：シャッター開放中に環境が動くことによって生じる!
– ローリングシャッター現象（IJKL）：ピクセルごとに露光のタイミングが異なる!
21
ハードウエアに起因するノイズ
• ブルーミング!– 他画素への電荷の混入!
• スミア!– 転送IIGへの電荷の混入!
22
余り考慮されることはない？!せいぜいアウトライヤー扱い!
図は「スミア」（=R<R年<<月=e日（月）STI!e(=U）!『フリー百科辞典 ウィキペディア日本語版』より引用!
光電効果・素子における画像ノイズ
• フォトン・エレクトロンショットノイズ!– 光・電子の粒子性にともなうノイズ!
• 暗電流ショットノイズ!– 熱による電子の励起!
• 読み出しノイズ!23
ポアソン分布で仮定される! 平均・分散は輝度に依存する!
ポアソン分布で仮定される!平均・分散は温度や!露光時間に依存する!
正規分布で仮定される!
画像ノイズの定式化
24
!
I = A ˜ I + Ns + NDC + NR( )! I(!観測値!!!!!!!(!真の観測値（NSの分散が0になるように定める）
!!!!A(!ゲイン! NS(!フォトン・エレクトロンショットノイズ!NDC(!暗電流ショットノイズ!! NR(!読み出しノイズ!
!
˜ I
!
I = f A ˜ I + Ns + NDC + NR( )( ) + NQ
レスポンス関数と量子化が加わると!
Glenn E. Healey and Raghava Kondepudy, “Radiometric CCD Camera Calibration and Noise Estimation”, PAMI, Vol. 16, No. 3, pp. 267-274, 1994
画像ノイズの平均・分散
25
!
I = AtP + AtE NDC( )
!
"2 = A2tP + A2t"DC2 + A2"R
2
!
I = A ˜ I + Ns + NDC + NR( )
!
"2 = s˜ I + t
ノイズの独立性を仮定!
暗電流ノイズの影響が少ないと仮定!76!!!!!!を暗電流ノイズも含めて定義!
実際の例
• ^7&/*!A6"f!G6%g7/hf!H#I3%//"'
26
波長に関するノイズ特性
• HAW間のノイズは独立である!
• （経験的には）HAW間ではノイズの大きさは異なる!
27
波長によって分光感度特性が変わり、!結果としてゲインが変わるため？!
色恒常性・色度・画像ノイズ
• HAW空間ではノイズ分布は単純化できる!
• 色度空間だと非線形な変換が加わる
28
!
"2 = s˜ I + t線形なレスポンス関数なら
!
IRIB
!
p IRIB
"
# $
%
& ' = p I( )p K
I"
# $
%
& ' dI( , K =
IRIB
非線形変換 f(x) = 1/x
空間に関するノイズ特性
• 転送劣化!_IIGd!• 画素ごとに素子の不均一性がある!_IJKLd
29
暗いところでは暗電流ショットノイズの不均一性が大きい!
IIGに比べIJKLのほうが不均一性が大きい!
画像化プロセスと画像ノイズ
<. 光電効果による変換!=. アンプによる信号処理!
>. （デモザイキング）!Y. ホワイトバランス!
Z. レスポンス関数!
[. （信号処理）!U. X5G変換!
\. データ圧縮!
ノイズの発生源!
ノイズの特性の変換!
デモザイキングと画像ノイズ
• 変化の仕方は補間の仕方による
31
!
"I2 i( ) = w j
j#N i( )$ "O
2 j( ) 空間的なノイズの独立性を仮定!
補間画素の分散は小さくなる傾向がある!
!"!"!
#!#!#
#!#!#
!"!"!
#!#!#
!"
#!
!"
#!
"!
!#
"!
!#
!"##$%&'( !"##$%&')
!"##$%&'* !"##$%&'+
Jun Takamatsu, Yasuyuki Matsushita, Tsukasa Ogasawara and Katsushi Ikeuchi, “Estimating demosaicing algorithms using image noise variance”, CVPR, 2010
レスポンス関数
32
!
p O( ) = p I( ) f ' I( )
!
O = f I( ) であるとき!ノイズに関する確率密度関数が分かっていれば!
元々の分散はそれほど大きくない!レスポンス関数はなめらか!
!
"O2 # f ' I( )( )2"I
2
!
"O2 = I # µO( )2$ p I ˜ I ( )dI をテーラー展開することで得られる!
Jun Takamatsu, Yasuyuki Matsushita and Katsushi Ikeuchi, “Estimating radiometric response functions from image noise variance”, ECCV, 2008
X5G変換
• 離散化誤差が発生
33
!
[ai,bi)"i#Z
誤差を一様分布で仮定!
!
"O2 ="I
2 +q2
12
!
"Q2 = x 2
1qdx =
1q
x 3
3#
$ %
&
' ( )q2
q2
=q2
12)q2
q2*
離散化誤差の分散!
画像圧縮
• ほとんどわからないi!– j^OA圧縮の場合\E\のブロックが見える
34
画像ノイズの取得
35
画像ノイズの取得法
• （理論的には）同一信号源を同一方法で複数観測する必要がある!
36
静的なシーンをパラメータ固定で複数回撮影!
単純な取得法
• （できるかぎり余分な信号処理は追加しない）!
• 固定パターンノイズがないものと仮定!
• 最頻値を真値とみなす!
• 画像全体でまとめる
37
実際の例
• ^7&/*!A6"f!G6%g7/hf!H#I3%//"'!（<RRフレーム）
38
まじめに測定
• 線形なレスポンス関数を仮定!• 量子化も等間隔であると仮定!
• 同一パラメータの２枚の画像の差分
39
!
I p( ) = A K p( )˜ I p( ) + Ns p( ) + NDC p( ) + NR( ) + NQ
!
"N2 p( ) # A2 I + E NDC p( )( )( ) +"C
2
!
µ = A I + E NDC p( )( )( )差分画像の分散から を推定kXと が推定できる!!
"C2 = A2"R
2 +q2
12
画像全体の輝度の平均!
!
"N2 p( )
!
"C2
Glenn E. Healey and Raghava Kondepudy, “Radiometric CCD Camera Calibration and Noise Estimation”, PAMI, Vol. 16, No. 3, pp. 267-274, 1994
まじめに測定
• 真っ黒なシーンを複数回撮影!
• 複数撮影条件下で複数枚撮影、平均化!
40
!
I p( ) = A NDC p( ) + NR( ) + NQ
複数枚画像の平均!
!
E I p( )( ) = AE NDC p( )( )
!
E Ii p( )( ) = A K p( ) ˜ I i p( ) + E NDC p( )( )( )すでに は分かっている!
!
E NDC p( )( )
実際に測定
• P&+7/!G>L!lLK!\RR、シャッタースピード!<5ZR!– C96%1!b3!#Y!で現像!
– 97/m"6*!#C"0*3!\で\2&*化!
41
! " #
X R.RUe R.R<Y R.RRee
n9= R.=> R.R>< R.<\
!"!"!
#!#!#
#!#!#
!"!"!
#!#!#
!"
#!
!"
#!
"!
!#
"!
!#
!"##$%&'( !"##$%&')
!"##$%&'* !"##$%&'+
実際に計測
• 固定パターン_ZRRR倍にスケールアップd
42 IIGより固定パターンの影響は<R倍は大きい
! " #
平均 R.eeeZ R.eeeZ R.eeeZ
分散 R.R>=< R.R><[ R.R><e
実際に測定
• 暗電流ノイズ（シャッター速度１秒、１０００倍にスケールアップ）
43
! " #
平均 R.R[\ R.R<R R.R<Z
標準偏差 <.< R.>Y R.YU
単一画像からのノイズ推定
• 均質な表面からの推定!
• ノイズ除去≒ノイズ推定と考える!
44
ノイズ除去手法概要
• 局所平滑化フィルター!– ガウシアン平滑化!
– 異方性フィルタ!– T7*%'!N%6&%87/!
• 周波数領域フィルタ!– ]&"/"6!?&'*"6!
– ]%m"'"*!T36"-37'C&/g!
• P7/#'79%'!_Po#$"%/-V!OE%$0'"ベースV!WJ>Gd!
45
A. Buades, B. Coll, and J. M. Morel, “A review of image denoising algorithms, with a new one”, Multiscale Modeling and Simulation, Vol. 4, No. 2, pp. 490-530, 2005.
輝度変化に依存する!
ガウシアン平滑化
46
ノイズ除去前! ノイズ除去後! 差分画像!
エッジ抽出に近い結果が出ている!
P7/!o79%'な手法
• 画像中に自己相似性が観測される
47
Kostadin Dabov, Alessandro Foi, Vladimir Katkovnik, and Karen Egiazarian,“Image Denoising by Sparse 3D Transform-domain Collaborative Filtering”, IEEE Trans on Image Processing, Vol. 16, No. pp. 2080-2095, 2007
試してみる
• G6%g7/hf!H#I3%//"'V!WJ>Gを使用
48
0 0.2 0.4 0.6 0.8 10
1
2
3
4
5
6x 10
-5
ノイズ推定：レスポンス関数とノイズ
• レスポンス関数のデータベースを利用して!!ノイズレベル関数を低次元化!
49
Ce Liu, William T. Freeman, Richard Szeliski and Sing Bing Kang, “Noise Estimation from a Single Image”, CVPR, 2006.
レスポンス関数の取得
50
レスポンス関数の測り方
• 露光時間を変えて撮影した画像を利用
51
!
I = At P + E NDC( )( )露光時間が倍kレスポンス関数への入力が倍!
!
g O1( ) = At1 P + E NDC( )( )g O2( ) = At2 P + E NDC( )( )
露光時間を変えて同一信号を２回観測!
!
g O1( )g O2( )
=t1t2
レスポンス関数の表現法
• ガンマ補正!• ガンマ補正＋正規化!
• 一般化ガンマ補正!
• 多項式表現!
• ^6&76!M!^IXによる次元圧縮!
• ノンパラメトリック（滑らかさ拘束とセット）
52
!
f I( ) = I"
!
f I( ) = wiIi
i=1"
http://www.cs.columbia.edu/CAVE/software/softlib/dorf.php
!
f I( ) = "I# + $
!
f I( ) = IP I , " i{ }( ),P I, " i{ }( ) = " iIi
i=0#
レスポンス関数の測り方
• カラーチェッカーの利用
53
一様な光源で照らされている!口径食（N&g/"p/g）の影響も除去されている!
光学密度（K089%'!C"/-&*f）から表面反射率への変換!
!
Optical density = log101
Light Transmission"
# $
%
& '
表面反射率の比が入力の比に等しい
!
Light Transmission = 1pow(10, Optical density)
FGH画像と画像ノイズ
54
!
I = At P + E NDC( )( )レスポンス関数の推定では、オフセットに意味はない。 HDRを作成する場合はオフセットも重要な意味を持つ。
ゲインを制御することでも同じ効果が得られるが、 ノイズ的には性質は異なる。
!
"2 = A2tP + A2t"DC2 + A2"R
2 +"Q2
Samuel W. Hasinoff, Fredo Durand and William T. Freeman, “Noise-Optimal Capture for High Dynamic Range Photography”, CVPR, 2010.
!
SNR2 =t 2P 2
tP + t"DC2 +"R
2 +1A2"Q2
桁あふれしてない場合
図は「ハイダイナミックレンジ合成」（=R<R年<<月=e日（月）STI!e(YR）『フリー百科辞典 ウィキペディア日本語版』より引用!
ノイズ除去とブラー除去
• 高ゲイン・短シャッタ速度で複数枚撮影し、ノイズ除去をしたほうが有利
55
Li Zhang, Alok Deshpande and Xin Chen, Denoising vs. Deblurring: HDR Imaging Techniques Using Moving Camera, CVPR, 2010
画像ノイズからの推定$%$情報としての画像ノイズ$%
56
別の側面：情報としてのノイズ
• 熱雑音：抵抗体内の電子の不規則な熱振動によって生じる雑音
57
!
Vn = 4kTR"f
! k(!ボルツマン定数!"f(!帯域幅aF@c!!!!T(!導体の温度!!!R(!抵抗値!
画像ノイズの場合
• 単一ピクセルのHX]データにはほしい情報はない？
58
!
"2 = A2tP + A2t"DC2 + A2"R
2
それ以降に加えられる変更は？!
デモザイキング、ホワイトバランス、レスポンス関数、!
信号処理、X5G変換、データ圧縮i!
カメラレスポンス関数の推定
• 入力空間でのノイズ分布の対称性を仮定!
Yasuyuki Matsushita and Stephen Lin, “Radiometric Calibration from Noise Distributions”, CVPR, 2007. 59
カメラレスポンス関数の推定
• 入力空間でのノイズ分散のアフィン性の利用!
Imaging process# Radiometric Calibration#
Input#
Out
put# Response f!
Input
Noi
se v
aria
nce#
Noi
se v
aria
nce#
Output#
Noi
se v
aria
nce#
Input#
Inverse response g!
Output#
Inpu
t#
Observation#
Jun Takamatsu, Yasuyuki Matsushita and Katsushi Ikeuchi, “Estimating radiometric response functions from image noise variance”, ECCV, 2008
デモザイキングアルゴリズムの推定
• ノイズの分散からI?Xパターンがわかる!• I?Xパターンがわかれば補間方法がわかる
61 Jun Takamatsu, Yasuyuki Matsushita, Tsukasa Ogasawara and Katsushi Ikeuchi, “Estimating demosaicing algorithms using image noise variance”, CVPR, 2010
画像化プロセスを利用した推定$%$&'()!'*$+'(,!-'!.として%$
62
改ざん検出への応用
• IH?の不一致の利用!
• デモザイキングの仕方!
• 固定パターンノイズの違い!
• ノイズレベル関数の違い!
63
IH?の利用
• 画像の補間のされ方を推定!– 輝度変化が平面的な部分を利用!
– エッジ周辺の色の混合を利用
64
!
Rxx
Rx2 =
Rxy
RxRy
=Ryy
Ry2 =
f ' ' f "1 R( )( )f ' f "1 R( )( )2
Yu-Feng Hsu and Shih-Fu Chang, “Image Splicing Detection using Camera Response Function Consistency and Automatic Segmentation”, Int. Conf. on Multimedia Expo., pp. 28- 31, 2007 Zhouchen Lin, Rongrong Wang, Xiaoou Tang and Heung-Yeung Shum, “Detecting Doctored Images Using Camera Response Normality and Consistency”, CVPR, 2005
デモザイキングの利用
• デモザイキングを補間処理とみなす!!!kOJによる補間フィルターの推定
65
Alin C. Popescu and Hany Farid, Exposing Digital Forgeries in Color Filter Array Interpolated Images, IEEE Transactions on Signal Processing, Vol. 52, No. 10, pp. 3948—3959, 2005
固定パターンの利用
• あらかじめ固定パターンを測っておく!• 単一画像より固定パターンノイズを推定!– G%B2"93&"-!1%m"'"*ベースのノイズ除去を利用!
66
Jan Lukas, Jessica Fridrich and Miroslav Goljan, Digital Camera Identification from Sensor Pattern Noise”, IEEE Trans. on Information Forensics and Security, Vol. 1, No. 2, pp. 205-214, 2006. Mo Chen, Jessica Fridrich, Miroslav Goljan and Jan Lukas, Determining Image Origin and Integrity Using Sensor Noise”, IEEE Trans. on Information Forensics and Security, Vol. 3, No. 1, pp. 74-90, 2008.
ノイズレベル関数の違い
• ノイズレベル関数の^IX表現を利用した推定!• 動画中のノイズレベル関数の不一致を検出
67 小林，岡部，佐藤，”複数のノイズレベル関数の同時推定による映像改ざん検出”, MIRU 2010
ノイズから見るモデル推定
68
最小二乗法
• 観測値と推定値の差の二乗和を最小化
69
!
ˆ " = argmin"
yi # f xi;"( )( )2
i$
• モデル式が線形の場合、高々線形方程式をとけば良い!• 評価関数が微分可能k勾配ベースの最適化が使える!• 正規分布をノイズとするデータとの親和性
特徴!
最小二乗法とノイズ
• ノイズを正規分布と仮定し、最大化!
70
!
y = f (x;" ) + e
!
p yi xi,"( ) =12#$ 2
expyi % f xi( )2$ 2
&
' ( (
)
* + +
!
p " xi{ }, yi{ }( ) = p yi{ } xi{ },"( ) =12#$ 2
exp% yi % f xi( )( )
2
2$ 2
&
'
( (
)
*
+ +
i,
!
"log p yi{ } xi{ },#( ) = yi " f xi( )( )2
+ consti$
モデル化とデータ圧縮
• モデル化＝より少ない情報でデータを表現!
• ノイズ＝モデルとは独立に存在するもの!
!! ! ! !kモデル化により軽減される!
71
周波数領域フィルタがうまく!ノイズ除去できる（であろう）根拠!
最小二乗法に基づくデータ圧縮
• 主成分分析!– ユークリッド距離をできるだけ保存しつつ圧縮!
• 特異値分解＋低次元化!– フロベニウスノルムを最小化しつつ圧縮!
72 !
A F = aij2
j"
i"
最小二乗法と外れ値
• 外れ値：母集団の分布に従わない点
73
J#"-8$%*76V!HXPLXI!
図は「HXPLXI」（=R<R年<<月=e日（月）STI!<R(RZ）!『フリー百科辞典 ウィキペディア英語版』より引用!
種々のノルム
• o0#ノルム
!
x p = xip
i=1
n
"#
$ %
&
' (
!
x"
=max x1 ,…, xn( ) 最悪の場合を最適化、データフィッティング
!
x 2 = x12 +!+ xn
2 最適化が容易、剛体変換に不変
!
x 1 = x1 +!+ xn
!
x 0 = 1"# xi( )i$ Rでない要素の数（スパースネス）
74
線形計画法
L1-Lasso, Fixed point algorithm
Marching pursuit
線形方程式、勾配ベースの最適化…
スパースネスの尺度の近似外れ値に頑健!
ロバストなデータ圧縮
• 低次元化＋誤差項のスパースネス!– G(!各列が１つのデータに対応 !
75
!
min rank A( ) + " E 0 s.t. D = A + E
問題のo<#6"'%E%87/
!
min A * + " E 1 s.t. D = A + E
John Wright, Arvind Ganesh, Shankar Rao, Yigang Peng, and Yi Ma, “Robust principal component analysis: exact recovery of corrupted low-rank matrices via convex optimization”, NIPS, 2009
固有値の絶対値の和
ノルム最小化とノイズ
• o=ノルム!– ノイズを正規分布と仮定!
• o0ノルム!– ノイズを一般化正規分布で仮定!
• oRノルム!– ？？？
76
!
p x( ) ="
2#$ 1"
% & ' (
) * exp +
x + µ
#
%
& '
(
) *
p%
&
' '
(
)
* *
そもそもノイズが一般化正規分布に従うといえる理由は？
スパース表現、I7$06"--"C!-"/-&/gi!kノイズの性質が入る要素がない？
おまけ
77
おまけ：ノイズと到達運動
• 人間らしいリーチング動作!– 躍度最小化!
– トルク変化最小化!
– 終点分散最小化!(!生体ノイズを考慮した上で到達位置の誤差を最小化する
78
生体ノイズの分散もシグナルの大きさに依存
Christopher M. Harris and Daniel M. Wolpert, “Signal-dependent noise determines motor planning”, Nature, Vol. 394, pp. 780-784, 1998.
まとめ
• 画像化プロセスと画像ノイズモデル!• 画像ノイズの取得!
• レスポンス関数・FGH画像!
• 画像ノイズ・画像化プロセスを利用した推定!
• 画像ノイズからみるモデル推定手法!
79
（個人的な）疑問
• ノイズのモデリングとoRV!o<ノルム最小化との関係は？
80
T3%/+!f7B!D76!f7B6!+&/C!%4"/87/q
81