単一レンズ系からの多様なボケ味の実現...単一レンズ系からの多様なボケ味の実現...

1
単一レンズ系からの多様なボケ味の実現 児玉 和也 レンズを交換したり、特殊な形状の絞りを手作りす レンズを交換したり、特殊な形状の絞りを手作りす レンズを交換したり、特殊な形状の絞りを手作りす レンズを交換したり、特殊な形状の絞りを手作りす る等して、様々なボケ味を楽しむカメラユーザは多い。 る等して、様々なボケ味を楽しむカメラユーザは多い。 る等して、様々なボケ味を楽しむカメラユーザは多い。 る等して、様々なボケ味を楽しむカメラユーザは多い。 特に日本人は熱心で、「 特に日本人は熱心で、「 特に日本人は熱心で、「 特に日本人は熱心で、「Bokeh Bokeh Bokeh Bokeh」は「ボケの雰囲気」を は「ボケの雰囲気」を は「ボケの雰囲気」を は「ボケの雰囲気」を 表す単語として世界的にも認知されている。ここでは、 表す単語として世界的にも認知されている。ここでは、 表す単語として世界的にも認知されている。ここでは、 表す単語として世界的にも認知されている。ここでは、 多次元信号処理技術の力を活用して単一のレンズ系 多次元信号処理技術の力を活用して単一のレンズ系 多次元信号処理技術の力を活用して単一のレンズ系 多次元信号処理技術の力を活用して単一のレンズ系 のみから多様なボケ味を実現する手法を紹介する。 のみから多様なボケ味を実現する手法を紹介する。 のみから多様なボケ味を実現する手法を紹介する。 のみから多様なボケ味を実現する手法を紹介する。 まず、焦点合わせを変化させながら連続撮影してお まず、焦点合わせを変化させながら連続撮影してお まず、焦点合わせを変化させながら連続撮影してお まず、焦点合わせを変化させながら連続撮影してお いた画像群を「金太郎飴」のように3次元的に並べる。 いた画像群を「金太郎飴」のように3次元的に並べる。 いた画像群を「金太郎飴」のように3次元的に並べる。 いた画像群を「金太郎飴」のように3次元的に並べる。 興味深いことに、この3次元情報の中には「撮影現場 興味深いことに、この3次元情報の中には「撮影現場 興味深いことに、この3次元情報の中には「撮影現場 興味深いことに、この3次元情報の中には「撮影現場 が仮想的に再現され」ている。すなわちこれに適切な が仮想的に再現され」ている。すなわちこれに適切な が仮想的に再現され」ている。すなわちこれに適切な が仮想的に再現され」ている。すなわちこれに適切な 「3次元フィルタ」を施せば、ユーザは自在なボケ味の 「3次元フィルタ」を施せば、ユーザは自在なボケ味の 「3次元フィルタ」を施せば、ユーザは自在なボケ味の 「3次元フィルタ」を施せば、ユーザは自在なボケ味の 画像を、「計算機上で」何度でも撮り直すことができる。 画像を、「計算機上で」何度でも撮り直すことができる。 画像を、「計算機上で」何度でも撮り直すことができる。 画像を、「計算機上で」何度でも撮り直すことができる。 研究の概要 連絡先: 連絡先: 連絡先: 連絡先: 児玉 児玉 児玉 児玉 和也( 和也( 和也( 和也(Kazuya KODAMA Kazuya KODAMA Kazuya KODAMA Kazuya KODAMA)/ )/ )/ )/ 国立情報学研究所 国立情報学研究所 国立情報学研究所 国立情報学研究所 コンテンツ科学研究系 コンテンツ科学研究系 コンテンツ科学研究系 コンテンツ科学研究系 TEL : 03-4212-2588 FAX : 03-3556-1916 Email : [email protected] Virtual `Bokeh` : Various Blur Shapes from a Single System of Lenses Kazuya Kodama コンテンツ科学研究系 Digital Content and Media Sciences Research Division ◆ 任意視点への拡張 ◆ モデルからのずれへの対応 ◆ 光線空間との統合処理 理論的検討 ◆ 理想的なレンズ・カメラの設計 ◆ 多眼・レンズアレイの活用 ◆ 動画像対応センサ システム化 実際に撮影した 焦点ぼけ画像群 仮想撮影 多様な ぼけ味へ変更 ピンホール撮影 もう少し絞りを閉じて撮影 水平にだけ開いた絞りで撮影 垂直にだけ開いた絞りで撮影 一部拡大画像 撮影画像 3次元フィルタで「ぼけ味」を変更 仮想撮影 ij j i r P P において じるぼけ していた対 > L v v v r i j i ij = L v v v v v r v v r i j i j b ij j b ij = = ji i j r P P において じるぼけ していた対 > L v v v r j j i ji = ij j j i i b ji i b ji r L v v v v v r v v r = = = b P b P じるぼけ ) ( , , 3 k j i k j i v v v P P P > L v v v v v r L v v v v v r L v v v v v r j k j k b jk i j i j b ij i k i k b ik = = = , , jk ij ik r r r + = r i j r ij = いて ) 0 (r よって j P i P b P L b l i l j l ij r i u j v i v b v i p o p f v u i i 1 1 1 = + b b i i j j v l v l v l = = Plane Object Plane Lens Plane Image 焦点ぼけ画像群の構造 画像サイズの補正 画像サイズの補可能 焦点ぼけ画像群がの条件で構造化された length focal : f ) ( ) 2 ; ( ) ; , , ( 2 2 2 2 2 v K u K s s r w b N r w v u H y x + = = ) / , / ( ) , ( : ) , ( : ) ; ( 2 y x y x y x N N N N K K N N x b = 補正後の画像サイズ の1次元ガウス関数 分散σ σ ) 0 . 0 ( H ) 0 . 1 ( H 128 , 64 = = = y x N N N (絞り半径) r ) , ( v u w 0 . 1 = r 0 . 0 = r 0 . 1 < r 0 . 1 > r 0 ) ( >> r H と書く ) ; , , ( ) ( r w v u H r H = あらためて 表す レンズ/絞りの特性を 3次元ぼけ ) ; , , ( r w v u H ) ( ) ( 1 r H r H a 3次元フィルタ ズ/絞りにも変更可能 は異なるぼけ味のレン 囲内なら 撮影に用いた絞りの範 ) ( a r H r r a の安定条件は x y z = g f h z O 1 N P 0 P ) , , ( ) ; , , ( ) , , ( w v u F r w v u H w v u G = ) 2 ; , ( ) ; , , ( z r y x b r z y x h = の2次元ガウス関数 分散 2 : ) ; , ( σ σ y x b フーリエ変換 焦点ぼけ画像群 撮影対象 3次元ぼけ ぼけ 対象を結ぶ3次元ぼけ 焦点ぼけ画像群と撮影 3次元ぼけの特性解析 次元フィルタ 仮想撮影を実現する3 ) , , ( ) ( ) ( ) , , ( ) ( ) , , ( 1 w v u G r H r H w v u F r H w v u A a a = = ) , , ( : z y x a 像群 で撮影した焦点ぼけ画 仮想的なレンズ/絞り > 今後の課題

Upload: others

Post on 11-May-2021

1 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: 単一レンズ系からの多様なボケ味の実現...単一レンズ系からの多様なボケ味の実現 児玉 和也 レンズを交換したり、特殊な形状の絞りを手作りす

単一レンズ系からの多様なボケ味の実現

児玉 和也

 レンズを交換したり、特殊な形状の絞りを手作りす レンズを交換したり、特殊な形状の絞りを手作りす レンズを交換したり、特殊な形状の絞りを手作りす レンズを交換したり、特殊な形状の絞りを手作りす

る等して、様々なボケ味を楽しむカメラユーザは多い。る等して、様々なボケ味を楽しむカメラユーザは多い。る等して、様々なボケ味を楽しむカメラユーザは多い。る等して、様々なボケ味を楽しむカメラユーザは多い。

特に日本人は熱心で、「特に日本人は熱心で、「特に日本人は熱心で、「特に日本人は熱心で、「BokehBokehBokehBokeh」」」」は「ボケの雰囲気」をは「ボケの雰囲気」をは「ボケの雰囲気」をは「ボケの雰囲気」を

表す単語として世界的にも認知されている。ここでは、表す単語として世界的にも認知されている。ここでは、表す単語として世界的にも認知されている。ここでは、表す単語として世界的にも認知されている。ここでは、

多次元信号処理技術の力を活用して単一のレンズ系多次元信号処理技術の力を活用して単一のレンズ系多次元信号処理技術の力を活用して単一のレンズ系多次元信号処理技術の力を活用して単一のレンズ系

のみから多様なボケ味を実現する手法を紹介する。のみから多様なボケ味を実現する手法を紹介する。のみから多様なボケ味を実現する手法を紹介する。のみから多様なボケ味を実現する手法を紹介する。

 まず、焦点合わせを変化させながら連続撮影してお まず、焦点合わせを変化させながら連続撮影してお まず、焦点合わせを変化させながら連続撮影してお まず、焦点合わせを変化させながら連続撮影してお

いた画像群を「金太郎飴」のように3次元的に並べる。いた画像群を「金太郎飴」のように3次元的に並べる。いた画像群を「金太郎飴」のように3次元的に並べる。いた画像群を「金太郎飴」のように3次元的に並べる。

興味深いことに、この3次元情報の中には「撮影現場興味深いことに、この3次元情報の中には「撮影現場興味深いことに、この3次元情報の中には「撮影現場興味深いことに、この3次元情報の中には「撮影現場

が仮想的に再現され」ている。すなわちこれに適切なが仮想的に再現され」ている。すなわちこれに適切なが仮想的に再現され」ている。すなわちこれに適切なが仮想的に再現され」ている。すなわちこれに適切な

「3次元フィルタ」を施せば、ユーザは自在なボケ味の「3次元フィルタ」を施せば、ユーザは自在なボケ味の「3次元フィルタ」を施せば、ユーザは自在なボケ味の「3次元フィルタ」を施せば、ユーザは自在なボケ味の

画像を、「計算機上で」何度でも撮り直すことができる。画像を、「計算機上で」何度でも撮り直すことができる。画像を、「計算機上で」何度でも撮り直すことができる。画像を、「計算機上で」何度でも撮り直すことができる。

研究の概要

連絡先:連絡先:連絡先:連絡先: 児玉児玉児玉児玉 和也(和也(和也(和也(Kazuya KODAMAKazuya KODAMAKazuya KODAMAKazuya KODAMA)/)/)/)/ 国立情報学研究所国立情報学研究所国立情報学研究所国立情報学研究所 コンテンツ科学研究系コンテンツ科学研究系コンテンツ科学研究系コンテンツ科学研究系TEL : 03-4212-2588 FAX : 03-3556-1916 Email : [email protected]

Virtual `Bokeh` : Various Blur Shapes from a Single System of Lenses

Kazuya Kodamaコンテンツ科学研究系

Digital Content and Media Sciences Research Division

◆ 任意視点への拡張

◆ モデルからのずれへの対応

◆ 光線空間との統合処理

理論的検討

◆ 理想的なレンズ・カメラの設計

◆ 多眼・レンズアレイの活用

◆ 動画像対応センサ

システム化

実際に撮影した焦点ぼけ画像群

仮想撮影

多様なぼけ味へ変更

ピンホール撮影

もう少し絞りを閉じて撮影

水平にだけ開いた絞りで撮影

垂直にだけ開いた絞りで撮影

一部拡大画像

撮影画像 3次元フィルタで「ぼけ味」を変更

仮想撮影

ijji rPP 径において生じるぼけ半面で合焦していた対象が面>

Lvvv

ri

jiij

−= L

vvv

vvr

vvr

i

ji

j

bij

j

bij

−==

jiij rPP 径において生じるぼけ半面で合焦していた対象が面>

Lvvv

rj

jiji

−= ij

j

ji

i

bji

i

bji rL

vvv

vvr

vvr =

−==

へ基準面 bP

へ基準面 bP

の間で生じるぼけ半径つの撮像面 )(,,3 kjikji vvvPPP ≥≥>

Lvvv

vv

rLvvv

vv

rLvvv

vv

rj

kj

k

bjk

i

ji

j

bij

i

ki

k

bik

−=

−=

−= ,,

jkijik rrr +=∴

rijr ij −=

を用いて適当な )0(≥rよって

jP iP bP

L

blil

jl

ijr

iu

jviv

bv

ip

op

fvu ii

111 =+

b

b

i

i

j

j

vl

vl

vl

==

PlaneObject Plane Lens Plane Image

化   焦点ぼけ画像群の構造

  画像サイズの補正

  画像サイズの補正

可能焦点ぼけ画像群が撮像の条件で構造化された

length focal:f

)()2;();,,( 22222 vKuKssrwbNrwvuH yx +==

)/,/(),(:),(:);( 2

yxyxyx NNNNKKNNxb

=補正後の画像サイズ

の1次元ガウス関数分散σσ

)0.0(H)0.1(H 128,64 === yx NNN

(絞り半径)∝r),( vu

w

0.1=r 0.0=r 0.1<r 0.1>r

0)( >>rH

と書く);,,()( rwvuHrH =あらためて

表すレンズ/絞りの特性を

は3次元ぼけ );,,( rwvuH

)()( 1 rHrH a−3次元フィルタ

ズ/絞りにも変更可能は異なるぼけ味のレン

囲内なら撮影に用いた絞りの範

)( arH

rra ≤の安定条件は

x

y z

∗=

g f h

zO

1−NP

0P

),,();,,(),,( wvuFrwvuHwvuG =

)2;,();,,( zryxbrzyxh =の2次元ガウス関数分散 2:);,( σσyxb

フーリエ変換

焦点ぼけ画像群 撮影対象 3次元ぼけ

ぼけ

   対象を結ぶ3次元ぼけ焦点ぼけ画像群と撮影

  3次元ぼけの特性解析

次元フィルタ仮想撮影を実現する3

),,()()(),,()(),,(

1 wvuGrHrHwvuFrHwvuA

a

a−=

=),,(: zyxa像群で撮影した焦点ぼけ画仮想的なレンズ/絞り>

今後の課題