像情報符号化と圧縮センシングを協調させた新原理小型カメラ

東京工業大学　工学院　情報通信系　助教 中村友哉

2018/10/16

方式1 中村友哉, 山口雅浩, “撮像システム，及び撮像方法,”

特願2017-093613 (2017.5.10, 国内出願) PCT/JP2018/016594 (2018.4.24, 外国出願)

出願人　東京工業大学

広角・高サンプリング解像度画像とその応用

• パノラマ写真合成 • デジタルアーカイブ • 環境保全 • 安全保障 • 衛星写真 • 病理診断 • スポーツの映像記録 • セキュリティ • 宇宙観測

NTT (2010)Google (2016)

T. Nakamura et al., Applied Optics 52, 8146–8153 (2013).

従来技術とその問題点

撮像情報量

小型性

近軸, 単色

広視野, 多色

数十cm3以上 cm3規模以下

カメラアレイ スキャナカメラ

レンズレス カメラ

本PJが ねらう領域

2D符号化開口 →設計自由度の不足

課題： 撮像情報量と 光学系サイズの トレードオフ

vHOE ＋

圧縮センシング

具体例（広角・多画素）

…D. J. Brady, Nature (2012).O. S. Cossairt, IEEE ICCP (2011).T. Nakamura, Appl. Opt. (2013).

R. S. Weinstein, Hum. Pathol. (2009).

望遠カメラ（センサ） が多数必要

※直裁的な手法のため他多数

大きい，重い，高い 遅い

“Art Camera” by Google (2016).

多数回のカメラ移動，撮影 が必要

符号化素子

多数枚の符号化素子が必要

光学系の複雑化・大型化

R. Horisaki, Opt. Express (2010).

広角カメラ：単位視野あたりの解像度が低い

望遠カメラアレイ＋画像接続 撮影の繰り返し＋画像接続 複数視野の符号化多重撮影 ＋画像分離再構成

具体例（多波長・多画素）

…

センサ が複数必要

※他多数

遅い，大きい場合が多い

多数回のフィルタ交換，撮影 が必要

符号化開口

• 小型実装可能 • 広角・多画素の同時実現はできない

• 光をブロックするため光量(=画質)で不利

US Patent 7336353 (2008) 
G. Arce, IEEE SPM (2014). 他

分光素子を用いた空間分割方式：波長ごとの画素数が少ない

センサアレイ 透過波長走査方式 複数波長の符号化多重撮影 ＋画像分離再構成

大きい，重い，高い

http://www.nvision.jp/

※他多数

http://www.optosirius.co.jp/PIXELTEQ/spectrocam.html

構成

HOE (transmissive beam splitter)

Incident beam

FOV k

FOV k+1

Diffracted beams

Delta Input PSF

＋：高サンプリング
　　解像度 ＋ ：小型・安価 （-：処理時間はかかる）

再構成処理

複数視野・波長の高解像度像情報を独立に光学的符号化し，それらが多重化された像を撮影

多重像

※視野独立符号化の概念図． 波長に対しても同様に成り立つ．

vHOE

(圧縮センシング)

イメージセンサ

光学設計の具体例

変調機能を持つvHOE +

レンズ +

センサ

変調+レンズ機能を持つvHOE +

センサ

レンズレス方式フィルタ付加型方式

※レンズ機能を”レンズアレイ+画像再構成”にして， 光学系をさらに短焦点距離化（=薄型化）しても良い

参考1：vHOEの波面再現性

記録

撮像への利用

入力光

設計した応答光 感光材料

環境光 応答光

vHOE

波長選択性 角度選択性

• 入力光と所望の応答光を予め設計 • この二波を材料上で干渉させる • 3D干渉縞は光化学反応により屈折率分布に変換される
（=波面の記録）

• 環境光が入射した際，対応する記録応答光が射出される
※入射光の波長・角度独立

Compressive sensing (sparsity-based decoding)

• 自然物体のほとんどが圧縮表現できる（基底変換によりスパース性に表現できる）ことに
着目して撮像後に撮像過程の逆問題を解くことにより，撮像データよりも大きなデータ量の画像を再構成する．

• 線形システムに適用可能（例えばインコヒーレント光源下での強度イメージング） • 多チャンネル像情報の一括取得（多重撮影+分離再構成）に応用可能

= xx

known known known unknown

Senseddata

Lineartransformation

matrix

Object(sparse)

System matrix(ill-posed)

estimate

Reconstructed image(Compressed, but larger data)

発明の効果

• カメラアレイ・センサアレイで実現されるようなシングルショット広角・多波長・高解像度イメージングを，一枚の光学素子とイメージセンサ（と場合によっては補助光学素子）を付加したのみの小型・シンプルな光学系で実現できる．

• 誰もが気軽に使えるサイズ・コスト・撮像時間で，超高画素マルチスペクトルカメラを実現できる．
- 情報時代における画像入力のための新しい基盤技術として応用され得る．

• 画角×解像度（最高性画像の画素数）の上限は，再構成画像の圧縮率（何らかの基底空間上で対象をどれだけスパースに表現して良いとするか）によって決まる．例えば次スライドのような圧縮画像を再構成する場合(PSNR=30.2dB)，圧縮率は凡そ10であるから，同じ画角の広角カメラに比べてサンプリング解像度の向上の上限は10倍である． 
再構成画像の画質の低下をさらに許容すれば，さらに解像度は向上できる．どれだけの画質が許容できるかは，応用先の映像システムにより規定される．

参考：自然画像とスパース性

0

1

2

3

4

5

6

7

8

9

10

PNSR: 30.2dB

DCT変換

上位9.6%の成分
以外切り捨て，逆DCT変換

エネルギーが局在
（スパース）

• 自然画像は，DCTやWT等により疎に表現可能

• 疎に表現できない状況？-例えばホワイトノイズを撮影するような状況

vHOE露光光学系

レーザレーザコントローラ

AOMシャッタ

ダイクロイックミラー

偏光ビーム

スプリッタ調心器

調心器

偏波面保持型シングルモードファイバ

R

B

G

光路1

光学定盤（水平垂直防振）

総合コントローラ（232Cコマンド→信号）

AOMドライバ兼電源

制御PC（232Cコマンド送信）

コリメート光出射端

暗室

エアーコンプレッサ

45° or 43°

ガラス

フォトポリマー

• ファイバ出射端の角度を調整し，フォトポリマー上での二光波の直線偏光の向きが揃うようにした

• 半波長板の調整により，光路1と光路2の照度をほぼ同一にした

• レーザは緑色波長の連続発振DPSSレーザ（波長532nm）のみを用いた

• 下記の手順で4枚のvHOEを露光した
1. 光路1をポリマー面に対して入射角45°で露光
2. 光路1をポリマー面に対して入射角43°で露光
3. フォトポリマーを90°回転し，1~2を再度露光

• フォトポリマーは，Covestro社のBayfol HX200を用いた

光路2

半波長板

撮像の原理実証実験系上から 正面から 撮影画像例

視野2

視野1

HOEの波長分散によるボケを除去するため，レーザー照明を使用※カメラ内部にバンドパスフィルタを装着するのと等価，現在フィルタが無いため照明で代替

• 像の分裂
→符号化
（視野ごとに独立な”印付け”）

• 複数視野像を単一像に多重化して撮影

~45°

25mmFL3-U3-13S2 by Point Grey

~45°

撮影画像と画像再構成結果

撮影画像

撮影後に画像処理して分裂幅の小さい符号化多重像を

仮想的に生成※光路1の露光ごとの角度の差を十分小さくして実験すれば，このようなことは不要

再構成した視野1

再構成した視野2

圧縮センシングに基づく画像の分離再構成

• 画像再構成には圧縮センシングのソルバーの一つであるTwISTを使用[J. M. Bioucas-Dias, IEEE Trans. Image. Proc. 16, 2992(2007).]

• TwISTの拘束項にはTotal Variationを使用• 異なる2視野(カメラ左側に45°, カメラ下側に45°)の一括撮影（符号化多重化撮影+分離再構成）を確認

技術の意義

• 物理-情報融合時代における光情報入出力の新しい基盤技術の創出
（物理世界-情報世界の光情報の窓口）
-様々な次世代映像応用システムに基盤として組み込まれる可能性

http://en.wikipedia.org/wiki/Earth

物質世界の情報 情報世界のデータ

窓口多くの場合必ず通らなければな

らない

方式2中村友哉, 山口雅浩, “レンズレス撮像装置,”特願2018-155651, (2018.8.22, 国内出願)

出願人 東京工業大学

レンズレス超小型カメラの構成，及び死角の課題 18ピンホールカメラ

pinhole

Fresnel zone aperture

FZA

特徴：光利用効率が悪い 光線情報を取得可日立, 2017

Univ. Utah, AO, 2017

Lensless photography with only an image sensor

センサ保護ガラスの傷や埃がencoderの役割→C/Nに課題

保護ガラスセンサ

方式1

体積ホログラム

角度・波長独立符号化→多次元像情報の圧縮センシング

MURA

MURA code

γ線等の撮像に利用伝達関数が広帯域

Asymmetric spiral grating

Spiral grating

PSFが波長，距離に非依存Rambus inc., 2013

• 光学系の薄型化(focusの仮想化の効果)，高性能化(設計自由度拡大の効果)にメリット• 符号器+センサの構成→イメージセンサの裏側を撮影できない(前を見ている)ため，画角は

自己符号化開口型レンズレス超広角カメラ(仮称)概要 19

画素に穴を開けたCMOSイメージセンサ

被写体

光波伝搬

Sparse sampling された符号化像

圧縮センシングに基づく画像再構成

（逆問題を解く）再構成画像

・複数のCMOS image sensorの画素にランダムに穴を開け，対向配置する・対面するセンサは符号化開口として機能する・センサは符号化光学像をsparse samplingする
→圧縮センシングに基づき画像再構成する・カメラの死角の問題を解決

構成のバリエーション 20

二枚対面方式• 制御系やメモリを含めたイメージセンサ基板全体サイズを気にせず実装できるため，実現容易

• ただし，画角拡大効果は限定的

立方体方式• 全方位撮影に近い効果が
得られる

正多面体，球体，…

実装について：• CMOSイメージセンサの有効画素領域（シリコン材料）に
穴あけ加工する（加工分解能~画素ピッチオーダー）

• CMOSは画素ごとに電荷読み出しを行うため，穴の空いた画素が混在していてもイメージセンサとして機能する

提案カメラの最終形態と応用例 21

全方位超小型レンズレスカメラ

視野

デバイス(数cm3)

人体内部の全方位観察及び三次元モデリングが可能な

内視鏡

提案撮像系概念図

応用例

狭い場所に潜り込む探索ロボット

存在に気づかれないほど小型なドローン

装着感のない一人称ビジョン装置

想定パラメータ（暫定） 22

• 画素数:512x512 • 画素幅:60μmx60μm3.

07cm

1mm

穴幅:480μmx480μm51.3°

基板

有効画素領域

2mm

斜入射した光もなるだけセンサで検出できるように， 有効画素領域の端側には穴を開けないようにする

COMSイメージセンサ

穴

入射光

数理モデル 23

fg

m1 m2

対象取得画像

センサ1の振幅透過率

センサ2の振幅透過率

撮像モデル

設定

ノイズ系のPSF

拡大作用 回折ぼけ

再構成モデル

※小文字がベクトル，大文字が行列※PSFのシフト不変性を仮定

gの非零要素数 < fの要素数であるため，圧縮センシングに基づく，自然画像のスパース性を利用した逆解析により画像再構成を行う．下記のTV正則化最小化問題を近接勾配法(IST)で解く．m1の影

正則化項データ忠実項再構成画像

穴あきCMOS

定数

AAAEMHichVJLb9NAEB7XPEp5NIULEheLEFQoROsI8ZIqVXDh2FeSSnVlrZ11snTXtuxN1OL6D/AHOHACiQPixl/gwpELEj0hjsCxSFw4MN64RRCRrOWd2W/mm/12dr1Y8FQRsm9MmceOnzg5fWrm9Jmz52Yrc+dbadRPfNb0IxElGx5NmeAhayquBNuIE0alJ1jb235YxNsDlqQ8CtfVbsy2JO2GPOA+VQi5lQ9Oj6rM8WQW5PmiI6nqRXHmJNKiSVfyMHcEl1yl7mGO5QgWqL3hbBVgN7+prczdhuX4nUgNc+Y12s7LmG1d14CXl06AtRLe7alrpd0rDe7FhHAb+YKjaH90wyPiEUHrTmS23srdSpXUiR7WqGOXThXKsRzNGVegBg50IAIf+iCBQQgKfQEUUvw2wQYCMWJbkCGWoMd1nEEOMxO4Ec4UHiMu4MbESn3MZphBEd3GuYurzRINcV3skGq2j5UF/gkyLaiRj+Q1OSDvyRvylfz6b61M1yiU7aL1hlwWu7NPL679nMiSaBX0/rDGalYQwF2tlaP2WCPFKfwhf/Dk2cHa/dVadpW8JN9R/wuyT97hCcLBD//VClt9PkbPoZKilxJ2sLNFP/rYDY7xBNfFXjv6LiLMiMf2N8UV1bfQgUWowz1oaN09RAQMcFZj+Bn2URZxfHv2vy9t1Gk16jap2yu3qksPylc4DZfgMszj67gDS/AIlqEJvnHbcAxmBOZb85P52fwyTJ0ySs4F+GuY334DzRsMzA==

PSFmask

※点光源の場合を図示

Simulation 24

物体 サンプリングパターン 撮像データ 再構成画像再構成+

デノイズ画像表側視野

23.1dB

τ:1e-5, denoising:BM3D, 解更新数:500(収束), 処理時間:94.5秒 撮像データ:順モデル計算後，輝度値を[0 255]の整数に丸め，40dBの加法性白色ガウス雑音(AWGN)を印加※マスクパターン検証のため，表と裏の視野に同じ物体があるとした

PSNR: 22.5dB裏側視野 反転関係

• 加法性雑音，量子化誤差を考慮した上で，自然画像を視認できる程度に再構成できることを確認• 拘束項の係数は，発見的に選択した（過度の平滑化 vs S/N低下のtrade off）• センサ1,2は異なるランダムマスクであるが，具体的な構造が違っても大域的な性質は同じになる

マスク

512x512, gray

8bitセンサを想定正規化して可視化

23.4dB22.8dB

白:光を通す 白:計測する

お問い合わせ先

東京工業大学研究・産学連携本部産学連携部門　URA寿山 益夫

TEL：045-924-5171suyama@sangaku.titech.ac.jp

https://sites.google.com/site/tnakamura1104jp研究者HP

mailto:suyama@sangaku.titech.ac.jp