photon transfer curvesbml.pusan.ac.kr/lectureframe/lecture/graduates/image... · 2020-03-17 ·...

Photon Transfer Curves

Ho Kyung Kimhokyung@pusan.ac.kr

Pusan National University

Medical Imaging Detectors

Mean‐variance analysis

Total pixel noise 𝜎 𝜎 𝜎 𝐺�̅� 𝜎 𝑎𝑥 𝑏

• Output signal �̅� 𝐺𝑞‒ 𝐺 = gain [ADU/charge carrier]

‒ 𝑞 = mean # signal charge carriers

• Signal shot (Poisson) noise 𝜎 𝐺 𝜎 𝐺 𝑞 𝐺�̅�

• Read noise 𝜎 𝐺 𝑞‒ 𝑞 = mean number of charge carriers generated during readout

‒ Independent of signal generation process

• Plot a mean (�̅�)‐variance (𝜎 ) curve and apply a linear regression fit (𝑦 𝑎𝑥 𝑏)‒ Determine the slope 𝑎 𝐺 in units of [DN/𝑒 ]

‒ Determine the intercept 𝑏, then 𝑞 in units of [𝑒 ]

2

References

European Machine Vision Association, Standard for Characterization of Image Sensors and Cameras, EMVA Standard 1288 (2016)

M. Esposito et al., "Performance of a novel wafer scale CMOS active pixel sensor for bio‐medical imaging," Phys. Med. Biol. 59 (2014) 3533‐3554

S. E. Bohndiek et al., "Comparison of methods for estimating the conversion gain of CMOS active pixel sensors," IEEE Sensors J. 8 (2008) 1734‐1744

James R. Janesick, Photon Transfer: 𝐷𝑁 → 𝜆, SPIE Press, Bellingham, Washington (2007)

3

Signal

• 𝜇 = signal (average or mean value)

• 𝜎 = noise variance

4

• 𝜂 = quantum efficiency (dimensionless) 

‒ Total QE = fill factor (or geometric QE)  QE

• 𝐾 = system gain (DN/𝑒 )

‒ Deterministic parameter

Signal

• 𝜇 𝐾 𝜇 𝜇 𝐾𝜇 𝜇 . 𝐾𝜂𝜇 𝜇 .

Noise

• 𝜎 𝐾 𝜎 𝜎 𝜎

Noise components

• 𝜎 𝜇‒ Poisson‐distributed noise, also referred to as shot noise

‒ 𝜇 𝐾𝜇 𝜇 . 𝐾𝜎 𝜇 .

• 𝜎 = dark noise including the readout & amplifier noise

‒ Signal‐independent normal‐distributed noise

• 𝜎 = ADC noise

‒ Uniform‐distributed noise

𝜎 𝐾 𝜎 𝜎 𝐾 𝜇 𝜇 .

• Determining 𝐾 from the slope & 𝜎 from the offset is called the photon transfer method

5

offset slope

SNR

SNR .

• SNR 𝜇⁄

• SNR 𝜇

𝜂𝜇

⁄

SNR 𝜇• 𝜂 1, 𝜎 0, 𝜎 𝐾⁄ 0

6

𝜂𝜇 ≫ 𝜎 𝜎 𝐾⁄ (high irradiation) ⇒ SNR ∝ 𝜇

𝜂𝜇 ≪ 𝜎 𝜎 𝐾⁄ (low irradiation) ⇒ SNR ∝ 𝜇

Saturation

• Digital output is ranged b/w the 0 to 2 1• 𝜇 . must be higher than zero

‒ No significant underflow occurs by temporal noise & the dark signal nonuniformity

• Recall 𝜎 𝐾 𝜎 𝜎 𝐾 𝜇 𝜇 .

‒ 𝜎 increases w/ 𝜇

‒ When 𝜇 → 2 1 (max), then 𝜎 ?

Saturation capacity

• 𝜇 . 𝜂𝜇 . < full‐well capacity

‒ 𝜇 . = saturation irradiation

7

Absolute sensitivity threshold

Minimum detectable irradiation or absolute sensitivity threshold

• Mean number of photons required so that the SNR is equal to 1

• 𝜇 SNR 1 1⁄

• 𝜇 SNR

1⁄

𝜎 𝜎 𝐾⁄

• In general, 𝜇 SNR 1 𝜇 . 𝜎 𝜎 𝐾⁄ .

Dynamic range

• DR .

.

8

SNR ≫ 𝜎 𝜎 𝐾⁄

SNR ≪ 𝜎 𝜎 𝐾⁄

Dark current

Dark signal (mainly due to thermal generation current)

• 𝜇 𝜇 . 𝜇 𝜇 . 𝜇 𝑡 (𝑒 /pixel)

‒ 𝜇 = dark current (𝑒 /pixel/s)

‒ 𝑡 = exposure time (s)

• 𝜎 𝜎 . 𝜎 𝜎 . 𝜇 𝑡

‒ 𝜎 𝜇 (Poisson)

Temperature

• 𝜇 𝜇 . 2 /

‒ 𝑇 = temp. interval that causes a doubling of the dark current

‒ 𝑇 = ref. temp. at which measurements are performed

‒ 𝜇 . = dark current at 𝑇

9

Spatial nonuniformity

Fixed‐pattern noise

• Variations in pixel parameters from pixel to pixel

• These inhomogeneities are no noise, which makes the signal varying in time

• The inhomogeneity may only be distributed randomly

• Better to name nonuniformity

① Dark signal nonuniformity (DSNU)

‒ Variations in dark signal from pixel to pixel

② Photo‐response nonuniformity (PRNU)

‒ Variations in sensitivity from pixel to pixel

10

Spatial variance

• 𝜇 . ∑ ∑ 𝑦 𝑚 𝑛

• 𝜇 . ∑ ∑ 𝑦 𝑚 𝑛

‒ Mean of 𝐿 dark images  𝐲 ∑ 𝐲 𝑙

‒ Mean of 𝐿 50% saturation images  𝐲 ∑ 𝐲 𝑙

‒ 𝑚 & 𝑛 are row & column indices, respectively

‒ 𝑙 is an image sequence index

Spatial variances

• 𝑠 . ∑ ∑ 𝑦 𝑚 𝑛 𝜇 .

• 𝑠 . ∑ ∑ 𝑦 𝑚 𝑛 𝜇 .

• DSNU .(𝑒 )

• PRNU. .

. .(%): standard deviation relative to mean value

11

In general, the spatial variations are not normally distributed

• Normal distribution if the variations are totally random, i.e., there are no spatial correlations

Types of FPN or nonuniformities

• Gradual variations

‒ Gradual low‐frequency variations over the sensor by manufacturing imperfection

‒ Not easy to measure; not detected by a human observer

‒ Mixed by additional gradual variations such as nonuniform irradiation

‒ Must be corrected

• Periodic variations

‒ Due to electronic interferences

‒ Very sensitive to the human eye

‒ Detect by computing a spectrogram (a power spectrum of the spatial variations)

• Outliers

‒ Single pixels or cluster of pixels that show a significantly deviation from the mean

• Random variations

‒ White spectrum

12

Defect pixels

Describe defective pixels using histograms

• Not possible to find a common denominator to exactly define when a pixel is defective & when it is not

• Instead, specify how many pixels are unstable or defect using application‐specific criteria by providing statistical information about pixel properties

Logarithmic histograms

• Easy to compare w/ a normal distribution

• Easy to discriminate rare outliers

• Compute histograms by averaging over many images only to reflect the statistics of the spatial noise and the temporal noise is averaged out

13

Accumulated histograms

• To determine the ratio of pixels deviating by more than a certain amount

14

Photon‐transfer method

Example:

• 12‐bit 640  480 sensor

• 𝜂 0.5

• 𝜇 . 29.4 DN

• 𝐾 0.1 DN/𝑒

• 𝜎 30 𝑒 (𝜎 . 3.0 DN)

• DSNU

‒ White 𝑠 . 1.5 DN

‒ Sinusoids w/ an amplitude of 1.5 DN and frequencies of 0.04 & 0.2 cycles/pixel along x & y

• PRNU = 0.5% (white)

15

Fit analysis for the 0‐70% range of saturation

• 𝜇 . = mean DN value where the variance 𝜎 has 

the max. value

Sensitivity (or responsivity)

• Slope (with zero offset)

• 𝜇 𝜇 . 𝐾𝜂𝜇 𝑅𝜇

16

System gain

• Slope (with zero offset)

• 𝜎 𝜎 . 𝐾 𝜇 𝜇 .

Quantum efficiency

• 𝜂

Dark noise

• 𝜎.

‒ 𝜎 . 0.24 DN

17

Absolute sensitivity threshold

• 𝜇 ..

Saturation capacity

• 𝜇 ..

SNR

• SNR .

• SNR 𝜇 .

18

Dark current

• 𝜇 𝜇 . 𝜇 𝜇 . 𝜇 𝑡‒ Preferred

• 𝜎 𝜎 . 𝜎 𝜎 . 𝜇 𝑡‒ Use it if a sensor features a dark current compensation

19

Spatial standard deviation

• Correct the measured spatial variance for the residual variance of the temporal noise

• 𝑠 𝑠 ..

‒ 𝜎 . ∑ ∑ 𝜎

‒ 𝜎 ∑ 𝑦 𝑙 𝑚 𝑛 ∑ 𝑦 𝑙 𝑚 𝑛

• DSNU 𝑠 . /𝐾

• PRNU 𝑠 . 𝑠 . / 𝜇 . 𝜇 .

SNR including the spatial nonuniformities

• 𝑠 𝑠 . PRNU 𝜇 𝜇 . 𝐾 DSNU PRNU 𝐾 𝜂𝜇

• SNR 𝜇⁄

20

Spectrograms

• Computed from the DSNU image  𝐲 & the PRNU image  𝐲 𝐲• Subtract the mean value from the image 𝐲• Compute the FT of each row vector 𝐲 𝑚 :

‒ 𝑦 𝑚 𝑢 ∑ 𝑦 𝑚 𝑛 𝑒 for 0 𝑢 𝑁

• Compute the mean power spectrum 𝑝 𝑢 averaged over all 𝑀 row spectra:

‒ 𝑝 𝑢 ∑ 𝑦 𝑚 𝑢 𝑦∗ 𝑚 𝑢

• Display  𝑝 𝑢 as a function of the spatial freq. 𝑢/𝑁 (cycles/pixel) up to 𝑣 𝑁/2 (Nyquist freq.)

21

22

Profiles of the DSNU and PRNU

• Max profile shows 'hot' pixels in the DSNU images

• Min profile shows 'less sensitive' pixels in the PRNU images

23

Defect pixel characterization

• Evaluated from the DSNU image  𝐲 & the high‐pass‐filtered PRNU image  𝐲 𝐲• Compute 𝑦 & 𝑦 of the image 𝐲

• Part 𝑦 into 𝑄 bins, 𝑄 1 256

‒ 𝐼 floor 1

• Compute a histogram using a incremental bin 𝑞 floor

‒ Center of the bins 𝑦 𝑞 𝑦 𝑞

• Draw the histogram in a semilogarithmic plot with an x‐axis in terms of the values of the bins relative to the mean value

• Add the normal probability density distribution corresponding to the non‐white variance 𝑠 :

‒ 𝑝 𝑞 𝑒 /

24

25

Accumulated logarithmic histogram

• Probability distribution (integral of the pdf) of the absolute deviation from the mean value

• Compute: 𝐲 𝐲 𝜇 ; 𝑦 (note 𝑦 0)

• Part 𝑦 into 𝑄 bins, 𝑄 1 256

‒ 𝐼 floor 1

• Compute a histogram using a incremental bin 𝑞 floor

‒ Center of the bins 𝑦 𝑞 𝑞

• Accumulate the histogram: 𝐻 𝑞 ∑ ℎ 𝑞

• Draw 𝐻 𝑞 as a function of 𝑦 𝑞 in a semilogarithmic plot

26

27

Example study I

M. Esposito et al., "Performance of a novel wafer scale CMOS active pixel sensor for bio‐medical imaging," Phys. Med. Biol. 59 (2014) 3533‐3554

DynAMITe detector

• Two‐side buttable CMOS APS (0.18 m, reticle stitching)

• 12.8  13.1 cm2

• Two grids of different well capacity diodes

‒ Large well capacity diodes, referred to as pixel (P) diodes in a 1280  1312 format w/ 0.1‐mm pitch

‒ Low well capacity diodes, referred to as sub‐pixel (SP) diodes in a 2560  2624 format w/ 0.05‐mm pitch

28

29

for row addressing

for grey code counter for outputs

for further imaging area to reduce dead space at the edge in the two‐side buttable configuration

for sensor imaging area, each of which has a size of 18.0 mm  25.6 mm, creating a 180  256 pixels (P) & a 360  512 sub‐pixels (SP)

Photon‐transfer curve

• The standard for evaluating performance parameters such as read noise, conversion gain, & full‐well capacity

• Means to isolate & quantify noise components in the sensor response

Noise

• Temporal noise

‒ Read noise

• Signal‐independent noise sources such as reset noise, off‐chip/on‐chip amplifier noise, quantization noise, dark current shot noise

‒ Shot noise

• Signal‐dependent Poisson noise

• Spatial noise (varying across the detector matrix) or FPN

‒ Nonuniformities in the manufacturing process

‒ Differences in pixel & column voltages as well as variations in column amplifiers

30

Signal & noise model

Signal generated in a pixel by 𝑃 incident photons

• 𝑆 DN 𝑃 · QE · 𝜂 · 𝑆 · 𝐴 · 𝐴 · 𝐴‒ QE = interacting efficiency (interacting photons/incident photons)

‒ 𝜂 = quantum yield (number of 𝑒 generated per interacting photons)

‒ 𝑆 = sensitivity of the sense node (V/𝑒 )

‒ 𝐴 = gain of the in‐pixel amplifier (V/V)

‒ 𝐴 = gain of the external amplifier (V/V)

‒ 𝐴 = gain of the ADC (DN/V)

31

Conversion gain

• 𝐾 𝑒 DN⁄· · ·

Signal in terms of 𝐾

• 𝑆 DN⁄

‒ 𝑃 𝑃 · QE · 𝜂 𝑃 · QE = interacting photons w/ 𝜂 1 for 𝜆 400 nm in Si

Noise

• 𝜎 DN 𝜎 𝜎 𝜎 DN

‒ 𝜎 𝑃 (Poisson)

‒ Negligible variance for 𝐾 (𝜎 0)

• 𝜎 DN 𝜎 DN = shot noise + read noise

• Then, the conversion gain 𝐾 𝑒 DN⁄

32

Per‐pixel PTC

• To investigate the uniformity of response & regional variations of the sensor

• 𝐾 𝑖, 𝑗,

, ,

33

ROI PTC Per‐pixel PTC

Fixed‐pattern noise

• Spatial variations of the output images due to different gains & offsets in pixel transistors & to column amplifiers

• 𝐹 , 𝑋 , 𝑌‒ 𝑋 , = pixel‐to‐pixel (P‐P) FPN

‒ 𝑌 = column‐to‐column (C‐C) FPN

• 𝐹 , 𝑆 , 𝑆̅ ∑ , , ∑ , ,, ,

• 𝑌∑ ,

& 𝜎∑

• 𝑋 , 𝐹 , 𝑌 & 𝜎∑ ,,

34

Results

35

'Shot noise' results after FPN subtraction

DR 20 logFWC

𝜎

Integral nonlinearity INL∆ ∆

100%

36

37

% variation per stitching block w.r.t. the average value on the whole pixels

38

% of FPN measured in different regions of the detector

% of FPN measured in each of the 35 stitching blocks

Example study II

S. E. Bohndiek et al., "Comparison of methods for estimating the conversion gain of CMOS active pixel sensors," IEEE Sensors J. 8 (2008) 1734‐1744

Vanilla detector

• CMOS APS

• 520  520 array of pixels on a 0.025‐mm pitch

Limitations of linear analysis (mean‐variance & photon‐transfer analyses)

• Output of a sensor is linear to input

• Fluctuation in the number of incident photons follows the Poisson statistics

• Incident photons are converted into electrons by quantum efficiency

• Variance in the conversion gain is negligible

• Noise sources are uncorrelated over the pixel matrix

39

Mean‐variance analysis

40

Region of linear analysis

𝐺 DN 𝑒⁄ 0.0497𝐾 𝑒 DN⁄ 19.9 0.3

𝜎 51.8 0.7 𝑒

𝜂 60%

𝜇 1588 𝑒 s⁄

𝐽𝑒𝜇𝐴

1.6 10 158825 μm

40 pA/cm

Photon‐transfer analysis

41