observabilidad y predictibilidad en la...

ObservabilidadObservabilidad y y PredictibilidadPredictibilidad en la en la SuperSuper--Resolución Resolución

Del artículo “Del artículo “High Resolution Images from Compressed Low Resolution Video: MotHigh Resolution Images from Compressed Low Resolution Video: Motion Estimation and ion Estimation and Observable PixelsObservable Pixels””

Autores del artículo

VVisual isual IInformationnformation PProcessingrocessing GroupGroup

SeminarioL.D. Alvarez

Granada, 8 de Abril de 2004

A.K. KatsaggelosR. Molina

J. MateosL.D. Alvarez

Observabilidad y Predictibilidad en la Super-Resolución -- L.D. Alvarez -- Granada, 8 de Abril de 2004

IntroducciónIntroducciónNuestro objetivo es resolver el problema de la super-resolución de secuencias de vídeo comprimidas utilizando un marco bayesiano. ¿Qué más podemos aportar?

Una buena estimación del movimiento es fundamental.

Habrá píxeles que aporten a la hora de la reconstrucción y otros que no … ¿podríamos identificar dichos píxeles? … ¿qué aportaría el eliminar de la reconstrucción esos píxeles que no dan información útil? Una vez determinemos los píxeles ‘útiles’ modificaremos el sistema de adquisición para tener en cuenta sólo las observaciones ‘válidas’.

Como última sección de esta presentación se mostrarán algunos de los resultados obtenidos al incluir este concepto de observabilidad en nuestro método.

• Introducción

• Sistema de adquisición

• BR ↔ AR

• BRC ↔ AR

• Regularización

• Píxeles observables y predecibles

• Estimación de imágenes de AR

• Resultados


Sistema de AdquisiciónSistema de Adquisición

Partimos de una secuencia de vídeo comprimido de baja resolución (BRC) {yl de tamaño MxN}, que proviene de la secuencia de video de baja resolución captada (BR) {gl de tamaño MxN}. La secuencia original es de alta resolución (AR) {fl de tamaño P·MxP·N}.

La secuencia se comprime utilizando un sistema híbrido de compresión por compensación de movimiento.

• Introducción


• BR ↔ AR

• BRC ↔ AR

• Regularización



• Resultados


• Introducción


• BR ↔ AR

• BRC ↔ AR

• Regularización



• Resultados


BR BR ↔↔ ARARObjetivo: estimar la secuencia de imágenes de vídeo de AR: f={f1, f2,…, fL} (fl es (PMxPN)x1)Imágenes tomadas en rápida sucesión implica relacionadas temporalmente:

fl(a,b)=fk(a+dl,kx(a,b), b+dl,k

y(a,b))+nl,k(a,b) ≡ fl=C(dl,k)fk+ ρl,k

En la adquisición de la escena se produce un submuestreo (A) y un emborronamiento (H), con lo que la relación entre una imagen de AR (fl) y la correspondiente de BR (gl) es:

gl=AHfl+ηl

Uniendo las fórmulas anteriores relacionamos la l-ésima imagen de BR (gl) con la k-ésima de AR (fk):gl=AHC(dl,k)fk+ ςl,k donde ςl,k= ρl,k+ ηl es el ruido de adquisición

• Introducción


• BR ↔ AR

• BRC ↔ AR

• Regularización



• Resultados


Hasta ahora tenemos la relación en la secuencia entre las imágenes de BR y las de AR:

gl=AHC(dl,k)fk+ ςl,k

El problema en este momento sería estimar fk dadas A, H y un conjunto de imágenes gl. Para conseguirlo necesitamos los vectores de movimiento en AR dl,k, que también tendrían que estimarse.

Pero el problema es más complejo, ya que no disponemos de las imágenes de BR sino que disponemos de ellas comprimidas (BRC).

• Introducción


• BR ↔ AR

• BRC ↔ AR

• Regularización



• Resultados


BRC BRC ↔↔ ARARPosibilidades de codificación de una secuencia:

Codificación Intrafotograma codificar imagen a imagen.Codificación 3-D codificar bloques de frames (compresión temporal).Codificación Interfotograma codificar diferencias entre imágenes (compresión temporal).Codificación Híbrida extiende la codificación interfotograma añadiendo compresión espacial (compresión temporal y espacial). También llamada “motion compensated video coding”.

La secuencia a codificar se divide en grupos de imágenes (GOPs), y cada imagen puede codificarse de 3 formas: I (intra), P (predicted) y B (bidirectionally predicted). Utilizaremos imágenes I y P.

• Introducción


• BR ↔ AR

• BRC ↔ AR

• Regularización



• Resultados


I(t-1) I(t) MC(I(t)

- -

DCT

Q

DCT-1

+

I*(t)

• Introducción


• BR ↔ AR

• BRC ↔ AR

• Regularización



• Resultados


En la compresión híbrida por compensación de movimiento: para los fotogramas P la idea es predecir los bloques de la imagen a codificar utilizando una imagen previa; se hace la diferencia entre la imagen original y esa predicción; dicha diferencia se transforma y cuantifica. Al decodificador se envía la diferencia y los vectores de movimiento (1 por bloque).

l-ésima imagen de baja resolución comprimida (BRC)

l-ésima imagen de baja resolución (BR)

l-ésima imagen de baja resolución compensada por movimiento

( )[ ]{ } llll TQT mmgy +−= −1

ly

lg

lm

• Introducción


• BR ↔ AR

• BRC ↔ AR

• Regularización



• Resultados


yl = T-1 { Q [ T(gl – ml) ] } + ml

Si T-1{Q[T(gl-ml)]} lo aproximamos por gl – ml + εQ,l(donde εQ,l es el ruido dominante, de cuantificación)entonces:

yl = gl – ml + εQ,l + ml = gl + εQ,l

El ruido de cuantificación aparece en la etapa Q, y dicha etapa se aplica en el dominio transformado (T), luego si rdom.espacial = T-1 rdom.transformado entonces:

cov(rdom.espacial) = T-1 rdom.transformado (T-1)T

El ruido de cuantificación εQ,l sigue una distribución normal de media 0 y matriz de covarianza KQ,l:εQ,l ~ N(0, KQ,l) siendo KQ,l = T-1 Kdom.transform (T-1)T

La estimación de KQ,l puede extraerse del bit-streamcorrespondiente a las imágenes comprimidas. La varianza para cada índice l es: σ2=ql

2/12 .

• Introducción


• BR ↔ AR

• BRC ↔ AR

• Regularización



• Resultados


Teníamos que:yl = gl + εQ,l y gl=AHC(dl,k)fk+ ςl,k

de donde:yl = AHC(dl,k)fk+ ςl,k + εQ,l

Y puesto que εQ,l domina frente a ςl,k tenemos finalmente la relación entre las k-ésima imagen de AR y la l-ésima de BRC:

yl = AHC(dl,k)fk + εQ,l

La función de densidad para yl (siguiendo una distribución normal multivariada), P(yl|fk,dl,k) , queda:

P(yl|fk,dl,k)=exp[-½(yl–AHC(dl,k)fk)T KQ,l-1 (yl–AHC(dl,k)fk)]

• Introducción


• BR ↔ AR

• BRC ↔ AR

• Regularización



• Resultados


yl = T-1 { Q [ T(gl – ml) ] } + ml

ml es la predicción compensada por movimiento de gl (formada compensando por movimiento imágenes anteriormente decodificadas).Dados fk y dl,k sería

ml = AHC(dl,k)fk+ τMV,l

donde τMV,l es el ruido debido a la predicción; KMV,l es la matriz de covarianza que describe el error entre la imagen de BR descomprimida y su estimación por compensación de movimiento.Tenemos queτMV,l ~ N(0, KMV,l) siendo KMV,l = T-1 Kdom.transform (T-1)T

Una estimación de KMV,l puede extraerse del bit-stream comprimido. Para cada índice l la varianza es σl

2=cl2+ql

2/12 .

• Introducción


• BR ↔ AR

• BRC ↔ AR

• Regularización



• Resultados


La función de densidad para ml (siguiendo una distribución normal multivariada), P(ml|fk,dl,k) , queda:

P(ml|fk,dl,k)=exp[-½(ml–AHC(dl,k)fk)TKMV,l-1(ml–AHC(dl,k)fk)]

-------------------------------------

Ahora podemos modelizar el sistema de adquisición de las imágenes CBR y las imágenes de baja resolución compensadas por movimiento (MCBR) dadas las imágenes de AR (fk) y los vectores de movimiento en AR (dl,k) :

P(y,m|fk,d) = Πl [P(yl|fk,dl,k) P(ml|fk,dl,k)] para l=1,2,…,L

, y siendo m={m1, m2,…, mL} y d={d1,k, d2,k,…, dL,k}.

• Introducción


• BR ↔ AR

• BRC ↔ AR

• Regularización



• Resultados


Tendremos para cada imagen de la secuencia:CodingType: 1Coded: 1IntraDC_VLC_Thresh: NaNInterlaced: 0TimeIncrement: 9VOP_Quantizer: 3ModuloTimeBase: 0VOP_RoundingType: 0VOP_FCodeForward: 1ACPredFlag: [9x11 double]MCBPC: [9x11 double]CBPY: [9x11 double]NoDCTFlag: [9x11 double]ShapeData: [1x1 struct]BeforeIQ: [1x1 struct]Quantizers: [1x1 struct]AfterIQ: [1x1 struct]AfterIDCT: [1x1 struct]Predicted: [1x1 struct]Reconstructed: [1x1 struct]MotionVectorX: [18x22 double]MotionVectorY: [18x22 double]

• Introducción


• BR ↔ AR

• BRC ↔ AR

• Regularización



• Resultados


RegularizaciónRegularizaciónA priori podemos imponer algunas condiciones a las funciones de densidad que usamos para describir fky dl,k. En dichas condiciones reflejaremos cómo esperamos que sean las imágenes de AR y cómo creemos que serán los desplazamientos en AR.

Las imágenes de AR (particularizamos para la k-ésima) han de:

Ser suaves, tener sus regiones homogéneas (esta hipótesis falla en los bordes).No tener artificios propios de la compresión (tales como bloques o ringing).

Imponiendo ambas condicionesP(fk) = exp [ -½ ( λ1||Q1fk||2 + λ2||Q2AHfk||2 )]

Siendo Q1 y Q2 filtros paso alto y λ1 y λ2 pesos.

• Introducción


• BR ↔ AR

• BRC ↔ AR

• Regularización



• Resultados


Los vectores de movimiento entre la k-ésimaimagen y las demás supondremos que son independientes (se podría ahondar en el estudio de esta afirmación ya que no es totalmente cierta); entonces:

P(d) = Πl P(dl,k)

A priori, el campo de movimiento entre dos imágenes de AR será suave (no habrá movimientos bruscos). Esta condición la podemos expresar como:

P(dl,k) = exp [ -½ ( λ3||Q3dl,k||2 )]

• Introducción


• BR ↔ AR

• BRC ↔ AR

• Regularización



• Resultados


Píxeles Observables y PredeciblesPíxeles Observables y Predecibles

¿Son todos los píxeles válidos a la hora de la reconstrucción de una imagen de AR?.

Problema 1: Observabilidad.

Problema 2: Predictibilidad.

observabilidadobservabilidad

predictibilidadpredictibilidad

• Introducción


• BR ↔ AR

• BRC ↔ AR

• Regularización



• Resultados


Problema: Problema: ObservabilidadObservabilidadl k

• Los píxeles situados dentro de la zona de puntos blancos no son PREDECIBLES a partir de la imagen k.

• El problema aparecerá en regiones que aparecen, partes ocluidas y zonas nuevas.

• Introducción


• BR ↔ AR

• BRC ↔ AR

• Regularización



• Resultados


Problema: Problema: PredictibilidadPredictibilidadl k

• Una mala predicción de movimiento provoca una mala PREDICTIBILIDAD de la imagen l a partir de la k-ésima.

• En este caso aparecen dos zonas erróneas (ver qué sucede al hacer la diferencia entre las imágenes).

• Introducción


• BR ↔ AR

• BRC ↔ AR

• Regularización



• Resultados


Queremos determinar qué píxeles de BR hemos de utilizar en la estimación de las imágenes de AR.

En el caso más simple, para estimar una imagen de AR (k) nos basamos en otra imagen de AR (l) que explica la primera. Pero habrá regiones de la imagen k que no sean observables o predecibles (aquí entra en juego la estimación de movimiento entre ambas) a partir de la imagen l.

Los píxeles que sean no observables o no predecibles no aportan nada al método de super-resolución.

Eliminaremos los píxeles no observables o no predecibles.

A partir de aquí por no observables entenderemos no observables y no predecibles.

• Introducción


• BR ↔ AR

• BRC ↔ AR

• Regularización



• Resultados


Para calcular las regiones no observables necesitamos 2 imágenes de AR:

Una estimación fija de la l-ésima imagen de AR: o

La compensación por movimiento de la l-ésima imagen de AR a partir de la imagen k-ésima:

La observabilidad la determinaremos en función de la diferencia entre ambas imágenes.

Tendremos dos mapas de observabilidad diferentes, derivados de:

Las imágenes de BRC: yl

Las predicciones obtenidas por compensación de movimiento de las BRC: ml

Discusión: ¿Observabilidad calculada en BR o en AR?.

lyf

kklC fd ~)~( ,

lmf

• Introducción


• BR ↔ AR

• BRC ↔ AR

• Regularización



• Resultados


Cálculo de los DFDs:

Determinación de la observabilidad de un píxel (m,n):

Si un píxel es no observable habrá que eliminarlo de las imágenes yl y ml (dependen de fl). Este es el siguiente problema, ¿cómo eliminar en las imágenes de BRC los píxeles marcados como no predecibles en las imágenes de AR?.

( )( ) ( ) ( )( )( )nmCnmnmDFD kklkkl ll,~~,,~,~, ,, fdffdf yy −=

( ) ( ) ( )( )( )nmnmnmDFD kklkkl ll,,),(~,~, ,, fdCffdf mm −=

( )( ) observablenoTnmDFD ykkll_,~,~, , ⇒>fdfy

( ) observablenoTnmDFD mkkll_),(~,~, , ⇒>fdfm

• Introducción


• BR ↔ AR

• BRC ↔ AR

• Regularización



• Resultados


A partir de los DFDs calcularemos los mapas de observabilidad (que recogerán sólo los píxeles observables en BRC). Para ello:

1.- Obtener el DFDAR.2.- ErrorsMapAR contiene 1s si DFDAR>T y 0s en el resto.3.- Submuestreamos el ErrorsMapAR obteniendo un nuevo mapa de errores en BR (ErrorsMapBR).4.- Si un píxel en ErrorsMapBR es menor que 0.25 será observable; construimos así un mapa de 0s (píxel no observable) y 1s (píxel observable) en BR.

Ejemplos de mapas de observabilidad.

mapas mapas de de observabilidadobservabilidad yy

mapas de mapas de observabilidadobservabilidad mm

• Introducción


• BR ↔ AR

• BRC ↔ AR

• Regularización



• Resultados


l AR l-k AR k AR

1.- DFDAR

Hacemos la diferencia en valor absoluto entre la imagen k fijada y la l estimada por compensación de movimiento.

Mejora: ponderar la diferencia

• Introducción


• BR ↔ AR

• BRC ↔ AR

• Regularización



• Resultados


l AR l-k AR k AR

2.- ErrorMapAR=. DFDAR>Ty

Todo píxel con un valor mayor que un umbral dado (Ty) será no observable.

• Introducción


• BR ↔ AR

• BRC ↔ AR

• Regularización



• Resultados


l AR l-k AR k AR

3.- ↓ErrorMapAR = . ErrorMapBR

Submuestreamos el mapa en alta resolución utilizando un filtro de medias. Tendremos así los píxeles observables en baja resolución.

• Introducción


• BR ↔ AR

• BRC ↔ AR

• Regularización



• Resultados


l AR l-k AR k AR

4.- MapaObservabilidad = . ErrorMapBR<0.25

Serán considerados observables los píxeles cuyo valor sea menor de 0.25 en el mapa de errores.

• Introducción


• BR ↔ AR

• BRC ↔ AR

• Regularización



• Resultados


1.- DFDAR

Hacemos la diferencia en valor absoluto entre la imagen k fijada y la lestimada por compensación de movimiento.

Mejora: ponderar la diferencia

l AR l-k AR k AR• Introducción


• BR ↔ AR

• BRC ↔ AR

• Regularización



• Resultados


2.- ErrorMapAR=. DFDAR>Tm

Todo píxel con un valor mayor que un umbral dado (Tm) será no observable.



• BR ↔ AR

• BRC ↔ AR

• Regularización



• Resultados


3.- ↓ErrorMapAR = . ErrorMapBR

Submuestreamos el mapa en alta resolución utilizando un filtro de medias. Tendremos así los píxeles observables en baja resolución.



• BR ↔ AR

• BRC ↔ AR

• Regularización



• Resultados


l AR l-k AR k AR

4.- MapaObservabilidad = . ErrorMapBR<0.25

Serán considerados observables los píxeles cuyo valor sea menor de 0.25 en el mapa de errores.

• Introducción


• BR ↔ AR

• BRC ↔ AR

• Regularización



• Resultados


Tras calcular la observabilidad tenemos las imágenes yl

o y mlo que resultan de seleccionar de yl

y ml los píxeles que aportan algo a la reconstrucción (píxeles observables).Teníamos:

Y finalmente:

¿Cómo se verán afectadas estas distribuciones al introducir la observabilidad?.

P(yl|fk,dl,k)=exp[-½(yl–AHC(dl,k)fk)T KQ,l-1 (yl–AHC(dl,k)fk)]

P(ml|fk,dl,k)=exp[-½(ml–AHC(dl,k)fk)TKMV,l-1(ml–AHC(dl,k)fk)]

P(y,m|fk,d) = Πl [P(yl|fk,dl,k) P(ml|fk,dl,k)] para l=1,2,…,L

• Introducción


• BR ↔ AR

• BRC ↔ AR

• Regularización



• Resultados


Ahora disponemos deyl

o l-ésima imagen de baja resolución comprida utilizando sólo los píxeles observables.

mlo predicción por compensación de movimiento de yl

o

(sólo píxeles observables).

Si yl pasa a ser ylo la diferencia yl–AHC(dl,k)fk se

convertirá en ylo–Al

oHC(dl,k)fk para mantener las dimensiones de las matrices.

Análogamente, de ml–AHC(dl,k)fk pasamos a tener ml

o–AloHC(dl,k)fk. (Las matrices Al

o no son iguales, ya que los mapas de observabilidad son diferentes).

Las matrices de covarianza también se ven afectadas:

KQ,l-1 pasará a ser (KQ,l

o)-1 .

KMV,l-1 pasará a ser (KMV,l

o)-1 .

matrices de matrices de covarianzacovarianza

• Introducción


• BR ↔ AR

• BRC ↔ AR

• Regularización



• Resultados


Para cada imagen BRC tenemos los coeficientes de cuantificación (YBRC,CbBRC,CrBRC).La varianza de la cuantificación será (distribución uniforme): (ancho_intervalo_cuantificación)2/12. Si asumimos que el ruido en el dominio DCT es incorrelado y tiene las varianzas que acabamos de describir, entonces el ruido en el dominio espacial estará representado por la matriz de covarianzas. Si en el dominio espacial el ruido ha de seguir una distribución gaussiana, en el transformado también.A partir de las varianza, axb, construimos la matriz de covarianzas, de tamaño (a/8)·64x(b/8)·64. Cada bloque 8x8 de la matriz de varianzas se transforma en un bloque 64x64 en la matriz de covarianzas.Las transformaciones a cada bloque 8x8 son dos:

1º - Situar sus elementos en la diagonal del bloque 64x64.2º - Aplicar: T · diag(var8x8) · T-1

• Introducción


• BR ↔ AR

• BRC ↔ AR

• Regularización



• Resultados


Quantizers.Y (axb) Quantizer VarianceCada valor q de Quantizers.Yes el ancho del intervalo de cuantificación, luego al ser una distribución uniforme, la varianza es: q2/12

8x8 blockQuantizer Variance block (64x64)

diag T · QVb · T-1

Covariance Matrix

block (64x64)

Covariance Matrix

(a/8)·64x(b/8)·64

• Introducción


• BR ↔ AR

• BRC ↔ AR

• Regularización



• Resultados


KQ,l-1 y KMV,l

-1 se calculan de igual modo, la única diferencia es que al calcular KMV,l

-1 se suman a las varianzas de los cuantificadores las varianzas de los DFD transmitidos; o sea, las varianzas de los coeficientes transformados (cl).

KQ,l-1 → σ2 = q2/12

KMV,l-1 → σ2 = cl

2 + q2/12

• Introducción


• BR ↔ AR

• BRC ↔ AR

• Regularización



• Resultados


Incluyendo los mapas de observabilidad en las funciones de distribución quedan:

P(ylo|fk,dl,k) =

exp[-½(ylo – Al

o HC(dl,k)fk)T (KQ,lo)-1 (yl

o – Alo HC(dl,k)fk)]

P(mlo|fk,dl,k) = exp

[-½(mlo – Al

o HC(dl,k)fk)T ( KMV,lo)-1 (ml

o – Alo HC(dl,k)fk)]

• Introducción


• BR ↔ AR

• BRC ↔ AR

• Regularización



• Resultados


Ya hemos descrito el modelo de adquisición y las a priori, nuestro objetivo es encontrar:

P(fk) = exp [ -½ ( λ1||Q1 fk||2 + λ2||Q2AHfk||2 )]

P(dl,k) = exp [ -½ ( λ3||Q3dl,k||2 )]

P(ylo|fk,dl,k) = exp[-½(yl

o – Alo HC(dl,k)fk)T (KQ,l

o)-1 (ylo – Al

o HC(dl,k)fk)]

P(mlo|fk,dl,k) = exp [-½(ml

o – Alo HC(dl,k)fk)T ( KMV,l

o)-1 (mlo – Al

o

HC(dl,k)fk)]

Utilizamos descenso cíclico coordinado.

Estimación de las Imágenes de AREstimación de las Imágenes de AR

( ) ( )[ ]dfmydfdfdf

,|,,maxargˆ,ˆ,

koo

kk PPk

=( ) ( )[ ]dfmydd

d,ˆ|,maxargˆ 1 q

kooq PP=+

( ) ( )[ ]11 ˆ,|,maxargˆ ++ = qk

ook

qk PP

k

dfmyfff

• Introducción


• BR ↔ AR

• BRC ↔ AR

• Regularización



• Resultados


0ˆ =qkf 0ˆ =qd

0ˆ~kk ff = 0ˆ~ dd =

( )( ) ( ) ( )( )( )nmCnmnmDFD kklkkl ll,~~,,~,~, ,, fdffdf yy −=

( ) ( ) ( )( )( )nmnmnmDFD kklkkl ll,~~,),(~,~, ,, fdCffdf mm −=

Iniciamos con una estimación inicial: y

Iteramos hasta convergencia:

Igualamos: y

( ) ( ) ( ) ( )( )[

( ) ( )( )]⎪⎭

⎪⎬

⎫+−+

⎪⎩

⎪⎨⎧

−∂

∂−=

−

−

=

+

)(,333

)(,

1,

)(,

1,

,

,,)(,

)1(,

ˆ

ˆˆ

)(,,

ikl

Tqk

ikl

ol

ol

olMV

qk

ikl

ol

ol

olQ

Tol

T

kl

qkklkl

dikl

ikl

iklkl

dQQfdHCAmK

fdHCAyKAHd

fdCdd

dd

λ

α

( )( ) ( ) ( ) ( )( )[( ) ( )( )] ( )

⎭⎬⎫

++−+

⎩⎨⎧

−−=

+−

+−

=

++ ∑

)(222

)(111

)(1,

1,

)(1,

1,

1

1,

)()1(

ˆ

ˆˆ

ik

ol

TTol

Tik

Tik

qkl

ol

ol

olMV

ik

qkl

ol

ol

olQ

L

l

Tol

TTqklf

ik

ik

fHAQQAHfQQfdHCAmK

fdHCAyKAHdCff

λλ

α

om

oy

)(1ˆ endk

qk ff =+

)(,

1,

ˆ endkl

qkl dd =+

q

i

i

1ˆ~ += qkk ff

1ˆ~ += qdd

• Introducción


• BR ↔ AR

• BRC ↔ AR

• Regularización



• Resultados


ResultadosResultados

Ejemplo de reconstruccióna) Original de AR.

b) Interpolada de CBR.

c) Reconstrucción usando método. a)

c)b)

• Introducción


• BR ↔ AR

• BRC ↔ AR

• Regularización



• Resultados


Evolución del PSNR si sólo se utilizan mapas de

observabilidad para yl

Evolución del PSNR si se utilizan los dos mapas de

observabilidad para yl y ml

• Introducción


• BR ↔ AR

• BRC ↔ AR

• Regularización



• Resultados

observabilidad y predictibilidad en la...

Documents