APLICAŢII ALE PCA ÎN COMPRESIA ŞI RESTAURAREA SEMNALELOR

I. SCHEMA DE COMPRESIE/DECOMPRESIE PCA Teorema (Schema de compresie/reconstrucţie lineară optimală LMS) Fie nm21 ...... valorile proprii ale matricei de covarianţă Σ şi nm21 ,...,,...,, un set de vectori proprii asociaţi. Schema de compresie/reconstrucţie lineară definită prin

XWWWWXXWYX TTWTWWU

TTW 11ΣΣ ΣΣ

ˆ

este optimală din punct de vedere al erorii medii pătratice dacă WL m21 ,...,,L , spaţiul linear generat de vectorii m21 ,...,, .

Schema de compresie/decompresie lineară de eroare pătratică minimă corespunde matricelor

W m21 ,...,, , WWWWU1T

,

XWWXXWYX TWTTW ˆ

n

1mjj

m

1jj

2

RMW

2 trW,infm,n

.

Dacă m=n şi n21 ,...,, sunt vectorii proprii ortonormali ai matricei de covarianţă , atunci

n

1iiiYX este referită drept reprezentarea Karhunen-Loève a formei X.

Algoritmul

1. exp,...,, nrIII 21 imagini de dimensiune pnm , instanţe ale lui X . Se lucrează liniarizat. Fie dim<p numărul de componente selectate pentru compresie

2. Calculează

exp

expˆ

nr

iiI

nr 11μ

3. Centrează datele μ̂ ii IY , i=1,…,nrexp

4. Calculează

exp

ˆnr

i

Tii YY

1nrexp 11Σ

5. Calculează componentele principale: un set de vectori proprii ortonormali corespunzători valorilor

proprii ale lui Σ̂ în ordinea descrescătoare a valorilor proprii. Selectează W dim,...,, ΦΦΦ 21

6. Realizează compresia: iT

i IWZ , i=1,…,nrexp

7. Decompresia şi restaurarea: μ̂ ii WZX , i=1,…,nrexp

Compresie de caractere Multimea imaginilor iniţiale (caractere reprezentate în imagini monocrome 16x16)

Multimea imaginilor restaurate de la reducerea 16x16=256 componente principale la primele 10 componente principale

Datele iniţiale: 30 exemple de dimensiune 256 (30x256=7680 componente) Datele necesare pentru restaurare: (3116 componente)

imaginea medie, de dimensiune 256 (256 componente)

30 exemple de dimensiune 10 (30x10=300 componente)

Componentele principale, de dimensiune 10x256 (10x256=2560 componente)

Compresie de imagini Cateva exemple din multimea imaginilor iniţiale (imagini monocrome 50x50)

Corespondentele restaurate de la reducerea 50x50=2500 componente principale la primele 14 componente principale

II. ALGORITMII CSPCA ŞI CSPCA CU COMPRESIE

Modelul propus pentru eliminarea zgomotului nI0 2,N , CSPCA (Code Shrinkage Principal Component Analysis), utilizează tehnici de tip PCA şi contracţie a codului

0X - setul imaginilor originale perturbat aditiv cu zgomotul 0, ttηη . Se presupune că zgomotul este un proces stochastic staţionar:

pentru orice t, η t este distribuit nI0 2,N , cu 2 cunoscut. 0X este proces staţionar, cu

media tE 0Xμ şi

matricea de covarianţă TttCov 00 , XXΣ .

Setul de imagini observate (cunoscute) este ηXX 0 .

Deoarece 0 μXμ 0 EtE , rezultă că vectorul medie

XXμ 0 EtE este cunoscut.

În etapa de preprocesare: datele normalizate (rezultă 10 2 ) şi centrate, ημXXXY 0E , ,0YE n

T IΣYY 2,Cov .

Deoarece X este observat (cunoscut), rezultă că Y este cunoscut, deci matricele

nIΣ 2 şi Σ sunt cunoscute (sau pot fi aproximate din date).

Fie 2

1

ΦΛA , unde n ,...,1Φ este matricea ortonormală cu coloane vectorii

proprii ai lui Σ şi n ,...,,diag 21Λ , i

i

2

1 ,unde n ...21 valorile

proprii ale lui Σ .

Rezultă că fiecare coloană din A corespunde unui vectori propriu al matricei nIΣΣ 21 , iar n ,...,, 21 sunt valorile proprii asociate. Deoarece

11 ...nn , rezultă că

n

nA ,...,1121ΦΛ are coloanele în ordinea

crescătoare a valorilor proprii, deci componentele principale ale semnalului cu matrice de covarianţă Σ corespund componentelor minore ale semnalului cu matrice de

covarianţă nIΣΣ 21

Fie ηAμXAYAZ TTT 0 .

Componenta zgomot din vectorul Z este înglobată în principal în ηAT

Obţinem,

12

ΛηAηA TTT ,Cov

Deoarece η t este distribuit nI0 2,N , vectorul ηAT are distribuţia 12,N Λ0 , deci

elementele componentei zgomot rezultate, ηAT , sunt independente. Lui Z îi este aplicată funcţia de contracţie

i

uuug 2

2,0maxsign

şi rezultă o aproximare a lui Z în varianta fără zgomot,

Z0= μXA 0T .

Este obţinută o aproximare a setului de imagini iniţiale

010 ZμX TAˆ .

Tehnica CSPCA este combinată cu o schemă de compresie/decompresie, astfel încât procesul de eliminare a zgomotului este tratat în spaţiul caracteristicilor principale.

Ideea este aceea că, în principal, componenta zgomot este regăsită în componentelor minore ale semnalului.

Fie n ,...,1Φ vectorii proprii unitari ai matricei Σ şi n ...21 valorile

proprii corespunzătoare. Pentru orice nm 1 , mm ,...,1Φ ,

mm ,...,,diag 21Λ şi

n

nmmmA ,...,1121ΛΦ

Modulul de eliminare a zgomotului este implementat în spaţiul m-dimensional al caracteristicilor principale, F. Obţinem schem de compresie/decompresie şi restaurare.

1. Compresia

YμXY TT mAFmA

2. Modulul de eliminare a zgomotului

3. Decompresia X̂TF mA0 ,unde X̂ este imaginea restaurată, 0FmA T

ˆ X .

F 0F CSPCA

Implementare. Varianta 1 se dispune de μ, Σ şi 2 .

Obţinerea imaginilor cu zgomot

exp,...,, nrIII 21 imagini neperturbate de dimensiune pnm , instanţe ale lui 0X . Se

lucrează cu blocuri 16x16 şi liniarizate şi normalizate nrexpi1II ii ,255 .. După cum

rezultă din model, se dispune de μ, Σ şi 2 . μ, Σ pot fi calculaţi direct din imaginile

neperturbate pentru variantele normalizate ale imaginilor, Perturbarea: este realizată cu zgomot necorelat, fiecare pixel fiind perturbat aditiv cu

zgomot gaussian de medie 0 si deviaţie standard . Rezultă exp,...,, nrJJJ 21 imagini perturbate de dimensiune pnm , liniarizate.

Algoritmul de eliminare a zgomotului

Date de intrare: exp,...,, nrJJJ 21 , dim<256 ,numărul de componente selectate pentru compresie (zgomotul este înglobat şi în componentele minore, deci se recomandă ignorarea

lor), μ, Σ , 21 . Imaginile se normalizează (se aduc valorile matricelor în [0,1], prin

împărţire la 255). Varianţă după normalizare:

221 255

1. Centrarea: nrexpi1JJ ii ,μ

2. Construieşte matricea transformării liniare: 21Λ dimdimdim ΦA , dim vectori şi

valori proprii calculaţi pentru pIΣΣ 211 . Se lucrează cu valorile proprii ordonate

crescător: componentele principale ale semnalului cu matrice de covarianţă Σ corespund

componentelor minore ale semnalului cu matrice de covarianţă pIΣΣ 211

3. Aplică transformarea directă: nrexpi1JAZ iT

i ,dim vector compresat la dim 4. Aplică funcţia de contracţie a codului

dimexp,,,maxsign0

tnritZtZtZgtZt

iiii 1120 21

5.Aplică transformarea inversă, pentru revenirea în spaţiul initial (necompresat)

nrexpi1ZApinvY iT

i ,0dim0 6. Calculează o aproximare a imaginilor iniţiale

nrexpi1XJ

nrexpi1YX

ii

ii

,*ˆ

,0255μ

Imagini perturbate

VARIANTA 1 DE IMPLEMENTARE Restaurare cu reducere de dimensiune de la 256 la 30

Implementare. Varianta 2 se dispune doar de 2 .

Obţinerea imaginilor cu zgomot

exp,...,, nrIII 21 imagini neperturbate de dimensiune pnm , instanţe ale lui 0X . Se lucrează cu blocuri 16x16 şi liniarizate.

Perturbarea: este realizată cu zgomot necorelat, fiecare pixel fiind perturbat aditiv cu

zgomot gaussian de medie 0 si deviaţie standard . Rezultă exp,...,, nrJJJ 21 imagini perturbate de dimensiune pnm , liniarizate.

Observaţie Numărul exemplelor trebuie să fie suficient de mare încât valorile estimate pentru vectorul

medie şi matricea de covarianţă să fie apropiate de cele teoretice (de exemplu fiecare kI , generează NR imagini perturbate; numărul exemplelor perturbate devine nrexp=NR*nrexp).

Algoritmul de eliminare a zgomotului

Date de intrare: exp,...,, nrJJJ 21 , dim<256, 2 . Imaginile se normalizează (se aduc

valorile matricelor în [0,1], prin împărţire la 255).

1. Calculează μ̂, 1Σ̂ , unde μ̂ este vectorul medie de selecţie pentru exp,...,, nrJJJ 21 , 1Σ̂

matricea de covarianţă de selecţie pentru exp,...,, nrJJJ 21 . Consideră pIΣΣ 2551 ˆˆ

aproximare a lui Σ. În modelul teoretic, pIΣΣ 21 255

unde 1Σ este matricea de

covarianţă (teoretică) a vectorului aleator care a generat exp,...,, nrJJJ 21

2. Centrarea: nrexpi1JJ ii ,μ̂

3. Construieşte matricea transformării liniare: 21Λ dimdimdim ΦA , dim vectori şi valori

proprii calculaţi pentru 11 ΣΣ ˆˆ .

4. Aplică transformarea directă: nrexpi1JAZ iT

i ,dim vector compresat la dim 5. Aplică funcţia de contracţie a codului

dimexp,,*

,maxsign0

tnritZtZtZgtZt

iiii 1125520

6. Aplică transformarea inversă nrexpi1ZApinvY iT

i ,0dim0

7. Calculează o aproximare a imaginilor iniţiale nrexpi1XJYX iiii ,*ˆ,0ˆ 255μ

Imagini perturbate

VARIANTA 2 DE IMPLEMENTARE Restaurare cu reducere de dimensiune de la 256 la 30 (fiecare poza generează câte 40 variante perturbate, deci NR=40)