signali slike (2d) i njihovi parametri format slika u boji ... 5... · oasdsp2: diskretna obrada...

16
OASDSP2: Diskretna obrada signala slike i videa Novi Sad, 2019 strana 1 Signali slike (2D) i njihovi parametri Format slika u boji Signali videa (3D) 2D sistemi 2D konvolucija

Upload: others

Post on 11-Feb-2020

4 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Signali slike (2D) i njihovi parametri Format slika u boji ... 5... · OASDSP2: Diskretna obrada signala slike i videa Novi Sad, 2019 strana 16 Treba zapamtiti: Digitalna slika je

OASDSP2: Diskretna obrada signala slike i videa

Novi Sad, 2019 strana 1

• Signali slike (2D) i njihovi parametri

• Format slika u boji

• Signali videa (3D)

• 2D sistemi

• 2D konvolucija

Page 2: Signali slike (2D) i njihovi parametri Format slika u boji ... 5... · OASDSP2: Diskretna obrada signala slike i videa Novi Sad, 2019 strana 16 Treba zapamtiti: Digitalna slika je

OASDSP2: Diskretna obrada signala slike i videa

Novi Sad, 2019 strana 2

kolona h k

vrsta v

n

susedi

rastojanje

Digitalna slika je 2D signal sa I mogućih vrednosti

110 ,...,,),( ISSShvs

22 )()(),(,, khnvknhvd

)1,1(),1()1,1(

)1,()1,(

)1,1(),1()1,1(

hvshvshvs

hvshvs

hvshvshvs

• obično je I=2B, gde je B broj bita po pikselu

• celobrojne vrednosti: Sn=n gde je n=0,1,...,I-1

• normalizovane vrednosti: 0 < Sn < 1

• binarna slika I=2: S0=0 i S1=1

(v,h) : jedna tačka ili piksel

Page 3: Signali slike (2D) i njihovi parametri Format slika u boji ... 5... · OASDSP2: Diskretna obrada signala slike i videa Novi Sad, 2019 strana 16 Treba zapamtiti: Digitalna slika je

OASDSP2: Diskretna obrada signala slike i videa

Novi Sad, 2019 strana 3

tekstura

pozadina

ivice

objekat

Elementi slike

Page 4: Signali slike (2D) i njihovi parametri Format slika u boji ... 5... · OASDSP2: Diskretna obrada signala slike i videa Novi Sad, 2019 strana 16 Treba zapamtiti: Digitalna slika je

OASDSP2: Diskretna obrada signala slike i videa

Novi Sad, 2019 strana 4

h

v

linije

korneri

•Veće i složenije strukture se

takodje mogu definisati i koristiti

za opis delova slike, kao što je

linija, korner, kontura, stepenica, češalj, itd.

k

Topološke osobine slike

Page 5: Signali slike (2D) i njihovi parametri Format slika u boji ... 5... · OASDSP2: Diskretna obrada signala slike i videa Novi Sad, 2019 strana 16 Treba zapamtiti: Digitalna slika je

OASDSP2: Diskretna obrada signala slike i videa

Novi Sad, 2019 strana 5

Histogram slike

• Histogram slike predstavlja frekvenciju pojavljivanja različitih osvetljaja.

• Verovatnoća pojavljivanja određene vrednosti piksela.

HVnhI

n

1

0

)(

1)()(

)(1

0

I

n

npHV

nhnp

)8(2550: BS

h(S)

V

(258)

H (258)

Page 6: Signali slike (2D) i njihovi parametri Format slika u boji ... 5... · OASDSP2: Diskretna obrada signala slike i videa Novi Sad, 2019 strana 16 Treba zapamtiti: Digitalna slika je

OASDSP2: Diskretna obrada signala slike i videa

Novi Sad, 2019 strana 6

Format slike u boji

• sve boje mogu se razložiti na tri komponente (baza boja)

• najčešće se koristi RGB

• svaki piksel je definisan sa tri komponente boja

),(),,(),,(),( hvBhvGhvRhvs

• najčešći format boja u televiziji je YUV

Y je luminiscentni signal i definiše crno-belu sliku (osvetljaj)

U i V su hrominentne komponente koje definišu boje

• transformacija formata iz RGB u YUV i obrnuto se definiše pomoću matrica

615.0615.0

436.0436.0

10

012798.21

38059.021482.01

28033.101

10

10

10

05639.051.0615.0

436.028886.014714.0

114.0587.0299.0

11

V

U

Y

T

V

U

Y

T

B

G

R

B

G

R

T

B

G

R

T

V

U

Y

Page 7: Signali slike (2D) i njihovi parametri Format slika u boji ... 5... · OASDSP2: Diskretna obrada signala slike i videa Novi Sad, 2019 strana 16 Treba zapamtiti: Digitalna slika je

OASDSP2: Diskretna obrada signala slike i videa

Novi Sad, 2019 strana 7

Transformacija formata slike

Page 8: Signali slike (2D) i njihovi parametri Format slika u boji ... 5... · OASDSP2: Diskretna obrada signala slike i videa Novi Sad, 2019 strana 16 Treba zapamtiti: Digitalna slika je

OASDSP2: Diskretna obrada signala slike i videa

Novi Sad, 2019 strana 8

Video signali (3D)

h

v

t

),,(: hvtstframe

),,1(:1 hvtstframe

• vektor pomeraja

21

2

1

11

tttt

httvtt

hhvvm

ihhivvm

m

),( tt hv

),( 11 tt hv

Page 9: Signali slike (2D) i njihovi parametri Format slika u boji ... 5... · OASDSP2: Diskretna obrada signala slike i videa Novi Sad, 2019 strana 16 Treba zapamtiti: Digitalna slika je

OASDSP2: Diskretna obrada signala slike i videa

Novi Sad, 2019 strana 9

2D sistemi: ),(),( hvXfhvY

f{.}X(v,h) Y(v,h)

Primer – korekcija osvetljaja aXY

Page 10: Signali slike (2D) i njihovi parametri Format slika u boji ... 5... · OASDSP2: Diskretna obrada signala slike i videa Novi Sad, 2019 strana 16 Treba zapamtiti: Digitalna slika je

OASDSP2: Diskretna obrada signala slike i videa

Novi Sad, 2019 strana 10

2D konvolucija – linearni, vremenski nepromenjivi sistem

h – 2D impulsni odziv sistema

hX(v,h) Y(v,h)

1

0

1

0

),(),(),(N

n

K

k

khnvXknhhvY

(v,h)

(v-N+1,h-K+1)Primer: Gausov impulsni odziv

2

2

2

2

2

)2/(

2

)2/(

),( hv

KkNn

eknh

Page 11: Signali slike (2D) i njihovi parametri Format slika u boji ... 5... · OASDSP2: Diskretna obrada signala slike i videa Novi Sad, 2019 strana 16 Treba zapamtiti: Digitalna slika je

OASDSP2: Diskretna obrada signala slike i videa

Novi Sad, 2019 strana 11

Detekcija ivica – Sobel operator

Vertikalni gradient

101

202

101

4

1),( hvhv Horizontalni gradient

121

000

121

4

1),( hvhv

2

0

2

0

)1,1(),(),(n k

horvhorv khnvXknhhvG

Globalni gradient ),(),(),( 22 hvGhvGhvG hv

Binarni gradient

thhvG

thhvGhvG

),(1

),(0),(

Page 12: Signali slike (2D) i njihovi parametri Format slika u boji ... 5... · OASDSP2: Diskretna obrada signala slike i videa Novi Sad, 2019 strana 16 Treba zapamtiti: Digitalna slika je

OASDSP2: Diskretna obrada signala slike i videa

Novi Sad, 2019 strana 12

3D sistemi: detekcija pokreta primenom “block matching” algoritma

h

v

t

),,( hvts

),,1( hvts

• razlika za pomeraj m=(x,y)

• određivanje vektora pomeraja za blok N x N piksela

• pretraživanje svih mogućih pomeraja u regionu K x K

• pomeraj za koji je minimalna razlika

N

N

blok

region

K

K

2/)1(

2/)1(

2/)1(

2/)1(

2),,1(),,(),(

N

Nn

N

Nk

kxhnyvtsxhyvtsxyD

• vektor pomeraja

mm

• veličina bloka u praksi NxN = 4x4 ili 8x8

• veličina regiona pretraživanja u praksi KxK = 31x31

2/)1(,...,2/)1(2/)1(,...,2/)1(

),(min,),(

KKyKKx

mmmm xyDxyDakoxym

Page 13: Signali slike (2D) i njihovi parametri Format slika u boji ... 5... · OASDSP2: Diskretna obrada signala slike i videa Novi Sad, 2019 strana 16 Treba zapamtiti: Digitalna slika je

OASDSP2: Diskretna obrada signala slike i videa

Novi Sad, 2019 strana 13

3D sistemi – primer: N x N = 3 x 3 K x K = 3 x 3

Page 14: Signali slike (2D) i njihovi parametri Format slika u boji ... 5... · OASDSP2: Diskretna obrada signala slike i videa Novi Sad, 2019 strana 16 Treba zapamtiti: Digitalna slika je

OASDSP2: Diskretna obrada signala slike i videa

Novi Sad, 2019 strana 14

Analiza slike/videa

• Važne odlike (features) slike za

analizu:

– Lokalni:

• Ivice

• Tekstura

– Globalni:

• Objekti (detalji)

• Osvetljenost

• Boja

• Oštrina (kontrast)

• Šum

Page 15: Signali slike (2D) i njihovi parametri Format slika u boji ... 5... · OASDSP2: Diskretna obrada signala slike i videa Novi Sad, 2019 strana 16 Treba zapamtiti: Digitalna slika je

OASDSP2: Diskretna obrada signala slike i videa

Novi Sad, 2019 strana 15

Analiza slike u video nadzoru

• detekcija ivica

• detekcija objekata (konture)

• detekcija vektora pomeraja

• predikcija kretanja

Page 16: Signali slike (2D) i njihovi parametri Format slika u boji ... 5... · OASDSP2: Diskretna obrada signala slike i videa Novi Sad, 2019 strana 16 Treba zapamtiti: Digitalna slika je

OASDSP2: Diskretna obrada signala slike i videa

Novi Sad, 2019 strana 16

Treba zapamtiti:

Digitalna slika je 2D signal (prostorna struktura – vertikalna i horizontalna dimenzija) veličine VxH tačaka

(pixel). Za svaku tačku je određen intezitet slike sa jednom od 2B vrednosti ako se koristi B bita po tački.

Najmanja vrednost 0 odgovara crnoj boji a najveća 2B -1 odgovara beloj boji.

Elementi slike su pozadina i objekti definisani sa ivicama i unutrašnjom teksturom. Oni se bliže definišu sa

topološkim osobinama slike kao što su ivice, korneri, stepenice, češljevi itd.

Histogram slike se definiše kao skup ušestanosti pojavljivanja svake od 2B vrednosti u slici.

Digitalna slika u boji se sastoji od tri vrednosti (osnovne boje R-crvena, G-zelena, B-plava) za svaku tačku u

RGB formatu. Drugi format slike u boji je YUV, gde je Y luminiscentna komponenta a U i V su dve kolor

komponente. Veza između RGB i YUV formata je definisana transformacionom matricom T 3x3: YUV=TxRGB.

Video signal je 3D signal (vreme + prostor) u kojem se ređaju slike (frames) sa pomeranjem u vremenu. Između

susednih slika u vremenu se mogu odrediti vektori pomeraja za svaku tačku.

2D sistemi opisiju obradu jedne digitalne slike. Linearni 2D sistemi opisuju 2D konvoluciju (filtriranje) u kojoj

se vrednost slike u jednoj tački na izlazu izračunava kao linearna kombinacija vrednosti slike na ulazu u okolnim

tačkama. Koeficijenti linearne kombinacije definišu 2D impulsni odziv takvog filtra.

Detekcija ivica (Sobelov operator) je jedan 2D VF filter baziran na izračunavanju razlike osvetljaja u susednim

tačkama. Obično se primenjuje samo na luminiscentnu komponentu mirne slike.

Block matching je metoda određivanja vektora pomeraja u video signalu na osnovu minimalne srednje razlike u

jednom bloku oko posmatrane tačke u slici.

Analiza slike uključuje više lokalnih (ivice, tekstura) i globalnih (objekti, oštrina, osvetljenost) parametara. U

analizi videa dodatno se analiziraju i dinamički parametri (pomeraj, trajektorije).