7 KOMUNIKACIJSKI KANALI SA SMETNJAMA (UMOM)Uvod Diskretni kanal bez memorije Kapacitet diskretnog kanala sa smetnjama Problem diskretnog kanala sa umom Kodiranje u kanalima sa umom Kontinuirani kanal sa umom

7.1 UvodKomunikacija izmeu predajnika i prijamnika openito je popraena vanjskim smetnjama koje unose odreenu razinu nesigurnosti prijenosa informacije. U realnim kanalima smetnje nastaju zbog umova u elektronikim elementima, umova iz okoline, zbog fluktuacije karakteristika kanala, zbog interferencije unutar samog kanala i interferencije drugih susjednih kanala, kao i zbog neidealne sinkronizacije. U cilju nadvladavanja svih ovih prepreka prijenosu informacije, predajni signal je potrebno transformirati u oblik koji omoguuje tzv. transparentni prijenos, tako da je signal (nosioc informacije), koliko je to mogue, otporan na smetnje. Uvjeti prijenosa u takvu transparentnom kanalu ne ovise o karakteristikama ulaznog signala. Realizacija transparentnog prijenosa obavlja se pomou kodera signala (kanala) ija rjeenja e biti analizirana u slijedeim poglavljima.x X kanal n N smetnjeSlika 7.1 Kanal sa smetnjama

y Y

Za sluaj diskretnog izvora, primljeni simbol yj na slici 7.1 predstavlja "izoblieni" odaslani simbol xj. Oblik izoblienja ovisi o tipu kanala. Za kontinuirane kanale sa umom, izlaz iz kanala je sluajna kontinuirana varijabla, a za diskretne kanale s diskretnim umom izlaz iz kanala je diskretna sluajna varijabla. Broj simbola u Y moe biti isti ili razliit od broja simbola u ulaznom skupu X. Za vremenski invarijantne kanale s memorijom, izlazni simbol y e openito ovisiti ne samo o poslanom simbolu x i o umu u kanalu n nego i o prethodnim ulazima, odnosno o stanju kanala s. Primljeni simbol y odreen je dakle uvjetnom vjerojatnou p(y/x,s). Za kanale bez memorije (DMC) izlazni simbol ne ovisi o prethodnim ulazima, tako da je primljeni simbol y odreen preko p(y/x). Za diskretne e kanale bez memorije, dakle, vrijediti:p ( y / x) = p ( y i / x i )i =1 n

(7.1)

1

Ulazni simboli x su openito n-torke, tj. n-lani nizovi iji elementi xi poprimaju neku od vrijednosti upotrijebljene abecede A sa L znakova. Vrijedi dakle: x = ( x1 , x2 ,..., x n ) X xi A = {a1 , a2 ,..., a L } Prostor X koji sadri n razliitih simbola xi je openito prostor, odnosno podprostor svih moguih n-lanih simbola Xn, tj. vrijedi X Xn. Sa stajalita kodnog stabla, relacija X Xn odgovara situaciji gdje sve mogue kodne grupe na krajevima stabla nisu uzete kao vrijedne kodne grupe, tj. kao kodne rijei. Prirodni jezik je tipian primjer ovakva kodiranja, gdje je X "mali" podskup od Xn.

7.2 Diskretni kanal bez memorijeDiskretni kanal bez memorije oznaava kanal koji na ulazu ima diskretan skup Nx simbola, tj. xi X ; i=1,2,...,Nx, a na izlazu takoer diskretan skup Ny simbola, tj. yj Y ; j=1,2,...,Ny. Utjecaj uma u kanalu je definiran uvjetnom vjerojatnou p(y/x) (slika 7.2).

x X

diskretni kanal P(y/x)

y Y

Slika 7.2 Model diskretnog kanala bez memorije

Uvjetne vjerojatnosti p(yj/xi) tvore (Nx x Ny) matricu uvjetnih vjerojatnosti P koja potpuno definira diskretni kanal, zbog ega je i nazvana matrica kanala: p ( y 2 / x2 ) L p ( y N y / x1 ) p ( y1 / x1 ) p( y / x ) p ( y 2 / x2 ) L p ( y N y / x2 ) 1 2 (7.2) P= M M M p ( y1 / x N x ) p ( y 2 / x N x ) L p ( y N y / x N x ) Neki ulazni simbol xi zbog utjecaja smetnji prelazi uvijek u neki izlazni simbol yj, tako da e vrijediti:

p( yj =1

Ny

j

/ xi ) = 1 i = 1,2,..., N x

Ako se uzme kanal bez smetnji, izlazni simbol e uvijek biti jednak ulaznom, tj. srednji sadraj informacije po ulaznom simbolu je bez gubitka prenesen na izlaz. Matrica kanala bez smetnji je oblika: 0 1 0 L 0 1 0 0 L 0 P= M M M M 0 0 1 L 0 tj. svi reci i stupci imaju samo jednu jedinicu, tako da svakom izlaznom simbolu yj jednoznano, s vjerojatnou 1, odgovara neki ulazni simbol xi. Ako se uzme da su indeksi simbola u odnosu 2

1:1, onda je matrica kanala jedinina, tj. P = I, pa vrijedi: 1 i = j p( y j / xi ) = 0 i j Ako se ulazni simboli javljaju s raspodjelom vjerojatnosti p(xi), raspodjela vjerojatnosti izlaznih simbola p(yj) je odreena relacijom: p ( y j ) = p ( x i , y j ) = p ( xi ) p ( y j / xi )i i

odnosno: Py = Px P gdje su

Px = p( x1 )Py = p ( y1 )

[

[

p ( x2 ) L p ( x N x )p( y2 ) L

]

p( y N y )

]

jednoredne matrice, a P je (Nx x Ny) matrica kanala. Na osnovi {p(xi)}, {p(yj)} i matrice kanala P moe se definirati entropija ulaza H(X), entropija izlaza H(Y), te zdruena entropija H(X,Y), kao i uvjetna entropija H(Y/X) i H(X/Y). Vrijedi:

H ( X ) = p( xi ) ld p( xi ) bita / simboli =1

Nx

(7.3)

gdje je H(X) mjera srednjeg sadraja informacije ulaznog skupa X. Entropija izlaza:H (Y ) = p ( y j ) ld p ( y j ) bita / simbolj =1 Ny

(7.4)

je mjera srednjeg sadraja informacije izlaznog skupa Y. Zdruena entropija:H ( X , Y ) = p ( xi , y j ) ld p ( xi , y j ) bita / simboli =1 j =1 Nx Ny

(7.5)

je mjera srednjeg sadraja informacije ulazno-izlaznog para simbola, odnosno sa stajalita prijenosa (7.5) predstavlja srednju neodreenost komunikacijskog sustava ukljuivi izvor, kanal i odredite. Uvjetna entropija:H (Y / X ) = p ( xi , y j ) ld p ( y j / xi ) bita / simboli =1 j =1 Nx N y

(7.6)

je mjera srednjeg sadraja informacije koja je potrebna da se odredi izlaz kad je poznat ulaz. Neodreenost (7.6) je posljedica uma, pa se naziva i irelevantnost. Uvjetna entropija:H ( X / Y ) = p ( xi , y j ) ld p ( xi / y j ) bita / simboli =1 j =1 Nx N y

(7.7)

je mjera srednjeg sadraja informacije potrebne da se odredi poslani simbol x kad je primljen 3

simbol y. Zbog svog znaenja, H(X/Y) definirana relacijom (7.7), zove se i ekvivokacija. Ekvivokacija kanala predstavlja izgubljeni srednji sadraj informacije u kanalu sa umom. Na osnovi iznesenog moe se nadalje definirati srednji preneseni sadraj informacije kao razliku izmeu neodreenosti na ulazu (apriorna entropija) i neodreenosti koja preostaje nakon prijama (aposteriorna entropija), tj: I ( X ; Y ) = H ( X ) H ( X / Y ) bita / simbol (7.8) Takoer vrijedi: I ( X ; Y ) = H (Y ) H (Y / X ) bita / simbol (7.9) Analogno relaciji (4.12) vrijedi i ovdje: H ( X , Y ) = H ( X ) + H (Y / X ) = H (Y ) + H ( X / Y ) (7.10) uz H(Y/X) H(Y) i H(X/Y) H(X), pa se (7.8) moe pisati kao: I ( X ; Y ) = H ( X ) + H (Y ) H ( X , Y ) bita / simbol (7.11) Relacije (7.8) do (7.11) mogu biti ilustrirane pomou informacijskih tokova (slika 7.3) ili pomou Vennova dijagrama (slika 7.4). Oito vrijedi: 0 I ( X ;Y ) H ( X )"ekvivokacija" H(X/Y) entropija H(X) izvora izvor I(X;Y) H(Y/X) "irelevantnost"Slika 7.3 Informacijski tokovi u kanalu sa umom

H(Y)

entropija na prijamu odredite

H(X/Y)

H(X)

I(X;Y)

H(Y)

H(Y/X)

H(X,Y)Slika 7.4 Vennov dijagram za kanal sa umom

Na temelju izraza (7.8) do (7.11), odnosno slika 7.3 i 7.4, moe se lako razmotriti slijedea tri sluaja: a) Kanal bez uma Za kanal bez uma vrijedi H(X/Y) = H(Y/X) = 0, te H(X,Y) = H(X) = H(Y), pa je prenesen cjelokupan sadraj informacije, tj. I (X ,Y ) = H (X ) 4

b) Neupotrebljivi kanal Ovaj granini sluaj nastaje kad su X i Y neovisni, tj. H(X) H(Y) = 0, to znai da vrijedi H(X/Y) = H(X), H(Y/X) = H(Y), te H(X,Y) = H(X) + H(Y), pa je preneseni sadraj informacije jednak nuli, tj.: I ( X ;Y ) = 0 Drugim rijeima, cjelokupna informacija izvora je izgubljena u kanalu. Za neupotrebljivi kanal matrica kanala ima jednake sve retke, tj. vrijedi: p( y j / xi ) = p( y j ) za sve i, j c) Simetrini kanal Simetrini kanal je definiran matricom kanala P koja ima svojstvo da svi reci sadre isti skup brojeva pj ; j = 1, 2, ..., Ny i svi stupci sadre isti skup brojeva qi ; i = 1, 2, ..., Nx. Zbog posljednjeg svojstva matrice kanala P, izraz (7.6) moe biti pisan u obliku:

H (Y / X ) = p( xi ) H (Y / xi )i =1

Nx

(7.12)

gdje je:H (Y / xi ) = p ( y j / xi ) ld p ( y j / xi )j =1 Ny

(7.13)

Nadalje, zbog toga to reci sadre isti skup brojeva pj, izraz (7.13) poprima oblik:H (Y / xi ) = p j ld p jj =1 Ny

pa uvrtenjem u (7.12) slijedi:H (Y / X ) = p j ld p j = H rj =1 Ny

(7.14)

jer je

p( x ) = 1i =1 i

Nx

Dakle, uvjetna entropija H(Y/X) simetrinog kanala ne ovisi o p(xi) nego samo o matrici P, odnosno jednaka je entropiji retka (bilo kojeg) matrice kanala. Preneseni sadraj informacije za simetrine kanale je dakle: I ( X ; Y ) = H (Y ) H r

Primjer 7.1 BSC kanalZadan je binarni simetrini kanal (BSC) s ulaznom abecedom i matricom kanala (slika 7.5): x1 x2 0.9 0.1 X= 3 1 P = p( x1 ) = p ( x2 ) = 0.1 0.9 4 4 5

x1 ; p(x1) = 3/4 x2 ; p(x2) = 1/4 izvor informacije

x1 x2

0 1

p(0/0) 0 0 p(1/0) p(0/1) 1 p(1/1) kanal sa umom 1

y1 = 0 y2 = 0

x1 x2

koder informacije

dekoder informacije

Slika 7.5 Primjer binarnog simetrinog kanala (BSC)

Srednji raspoloivi sadraj informacije ulaza jednak je entropiji ulaza: 2 3 4 1 H ( X ) = p( xi ) ld p ( xi ) = ld + ld 4 = 0.811 bita / simbol 4 3 4 i =1 Preneseni sadraj informacije je razlika izmeu ulazne entropije H(X) i neodreenosti koja ostaje nakon prijama (izraz (7.8)): I ( X ;Y ) = H ( X ) H ( X / Y ) gdje je prema (7.7): H ( X / Y ) = p( xi , y j ) ld p( xi / y j )i, j

Budui da vrijedi: p( xi , y j ) = p( xi ) p( y j / x i ) = p( y j ) p( xi / y j )p ( xi / y j ) = p ( xi , y j ) p( y j )

p ( y j ) = p ( xi , y j )i

vrijedi i:p(yj/xi) x1 x2 y1 0.9 0.1 y2 0.1 0.9 p(xi) 3/4 1/4

p(xi,yj) x1 x2 p(yj) p(xi/yj) x1

y1 0.675 0.025 0.7 y1 0.964

y2 0.075 0.225 0.3 y2 0.25

p(xi) 3/4 1/4 1

6

x2

0.036

0.75

Izgubljeni sadraj informacije odgovara preostaloj neodreenosti, tj.: H ( X / Y ) = p( xi , y j ) ld p( xi / y j ) = 0.4 bita / simboli, j

pa je preneseni sadraj informacije: I ( X ; Y ) = 0.811 0.4 = 0411 bita / simbol Uoava se vrlo otar utjecaj smetnji u kanalu, jer je uz 10% pogrenih simbola, preneseni sadraj informacije gotovo prepolovljen. Jednostavniji put za proraun H(X/Y) daje izraz (7.14):H ( X / Y ) = p j ld p ji =12

gdje su pj ; j = 1, 2 brojevi u nekom retku matrice P. Vrijedi: H ( X / Y ) = 0.9 ld 0.9 0.1 ld 0.1 = 0.4 bita / simbol . g

7.3 Kapacitet diskretnog kanala sa smetnjamaPrimjer 7.1 je ilustrativan za definiciju kapaciteta kanala. Preneseni sadraj informacije I(X;Y) ne ovisi samo o kanalu, tj. o H(X/Y), nego naravno i o H(X), odnosno o raspodjeli vjerojatnosti ulaznih simbola p(xi). Za BSC vrijedi: I ( X ; Y ) = H (Y ) H (Y / X ) = H (Y ) H r Ako je vjerojatnost greke p (slika 7.6), slijedi: I ( X ; Y ) = H (Y ) + p ld p + (1 p) ld (1 p) (7.15)

x1

1-p p p

y1

x2

1-pSlika 7.6 BSC kanal

y2

Slika 7.7 ilustrira relaciju (7.15) gdje se vidi ovisnost I(X;Y) o ulaznoj raspodjeli vjerojatnosti p(xi), uz p kao parametar. Proizlazi da maksimalni preneseni sadraj informacije ovisi o smetnjama u kanalu, ali taj maksimalni iznos je ostvariv samo uz ravnomjernu raspodjelu ulaznih poruka p(xi). Za BSC to znai da ulazna raspodjela p(x1) = p(x2) = 0.5 osigurava da srednji sadraj informacije ovisi samo o smetnjama u kanalu. Ova maksimalna vrijednost I(X;Y) predstavlja dakle raspoloivi kapacitet kanala C.

7

I(X;Y) 1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0.1 p = 0.0

p = 0.1 p = 0.2 p = 0.5 0.5 1 p(xi)

Slika 7.7 Ovisnost srednje prenesene informacije o vjerojatnosti ulaznih simbola za nekoliko tipinih BSC kanala

Kapacitet kanala predstavlja dakle onaj maksimalni iznos srednjeg sadraja informacije koji je mogue prenijeti preko kanala sa umom, tj. vrijedi: C = max I ( X ; Y ) = max [H (Y ) H (Y / X )] (7.16)p( x) p( x)

Kapacitet kanala, kao karakteristika koja predstavlja neki kanal, je zanimljiv jer se takvim kanalom moe prenijeti informacija s proizvoljno malom grekom, ako je brzina prijenosa manja od kapaciteta kanala. Inae, ako je brzina prijenosa iznad kapaciteta kanala, prijenos bez gubitka informacije je nemogu (poglavlje 7.4). Za opi sluaj kanala proraun kapaciteta je sloen. Opi algoritam je dan u /1/. Stoga je zanimljivo pogledati neke posebne sluajeve kanala za koje je proraun kapaciteta jednostavan. a) Kanal bez gubitaka Kad nema gubitka informacije, tj. kad vrijedi H(Y/X) = 0, kapacitet je jednak maksimalnoj entropiji izlaza, koja je ista kao i maksimalna entropija ulaza. Maksimalna entropija je dana uz ravnomjernu raspodjelu, dakle: C = max H ( X ) = ld N bita / simbolp( x)

gdje je N broj simbola. Za kanal bez gubitaka izlazni simboli se mogu podijeliti u podskupove D1, D2 , ..., DN tako da vrijedi: p{y Di / X = xi } = 1 za i = 1,2,..., N tj. odaslani simbol xi je jednoznano odreen kad je primljen simbol y iz skupa Di, bez obzira na raspodjelu ulaza (slika 7.8).

8

y x1 D1 p(x1/y D1) = 1 ...

x2 yi1 xi p(y/xi) xN ulaz p(y/xN) kanal yi2 yik

D2 ... Di ... DN

p(x2/y D2) = 1

...

...

...

...

...

p(xi/y Di) = 1

p(xN/y DN) = 1

izlaz

Slika 7.8 Kanal bez gubitka

Kanal bez gubitaka oito nije nuno i kanal bez smetnji. Meutim, utjecaj smetnji je takav da prijamnik moe na osnovi primljenog simbola uvijek odluiti bez greke o poslanom simbolu. Matrica kanala bez gubitaka je takva da nijedan od stupaca nema vie od jednog elementa koji je razliit od nule, tj. najopenitijeg je oblika: 0 0 X X 0 L 0 0 0 0 X 0 0 0 L 0 0 X 0 0 0 0 X L 0 0 0 P= (7.17) M M M M M M M M 0 0 0 0 0 L 0 X 0 X 0 0 0 0 L X 0 0 Kapacitet kanala bez gubitka je dakle: C = ld N bita / simbol b) Deterministiki kanal Kanal je deterministiki kad svaki podskup simbola na ulazu daje najvie jedan izlazni simbol (slika 7.9), tj. vrijedi: p( y j / xi ) = 1 ili 0 , neovisno o p( xi ) Za ovaj kanal takoer vrijedi H(Y/X) = 0, tj. deterministiki kanal je takav kanal u kojemu ulaz xi predodreuje izlaz yj. Ovaj kanal obavlja npr. grupiranje (tipino kod sustava s prepoznavanjem oblika).

9

...

x1 C1 y1 ... yi p(yi/x) kanal izlaz ... p(x Ci/yi) = 1 p(y1/x) x4 xi xi+k ... Ci xi+1 ... ... p(x C1/y1) = 1 ... ulaz ...

Slika 7.9 Deterministiki kanal

Za razliku od kanala bez gubitaka, deterministiki kanal opisan je matricom kanala iji nijedan redak nema vie od jednog elementa koji je razliit od nule: X 0 0 0 L 0 0 0 0 0 X 0 L 0 0 0 0 0 X 0 L 0 0 0 P= (7.18) M M M M M M M 0 0 0 0 L 0 0 X 0 0 X 0 L 0 0 0 Kapacitet deterministikog kanala je takoer: C = ld N bita / simbol gdje je N broj izlaznih simbola. c) Kanal bez smetnji Kanal je bez smetnji kad je kanal istodobno i bez gubitaka i deterministiki (slika 7.10). Naravno, ovdje takoer vrijedi H(Y/X) = 0. Matrica kanala bez smetnji je kvadratna s po samo jednim elementom po stupcu i retku razliitim od nule, odnosno obino je to jedinina matrica: 1 0 0 L 0 0 1 0 L 0 P= M M M M 0 0 0 L 1

10

x1 x2 ... ... ... xi ... ... ... xN ulaz kanal izlaz

y1 y2 yi yN ... ...

p(x1/y1) = 1 p(x2/y2) = 1 p(xi/yi) = 1 p(xN/yN) = 1 odluka

Slika 7.10 Kanal bez smetnji

Kapacitet kanala bez smetnji je takoer: C = ld N bita / simbol d) Neupotrebljivi kanal Neupotrebljivi kanal ima kapacitet jednak nuli. Ovaj uvjet je zadovoljen kad je neodreenost nakon prijama jednaka cjelokupnoj ulaznoj neodreenosti: H ( X / Y ) = H ( X ) I ( X ;Y ) = 0 za bilo koju raspodjelu p(x). Drugim rijeima, skupovi Y i X su neovisni, odnosno vrijedi: p( y j / xi ) = p( y j ) za sve i, j to znai da matrica neupotrebljiva kanala ima retke koji su meusobno identini. p1 p2 L p N p p L p 2 N P= 1 M M M p1 p2 L p N Vrijedi dakle: p( y / xi ) = p( y / x j ) = p( y ) za sve i, j

x1 x2 p(y/xi) ... ... xi ... ... xN ulaz

y1 y2 yi yN kanal izlaz ... ...

p(x1/y1) = 1/N p(x2/y2) = 1/N p(xi/yi) = 1/N p(xN/yN) = 1/N odluka

p(y/xN)

Slika 7.11 Neupotrebljivi kanal

Za primjer slika 7.12 ilustrira binarni neupotrebljivi kanal.

11

x1

p p

y1 1-p y2 izlaz

x2 ulaz

1-p kanal

Slika 7.12 Binarni neupotrebljivi kanal

e) Simetrini kanalKako je ve definirano, kanal je simetrian kad svaki redak matrice kanala sadri isti skup vrijednosti pj i svaki stupac matrice P sadri isti skup vrijednosti qi. Npr. 1 1 1 2 3 6 1 1 1 1 1 1 1 ili P = 3 3 6 6 P= 1 1 1 1 6 2 3 1 1 1 6 6 3 3 3 6 2 Reci i stupci su dakle identini, izuzev za permutaciju elemenata.

Posljedica spomenutog svojstva matrice simetrinog kanala P je da uvjetna entropija H(Y/X) ne ovisi o raspodjeli p(x), nego samo o p(y/x), tako da vrijedi (7.14). Budui da svi reci imaju isti skup vrijednosti, moe se pisati: H (Y / X ) = H r (entropija retka ) Da se nae max{I(X;Y)} potrebno je dakle maksimizirati H(Y), to vrijedi uz p(yj) = konst. = 1/N. Zbog injenice da i stupci matrice kanala imaju isti skup vrijednosti, uvjet p(yj) = konst. vrijedi samo uz p(xi) = konst., pa slijedi kapacitet simetrinog kanala sa umom: (7.19) C = ld N H r bita / simbol Dakle, um smanjuje kapacitet kanala za vrijednost Hr.

Primjer 7.2 BSC kanal (N = 2)Iz (7.19) slijedi:2

C = ld 2 + p j ld p jj =1

Neka je matrica kanala (slika 7.6): p 1 p P= p 1 p pa vrijedi: C = 1 + p ld p + (1 p) ld (1 p) Slika 7.13 ilustrira ovisnost kapaciteta o vjerojatnosti greke u BSC kanalu. Uoljivo je da p = 0.5 oznaava sluaj neupotrebljiva kanala. 12

C/Cmax 1 0.5 0 0.5 1

Slika 7.13 Kapacitet BSC kanala.

Prethodni primjer i slika 7.13 iniciraju slijedea razmiljanja: Kapacitet simetrinog kanala je ld N - Hr, to za BSC kanal uz p = 0.5 daje CBSC = 0. Dobiveni izraz za kapacitet je vezan uz p(xi) = konst, jer uz taj uvjet I(X;Y) i jest maksimalna. Meutim, ako je matrica BSC kanala npr. 0.5 0.5 P= 0.5 0.5 i neka je p(x1) >> p(x2), pa ako se primijeni pravilo odluivanja d(y1) = d(y2) = x1, moglo bi se pomisliti da e, iako je greka vrlo velika (p = 0.5) i kanal neupotrebljiv (C = 0), preneseni sadraj informacije biti vei od nule! Istina, kanal je restriktivan jer, s obzirom na primijenjeno pravilo odluivanja, poruka x2 nije nikada primljena. Ovo bi mogao biti djelomino upotrebljivi kanal (prenosi samo jedan od ulaznih simbola). tovie, izgleda da bi se djelomina upotrebljivost ovog kanala mogla izbjei odabiranjem druge sheme odluivanja, koja djeluje na osnovi pravila: a) d ( y1 ) = d ( y2 ) = x1 b) d ( y1 ) = d ( y2 ) = x2 gdje se odluke a) ili b) donose u skladu (u omjeru) s vjerojatnostima p(x1) i p(x2). Meutim, moe se lako pokazati da je posljednja shema odluivanja openito inferiorna prvoj, tj. manji je preneseni sadraj informacije. Ali bez obzira na to koje od spomenutih pravila odluivanja primijenili, javlja se pitanje kako za BSC kanal prenesena informacija moe biti vea od nule, iako je dobiveno da je C = 0 za p = 0.5 ? Meutim, nastala neloginost je prividna i posljedica je nepreciznog zakljuivanja. Naime, to se tie prve sheme odluivanja, jer je na izlazu iz odluivaa prisutan uvijek isti simbol ( x1 ) , to znai da je izlaz poznat unaprijed, pa je primljena informacija nula. Za drugu shemu odluivanja, u kojoj su elementi matrice PBSC jednaki, aposteriorna neodreenost e biti jednaka ulaznoj, jer vrijedi: p ( xi , y j ) p ( xi ) p ( y j / xi ) p ( xi / y j ) = = p( y j ) p( y j ) a jer vrijede relacije: 1 p ( xi / y j ) = konst. = ( za BSC p = 0.5) N 13

1 p ( xi ) N 1 1 1 p ( y j ) = p ( xi , y j ) = p ( xi ) = p ( x i ) = N i N i i N vrijedi i: 1 p ( xi ) p ( xi / y j ) = N = p ( xi ) 1 N pa je: H ( X / Y ) = H ( X ) i I ( X ;Y ) = 0 Primljeni sadraj informacije je dakle jednak nuli. p ( xi , y j ) = p ( xi ) p ( y j / xi ) =

Dakle, nema takva pravila odluivanja koje e omoguiti prijenos informacije preko kanala iji je kapacitet jednak nuli. f) Kanal s brisanjem U komunikacijskim sustavima binarni simboli se ne prenose kao signali razina 0 [V] i V [V] izuzev na kratkim vezama unutar samih digitalnih ureaja. Razlog je u tome to prijamnik ne moe prepoznati stanje "prekida" kanala, odnosno prevelikog guenja signala zbog kvarova ili utjecaja vanjskih smetnji (npr. fedinga u radio-relejnim vezama, oteenja magnetske vrpce i sl.). Stoga se binarne poruke prenose npr. kao +V i -V, a razina 0 [V] oznaava prekid, odnosno pogrean prijenos. To znai da na izlazu postoje tri simbola y1, y2 i y3, gdje y1 odgovara ulaznom simbolu x1, y2 odgovara ulaznom simbolu x2, a y3 oznaava greku, odnosno izbrisani simbol (slika 7.14). Matrica ovakva kanala je oblika: 0 p 1 p P= 1 p p 0x1 p(x1) x2 p(x2) = 1 - p(x1) 1-p p p 1-p y1 y3 y2 p(y1) = p(x1) (1 - p) p(y3) = p p(y2) = p(x2) (1 - p)

Slika. 7.14 Binarni kanal s brisanjem (BEC)

Izlazna entropija kanala s brisanjem je:

H (Y ) = p( y j ) ld p( y j ) = (1 p) p( x1 ) ld ((1 p) p( x1 ) ) j =1

3

p ld p (1 p) p( x2 ) ld ((1 p) p( x2 ) ) Maksimalna e vrijednost H(Y) biti uz p(x1) = p(x2) = 0.5, pa je kapacitet ovog kanala: (7.21) C = max [H (Y ) H (Y / X ) = 1 p ]14

(7.20)

jer je H(Y/X) = Hr (iako ovaj kanal nije simetrian!). Slika 7.15 ilustrira ovisnost kapaciteta o vjerojatnosti brisanja. Uoljivo je da uz p = 0.5 kapacitet nije 0 kao u BSC kanala, nego 0.5.C 1 0.5

0

0.5

1

Slika 7.15 Kapacitet BEC kanala

Moe se rei da tehnika brisanja nevrijednih simbola poveava kapacitet kanala pa se takav nain koristi kod realnih kanala. Izbrisani simbol y3 moe biti interpretiran (odluen) na dva naina: a) y3 se interpretira kao x1 ili x2 na sluajan nain, a u omjeru vjerojatnosti pojavljivanja x1 i x2, b) y3 se interpretira na deterministiki nain i to uvijek kao vjerojatniji simbol, odnosno p(x1/y3) = 1 i p(x2/y3) = 0 kad je p(x1) > p(x2), odnosno p(x2/y3) = 1 i p(x1/y3) = 0 kad je p(x2) > p(x1). Moe se pokazati da drugi nain odluivanja maksimizira preneseni sadraj informacije (naelo idealnog opaaa).

Primjer 7.3 Binarni kanal s brisanjem (BEC)Neka je BEC kanal opisan vrijednostima kao na slici 7.16. Kapacitet kanala slijedi iz (7.20): 1 3 C = 1 p = 1 = = 0.75 bita / simbol 4 4 1 3 4 0 4 P= 3 1 0 4 4

15

x1 p(x1) = 4/5 x2 p(x2) = 1/5

3/4 1/4 1/4 3/4

y1 y3 y2

Slika 7.16 BEC kanal i pripadna matrica kanala

Preneseni sadraj informacije moe biti dobiven pomou izraza (7.14) i (7.20) uz p = 1/4: I ( X ; Y ) = H (Y ) H r = 0.541 bita / simbol Ovaj srednji sadraj informacije je raspoloiv na izlazu iz kanala, ali ostaje problem kako ga ostvariti s obzirom na slobodu interpretacije simbola y3. Slika 7.17 ilustrira nain odluivanja naveden pod a). Preneseni sadraj informacije je sada: I ( X ; X ) = H ( X ) H ( X / X ) = 0.722 0.372 = 0.35 bita / simbol Dakle, postupak odluivanja u sluaju tipa a) uzrokuje ukupni gubitak od 0.541 - 0.35 = 0.191 bita/simbol. p(xk,yj) y1 y2 y3y1 y3 y2 prijam

x1 1 0 4/51

x2 0 1 1/5

p(yj) 12/20 3/20 5/20x1

4/5 1/5 1 odluka x2

Slika 7.17 Shema odluivanja prema pravilu tipa a)

Slika 7.18 ilustrira nain odluivanja naveden pod b). Preneseni sadraj informacije je sada:

I ( X ; X ) = H ( X ) H ( X / X ) = 0.722 0.218 = 0.504 bita / simbolp(xk,yj) y1 y2 y3 x1 1 0 1 16 x2 0 1 0 p(yj) 12/20 3/20 5/20

y1 y3 y2

1 1

x1

1

x2

Slika 7.18 Shema odluivanja prema pravilu tipa b)

Izgubljeni sadraj informacije za b) je manji nego za a) i iznosi samo 0.037 bita/simbol.

7.4 Problem diskretnog kanala sa umomUtjecaj smetnji u kanalu opisan je, kako je ve naglaeno, matricom uvjetnih vjerojatnosti, odnosno matricom kanala. Konaan efekt utjecaja smetnji je gubitak informacije mjeren uvjetnom entropijom H(X/Y), koja je definirana relacijom (7.7). U praktikim realizacijama digitalnih sustava, meutim, kao kriterij kvalitete radije se koristi vjerojatnost greke (bolje reeno BER) koja moe biti mjerena na mjestu prijema. Ova vjerojatnost greke predstavlja ustvari prosjenu vjerojatnost greke koja slijedi izp(e) = p( xi , y j )i =1 j =1 j i Nx N y

(7.22)

gdje je zdruena vjerojatnost p(xi,yj) odreena umnokom izmeu apriorne i uvjetne vjerojatnosti. Prosjena vjerojatnost tonog prijama je, naravno, jednaka 1 - p(e).

Primjer 7.4 Binarni kanalBinarni kanal (Nx = Ny = 2) opisan je matricom kanala kao na slici 7.19. Prosjena vjerojatnost greke prema (7.22) je:p(e) = p ( xi , y j ) = p( x1 ) p ( y 2 / x1 ) + p ( x2 ) p( y1 / x2 )i =1 j =1 j i 2 2

p( y1 / x1 ) P= p( y1 / x2 )

p( y2 / x1 ) p ( y 2 / x2 )

17

x1 p(x1) x2 p(x2)

p(y1/x1 ) p(y2/x1) p(y2/x2 )Slika 7.19 Binarni kanal sa umom

y1 p(y1/x2) y2

Kad bi kanal bio simetrian vrijedilo bi p(y1/x2) = p(y2/x1) = p, tj. p (e) = p [ p ( x1 ) + p ( x2 )] = p Dakle za BSC kanal, prosjena vjerojatnost p(e) ne ovisi o vjerojatnosti ulaznih simbola i jednaka je vjerojatnosti pogrenog prijenosa digita p. Zanimljivo je nai vezu izmeu H(X/Y) i p(e). Prema (7.7) vrijedi:

H ( X / Y ) = p( xi , y j ) ld p( xi / y j ) = H ( X / y j ) p( y j )i =1 j =1 j =1

N

N

N

gdje je H(X/yj) uvjetna entropija (ekvivokacija) kao posljedica neodreenosti o skupu X uz primljeni simbol yj, a za koju vrijedi:H ( X / y j ) = p ( xi / y j ) ld p ( xi / y j )i =1 N

(7.23)

Vjerojatnost greke kad je primljen yj e biti:

p(e / y j ) = 1 p( xi / y j ) = p( xi / y j )i j

N

(7.24)

pa se (7.23) moe pisati u obliku:H ( X / y j ) = p (e / y j )i j N

p ( xi / y j ) p (e / y j )

ld

p( xi / y j ) p (e / y j )

p(e / y j ) ld p(e / y j ) 1 p(e / y j ) ld 1 p (e / y j )

[

] [

]

Zbroj na desnoj strani odgovara entropiji skupa s N - 1 simbola. Entropija od N - 1 simbola ne moe biti vea od ld (N-1), tj. H ( X / y j ) p(e / y j ) ld p( N 1) p(e / y j ) ld p(e / y j )

1 p(e / y j ) ld 1 p(e / y j )Zbrajanjem po j slijedi konano: H ( X / Y ) H (e / Y ) + p(e) ld ( N 1)

[

] [

]

(7.25)

gdje je H(e/Y) uvjetna entropija, tj. neodreenost greke uz odreeni skup Y za koju vrijedi:

H (e / Y ) = p( y j ) p(e / y j ) ld p(e / y j ) + 1 p(e / y j ) ld 1 p(e / y j )j =1

N

[

] [

]

Neodreenost H(e/Y) e biti najvea kad prijamnik donosi neovisne odluke. Binarna odluka ima 18

dakle entropiju:H (e) = p(ek ) ld p(ek ) ek {e1 , e2 } e1 greka e2 nema greke odnosno: H (e) = p (e) ld p (e) [1 p (e)] ld [1 p (e)] Jer vrijedi H(e/Y) H(e), vrijedi izraz kao (7.25): H ( X / Y ) H (e) + p(e) ld ( N 1) (7.26)k =1 2

(7.27)

H(X/Y) ld N ld (N-1) doputeno podruje binarni kanal

1

0

0.5

1-1/N

1

Slika 7.20 Ilustracija izraza (7.27)

Izraz (7.27) je tzv. Fanoova nejednakost /2/ iz koje slijedi: kad je primljen simbol y Y, i kad se detektira (odlui) da li je greka ili nije, otklonjena je neodreenost H(e). Ako se greka nije javila, onda nema neodreenosti glede odaslana simbola. Ako se greka javila uz vjerojatnost p(e), treba se odluiti izmeu preostalih (N-1) simbola, pa ta neodreenost ne moe biti vea od ld (N-1) bita po simbolu. Slika 7.20 ilustrira relaciju (7.27) gdje je oznaeno doputeno podruje za par vrijednosti p(e) i H(X/Y). Uz N = 2 (binarni izvor) podruje se svodi na povrinu ispod crtkane linije. Budui da prema (7.8) vrijedi H(X/Y) = H(X) - I(X;Y), moe se na temelju (7.27) uspostaviti veza izmeu donje granice za vjerojatnost greke p(e) i razlike izmeu entropije ulazne abecede i informacijskog toka kroz kanal. Moe se pisati: H ( X ) C H (e) + p(e) ld ( N 1) (7.28)

19

jer vrijedi I(X;Y) < C. Slika 7.21 ilustrira ovu nejednakost koja pokazuje da p(e) moe biti nula samo kad je H(X) C. Ova injenica kae da se kroz kanal kapaciteta C moe prenijeti sadraj informacije uz proizvoljno malu vjerojatnost greke samo kad entropija izvora ne premauje kapacitet kanala. Ovo je osnovni teorem informacije za kanale sa umom. Relacije (7.27) i posebno (7.28) definiraju osnovna ogranienja i mogunosti za prijenos informacije preko diskretnih kanala sa umom.H(X)

C

doputeno podruje

0Slika 7.21 Ilustracija izraza (7.28)

1

7.5 Kodiranje u kanalima sa umomPostavlja se pitanje ogranienja i mogunosti koje se nude kada se kanalom ne prenose izravno simboli iz kodera informacije, nego se prethodno obavi dodatno kodiranje (kodiranje kanala) kao to je prikazano na slici 7.22. Neka je koder kanala tzv. blok-koder, tj. on pretvara svaku mtorku simbola iz izvora u blok od n simbola koji predstavlja ulaz u kanal.

izvor (kodirani)

vi V

m

koder kanala

xi X

n

kanal

yi Y

n

dekoder kanala

zi Z

m

korisnik

Slika 7.22 Blok-shema diskretnog komunikacijskog sustava

Ako je interval signalizacije izvora Tv, interval signalizacije u kanalu Tx je dan relacijom: m Tx = Tv = Tv n gdje je koeficijent prijenosa. Izvor je kodiran tako to je svaka poruka iz izvora predstavljena m-torkom simbola pa se moe 20

pisati Fanoova nejednakost analogno (7.27): H (V / Z ) H (e) + pm (e) ld ( N 1) gdje je pm(e) prosjena vjerojatnost pogrene poruke (m-torke).

(7.29)

Obrada unutar kodera i dekodera kanala moe u najboljem sluaju sauvati preneseni sadraj informacije kroz kanal (teorem o obradi podataka), tj. I(V;Z) I(X;Y), pa vrijedi: H (V / Z ) H (V ) I ( X ; Y ) (7.30) gdje je H(V) entropija abecede kodiranog izvora koji se sastoji od m-torki simbola, tako da vrijedi: H (V ) = m H H entropija izvora (7.31) Nadalje, budui da je svaka poruka kodirana u koderu kanala s n-torkom vrijedi i I ( X ;Y ) n C Izraz (7.28) uz (7.30), (7.31) i (7.32) postaje: m H n C H (e) + pm (e) ld ( N 1) to znai da je donja granica za pm(e) definirana sa: m H n C H (e) p m ( e) ld ( N 1) (7.32) (7.33)

(7.34)

Neka su poruke vi V binarne m-torke, gdje prostor m-torki Vm ima 2m razliitih simbola, tako da je N = 2m. Izraz (7.34) moe se pisati: m H n C 1 C 1 =H p m (e) m m Uz velike m i n vrijedi: C p m (e) > H (7.35)

tj. vjerojatnost greke pri dekodiranju bloka od m simbola izvora ne moe biti proizvoljno mala ako je koeficijent prijenosa vei od omjera C/H. Za binarni izvor bez redundancije vrijedi H = 1, pa vrijedi isti zakljuak za sluaj kad je vei od C. C.E. Shannon /3/ je dokazao slijedei teorem o kodiranju kanala: Za dani izvor informacije entropije H bita/simbol i dani diskretni kanal bez memorije kapaciteta C bita/simbol, postoji kd s koeficijentom prijenosa = m/n za koji je vjerojatnost pogreke kodne rijei ograniena sa:

pm (e) < e nE ( R )

(7.36)

gdje je R = H, a E(R) je konveksna i opadajua funkcija od R za podruje 0 R C (slika 7.23).

21

E(R)

0

C

R

Slika 7.23 Tipino ponaanje funkcije E(R) u izrazu (7.36)

Izraz (7.36), uz sliku 7.23, nudi tri naina za smanjenje vjerojatnosti greke kod digitalnih komunikacijskih sustava:

a) Smanjenje pm(e) mogue je poveavanjem kapaciteta kanala C.Poveanje kapaciteta kanala, uz dane smetnje, mogue je poveanjem snage signala u kanalu (poveanjem snage odailjaa), odnosno poveanjem S/N omjera. Brzina prijenosa ostaje nepromijenjena. Zbog poveanja C poveana je vrijednost E(R) (slika 7.24).E(R)

0

R

C1

C2

R

Slika 7.24 Uz C2 > C1 slijedi vea vrijednost E(R). Prema (7.36) C2 uvjetuje manju pm(e)

b) Smanjenje pm(e) mogue je smanjenjem R.Smanjenje R znai, uz isti izvor, smanjenje koeficijenta prijenosa = m/n, odnosno poveanje redundancije kda. Ovo znai poveanje potrebne pojasne irine kanala, jer je smanjen interval signalizacije Tx u kanalu (brzina signalizacije je poveana). Zbog manje vrijednosti R, radna toka je pomaknuta ulijevo, to uvjetuje veu vrijednost E(R) (slika 7.25).

22

E(R)

0

R2

R1

C

R

Slika 7.25 Uz R2 < R1 (tj. 2 < 1) vea je vrijednost E(R). Prema (7.36) ovo znai manju pm(e)

c) Smanjenje pm(e) mogue je poveanjem n uz fiksni koeficijent prijenosa = m/n.Poveanje n uz fiksni znai i poveanje broja simbola po bloku m u koderu informacije. Ovo podrazumijeva vierazinsko kodiranje uz prikladno ukljuenu redundanciju. Nain a) je u naelu najjednostavniji, ali sa stajalita tehniko-gospodarskih initelja ne i najprihvatljiviji nain poboljanja pouzdanosti prijenosa. Nain b) vodi na sigurnosne (redundantne) blok-kodove kao to su Hammingovi kodovi, cikliki kodovi, te kodovi ne-blok tipa kao to su konvolucijski kodovi. Trei nain c) vodi na tzv. preventivno kodiranje kao to su poznati trellis (TCM) kodovi. Kodiranje tipa b) i c) je obraeno u poglavljima 9 do 13.

7.6 Kontinuirani kanali sa umomNeka je na ulazu u kanal prisutan sluajni signal x(t) koji predstavlja ergodian pojasno ogranien proces. U nekom trenutku uzorkovanja, skup svih vrijednosti tog uzorka predstavlja kontinuiranu sluajnu varijablu X koja je opisana funkcijom gustoe vjerojatnosti p(x). Mjera srednjeg sadraja informacije po uzorku je entropija:H ( X ) = p ( x ) ld p ( x) dx

(7.37)

Izraz (7.37) je slina relaciji (5.9) za diskretni izvor ali, za razliku od ove, entropija kontinuirane varijable moe poprimiti proizvoljno veliku pozitivnu ili negativnu vrijednost, tako da (7.37), ustvari, predstavlja relativnu mjeru sadraja informacije. Analogno (7.37), moe se definirati entropija dviju zdruenih varijabli X i Y, te uvjetne entropije: 23

H (X ,Y ) =

p( x, y) ld p( x, y) dx dy p( x, y) ld p( y / x) dx dy p( x, y) ld p( x / y) dx dy(7.38)

H (Y / X ) = H (X /Y) =

gdje vrijede relacije: H ( X , Y ) H ( X ) + H (Y )

H ( X , Y ) = H ( X ) + H (Y / X ) = H (Y ) + H ( X / Y ) H (Y / X ) = H (Y ) ; H ( X / Y ) H ( X )Kad su varijable X i Y statistiki neovisne, entropija H(X,Y) je maksimalna, odnosno maksimalne su uvjetne entropije H(X/Y) i H(Y/X). Za diskretne izvore je pokazano da izvor maksimalne entropije generira jednakovjerojatne simbole. Kod kontinuiranih izvora potrebno je voditi rauna o ogranienjima koja su nuna za realne izvore. Dva su tipina sluaja: a) izvori ograniene srednje snage, b) izvori ograniene vrne snage. Ako je sluajna varijabla X sa fgv p(x), bez prosjeka i konane varijance x2, tj.2 x =

x

2

p( x) dx <

vrijedi nejednakost (vidi npr. /4/): 1 2 H ( X ) ld 2e x 2 Maksimalna vrijednost H(X) se dobije kad je X Gaussova varijabla, tj. kad vrijedi:p( x) = 12 2e x

(7.39)

e

x22 2 x

Drugim rijeima, kontinuirani izvor ograniene srednje snage generira maksimalan sadraj informacije kada je rije o Gaussovu izvoru, odnosno izlazna sluajna varijabla je X ~ N(0, x2). Za izvore ograniene vrne snage (tj. ograniene maksimalne amplitude) za koje vrijedi 24

-V x(t) V, entropija je maksimalna kad izvor generira varijablu X ravnomjerne fgv, tj.

1 ; V x V p( x) = 2V 0 ; drugdje to daje: H ( X ) = ld 2V (7.40)

Od posebnog su interesa Gaussovi kanali. Neka je um kanala takoer Gaussov X ~ N(0, n2), pa je entropija uma (irelevantnost): 1 2 H (Y / X ) = ld 2e n 2 to za kapacitet kanala daje: 1 2 (7.41) C = max I ( X ; Y ) = max [H (Y )] ld 2e n p( x) p( x) 2 Maksimalna entropija sluajne varijable na izlazu iz kanala y= x+n koja je opet Gaussova varijabla s varijancom2 2 2 y = x +n

je:1 1 2 2 2 ld 2e y = ld 2e ( x + n ) 2 2 Slijedi kapacitet Gaussova kanala: 1 1 2 2 2 C = ld 2e ( x + n ) ld 2e n 2 2 odnosno:H (Y ) =

C=

2 1 x ld 1 + 2 bita / uzorak 2 n

(7.42)

Broj uzoraka u sekundi definira frekvencija uzoraka fs. U skladu s teoremom o uzimanju uzoraka, maksimalan sadraj informacije po uzorku je ostvaren uz f s = 2 fc gdje je fc pojasna irina kanala. Kapacitet pojasno ogranienog Gaussova kanala je, dakle:

2 S C = f c ld 1 + x = f c ld 1 + bita / s 2 N n

(7.43)

Izraz (7.43) je poznata Shannonova relacija koja predstavlja kapacitet idealnog kanala, a koji slui kao standard za usporedbu karakteristika razliitih komunikacijskih sustava.25

Literatura1. A.J. Viterbi, J.K. Omura: "Principles of Digital Communication and Coding", Mc GrawHill, 1979. 2. R.M. Fano: "Transmission of Information - A Statistical Theory of Communications", M.I.T. Press, Cambridge, 1961. 3. C.E. Shannon: "A Mathematical Theory of Information", BSTJ, July, 1948, (379 - 423). 4. R. Ash: "Information Theory", John Wiley & Sons, Inc.,1965. 5. F. Jelinek: "Probabilistic Information Theory", Mc Graw-Hall, 1968. 6. . Paue: "Uvod u teoriju informacije", kolska knjiga, Zagreb, 1980. 7. L. Gyergyek: "Statistine metode v teoriji sistemov, teorija o informacijah", Ljubljana, 1978. 8. V. Matkovi, V. Sinkovi: "Teorija informacije", kolska knjiga, Zagreb, 1984.

Dekodiranje i odluivanjeZadatak dekodera i odluivaa je za primljeni simbol y uz dani kanal sa umom definiran matricom kanala p( y | x ) iji ulaz x je apriori poznate raspodjele p( x ) odrediti (procjeniti)x najvjerojatnije poslani simbol . Drugim rijeima zadatak je dekodera uz poznate y , p( y | x ) i p( x ) odluiti o odaslanom na nain da je ukupna vjerojatnost pogrjeke minimalna. Takav x

nain odluivanja je poznat i kao idealni promatra [Ash]. Postupak dekodiranja prema shemi odluivanja idealna promatraa moe se opisati na sljedei nain: Uz poznate raspodjele p( x ) i p( y | x ) raspodjela izlaza je jednoznano odreena relacijomp( y ) = p( x , y ) = p( x ) p( y | x )x x

;

(1)yj

Uz primljeni simbol

yj

vjerojatnost tonog prijenosa odgovara vjerojatnosti da je temeljem

x odluen stvarni ulaz j (slika 1). Ako je ukupan broj simbola na ulazu u kanal L, moe se za vjerojatnost tonog prijenosa pisati:

p( e ) = p( y j ) p( e | y j ) = p( y j ) p{ x = j | y j } xj =1 j =1

L

L

;

(2)

x p( x | y j ) Iz relacije (2) slijedi da izbor j kao one vrijednosti koja maksimizira ujedno se p( e | y j ) maksimizira za svaki j ime je maksimizirana i vjerojatnost tonost prijenosa. y Proizlazi da shema idealna promatraa podrazumijeva da se za svaki izlazni simbol j bira onaj ulazni simbol x koji maksimizira aposteriornu raspodjelu

26

p( x | y j ) =

p( x ) p( y j | x ) p( y j )

;

(3)

x Vrijednost i koja maksimizira (3) odgovara maksimalnoj aposteriornoj vjerojatnosti pa se naziva MAP procjena. MAP procjena slijedi dakle iz:; (4) Relacija (3) je poznata kao Bayesova formula koja je openito temelj za odluivanje po MAP kriteriju. Ukoliko je apriorna raspodjela ravnomjerna tj. p( x ) = 1 / M izraz (3) postajep( x | y j ) = p( y j | x ) M p( y j )

i ,MAP = arg max p( x = xi | y j ) xi

{

}

;

p( x | y j ) pa je maksimiziranje aposteriorne vjerojatnosti ekvivalentno maksimiziranju p( y | x ) . Dakle u sluaju kad su ulazni simboli x jednakovjerojatni MAP odluka slijedi iz:

i ,ML = arg max p( y j | x = xi ) xi

{

}

; (5)

x Vrijednost i koja maksimizira (5) odgovara ulaznom simbolu x koji s najveom vjerojatnosti y daje na izlazu primljeni simbol j . Dekodirani simbol putem relacije (5) odgovara tzv. procjeni najvee podudarnosti ili ML (Maximum Likelihood) procjeni. ML procjena oito ne ukljuuje eventualno neravnomjernu raspodjelu p( x ) pa se openito moe smatratipodoptimalnom odlukom u odnosu na MAP procjenu. Prednost dekodiranja temeljenog na ML odluivanju je u jednostavnijem proraunu te u injenici da je ekvivalentna MAP odluci za izvore s ravnomjernom raspodjelom te izvore s Gaussovom raspodjelom i Gaussovim kanalima. S druge strane MAP odluivanje je openito raunski zahtjevnije ali i superiorno u opem sluaju dekodiranja gdje se kod dekodiranja koristi ne samo matrica kanala p( y | x ) nego i apriorno znanje o raspodjeli izvora p( x ) tako da se s pravom moe govoriti o integriranom dekodiranju izvora i kanala (source-channel decoding) [refs]. Primjer 7.x: Diskretan kanal bez memorije opisan je matricom:1 2 1 P = [ p( y | x ] = 6 1 3 1 3 1 2 1 6 1 6 1 3 1 2 ;

Neka je poznata raspodjela ulaznih simbola p( x1 ) = 1 / 2; p( x 2 ) = 1 / 4 ; p( x1 ) = 1 / 4 . Odrediti MAP i ML odluke i izraunati pripadajue ukupne vjerojatnosti pogrjeaka. Vjerojatnosti izlaza slijede iz (1): 27

p( y j ) = p( xi ) p( y j | x i );i =1

3

j = 1, 2 , 3

p( y1 ) = 3 / 8; p( y 2 ) = 1 / 3; p( x3 ) = 7 / 24 . p( x | y j ) Za matricu aposteriornih vjerojatnosti prema (3) slijedi iz p( xi ) p( y j | xi ) p( xi | y j ) = p( y j ) , to daje 2 1 2 3 2 7 [ p( x | y ] = 1 3 2 9 8 7 2 1 3 9 8 7 ;Slijedi:

g ( y ) = x1 ; g MAP ( y 2 ) = x1 ; g MAP ( y3 ) = x3 ; pa slijede MAP odluke u skladu s (4): MAP 1 Odgovarajua shema MAP odluivanja je prikazana na slici 7.2a.Ukupna vjerojatnost pogrjeke MAP odluivanja je prema (2):

p MAP ( e ) = p( y j ) p( e / y j ) = p( y j ) p{ x g MAP ( y j ) | y j }j =1 j =1

3

3

;

pa slijedi:p MAP ( e ) = 3 1 2 1 3 1 7 2 2 11 + + + + + = 0.458 8 9 9 3 8 8 24 7 7 24

g ( y ) = x1 ; g ML ( y 2 ) = x2 ; g ML ( y3 ) = x3 ; S druge strane ML odluke se temelje na (5): ML 1 Odgovarajua shema MAP odluivanja je prikazana na slici 7.1. Ukupna vjerojatnost pogrjeke MAP odluivanja je prema (5):p ML ( e ) = p( y j ) p( e / y j ) = p( y j ) p{ x g ML ( y j ) | y j }j =1 j =1 3 3

;

pa slijedi:p ML ( e ) = 3 1 1 1 1 1 7 1 1 12 + + + + + = = 0.5 8 6 3 3 3 6 24 6 3 241 p( x1 ) = 2X Y2 3

X

28

x1

y11 2 3 7

1 x

p( x 2 ) =

1 x 2 4

y2

Ukupna vjerojatnost pogrjeke = 0.458

p( x3 ) =

1 x 3 4 KANAL

[p( y j | xi ]

y3

3 x

MAP odluiva

Slika 7.1 Shema MAP odluivanja1 X x1 p( x1 ) = 2Y y1 1 21 2 1 2

X 1 x

1 x p( x 2 ) = 2 4

y2

Ukupna vjerojatnost x2 pogrjeke = 0.5

p( x3 ) =

1 x 3 4 KANAL

[p( y j | xi ]

y3

3 x

ML odluiva

Slika 7.2 Shema ML odluivanja Uoljiva je superiornost MAP odluivanja jer je p MAP ( e ) < p ML ( e ). Meutim na ovom primjeru se uoava i jedno nepovoljno svojstvo MAP odluivanja: iz sheme Sl. 2a je vidljivo da MAP dekoder ne daje nikada na izlazu simbol x 2 to znai da taj simbol nee nikada biti tono primljen odnosno vjerojatnost pogrjeke simbola x 2 je 1. Bilo bi dakle poeljno definirati shemu odluivanja sa ravnomjernom granicom pogrjeke (uniform error bound) na nain da je x ; i = 1,2 ,L , M manja od granine vrijednosti . vjerojatnost pogrjeke za sve simbole i Meutim takva shema odluivanja nije kao u sluaju MAP odluivanja openita nego je treba odrediti za odgovarajui sluaj kodiranja. g

29