td curs 2011a

Dr. ing. Germán-Salló Zoltán

Transmisia datelor

Elemente de teoria transmisiunii informaţiei

Partea I

Curs. Format electronic

Anii IV Calculatoare, Automatică

2011

Transmisia datelor -curs 2011 [email protected]

2

Cuprins

1. Introducere 1.1 Modelul unui sistem de transmisie a informaţiei 1.2 Sarcina unui sistem de transmisie a informaţiei 2.Elemente de teoria transmisiunii informaţiei 2.1 Măsura informaţiei în semnale discrete 2.1.1 Unitatea de măsură a informaţiei 2.2 Surse discrete de informaţie

2.2.1 Surse discrete de informaţie fără memorie 2.2.2 Entropia informaţională a unei surse discrete fără memorie 2.2.3 Redundanţa si eficienţa sursei

2.2.4 Momente. Debit de momente 2.2.5 Debit de informaţie. Debit de decizie

2.3 Canale de transmisiune discrete. 2.3.1 Probabilităţi şi entropii în canale discrete

2.3.1.1 Entropie condiţionată 2.3.1.2 Relaţii între entropii

2.3.2 Transinformaţia 2.3.3 Capacitatea, redundanţa şi eficienţa canalului discret 2.3.4 Capacitatea canalului prin bandă (B) şi raport semnal/zgomot (ξ)

2.3.4.1 Rezoluţia în timp 2.3.4.2 Rezoluţia în amplitudine 2.3.4.3 Capacitatea canalului de transmisie 2.4 Codarea surselor pentru canale fără perturbaţii

2.4.1 Coduri unic decodabile 2.4.2 Coduri instantanee

2.4.3 Lungimea medie al unui cuvânt de cod 2.4.4 Capacitatea , eficienţa si redundanţa codului 2.4.5 Teorema codării canalelor fără zgomot (Shannon I)

2.4.6Metode de codare compactă 2.4.6.1 Metoda Shannon-Fano de codare binară 2.4.6.2 Codarea Huffmann binară 2.4.6.3 Codarea Huffmann M-ară 2.5 Codare pentru canale cu perturbatii 2.5.1 Teorema lui Shannon pentru canale cu perturbaţii 2.5.2 Coduri grup 2.5.3 Codul Hamming


3

1.Introducere

In transmisii de date este foarte important ca informaţia să ajungă de la sursă la utilizator fără să fie deteriorată în timpul trecerii prin canal.

fig 1 Locul transmisiei datelor într-un sistem numeric

De aceea informaţia este codată apoi modulată inainte ca ea să ajungă pe canalul de transmisie. După ce semnalul ajunge

prin canalul de transmisie la destinaţie (utilizare), semnalul este demodulat iar apoi decodat.Deci rolul codării este, ca informaţia să nu fie distrusă în timpul transmisiei, de perturbaţii , zgomote.

1.1 Modelul unui sistem de transmisie a informaţiei Cel mai simplu model al unui sistem de transmisiune a informaţiei este prezentat în figura 2.

fig 2 Modelul unui sistem de transmisia informaţiei

În acest caz se presupune că mesajul sub forma în care este dată de sursă poate fi transmis direct prin canal fără a suferi

transformări.Sursa de perturbaţie este un element ce apare în mod inevitabil în orice sistem de transmisiune a informaţiei. Modelul din figura 2 corespunde în general cazurilor când informaţia trebuie transmisă la distanţă mică şi erorile pricinuite

de zgomot sunt mici. Dacă mesajul nu poate fi transmis ca atare prin mediu (din cauza dificultăţilor de propagare sau din cauza necesiăţii de a realiza transmisiuni multiple) se introduc elementele de modulare si demodulare asa cum se arată in figura 3.

fig 3 Structura unui sistem de transmisii cu modulare/demodulare


4

Marea majoritate a sistemelor de transmisie a informaţiei utilizate în prezent au structura prezentată in figura 3. În cazurile in care se caută mărirea eficienţei, respectiv a posibilităţii transmiterii unor cantităţi cât mai mari de informaţie în prezenţa perturbaţiilor, se utilizează si elemente de codare şi decodare cum se prezintă în figura 4.în care se includ uneori procedee de decizii statistice.

fig. 4 Structura unui sistem de transmisii cu modulare/demodulare şi codare-decodare

1.2 Sarcina unui sistem de transmisie a informaţiei

Sarcina unui sistem de transmisie a informaţiei este de a pune la dispoziţia utilizatorului informaţia generată de sursă cu un grad de deteriorare specificat admis.În tehnicile de comunicaţii se obişnuieşte să se introducă un criteriu de fidelitate, pentru aprecierea reproducerii semnalului generat de sursă, la corespondent. In sistemele de transmisiune analogice criteriul de fidelitate este ales uneori eroarea medie pătratică:

ε = −[ ( ) ( )]x t y t 2

Unde, x(t)-este mesajul transmis; y(t)-este mesajul receptionat, n(t)-este semnalul perturbator iar media se face în raport cu timpul; alteori se alege drept criteriu de fidelitate raportul semnal/perturbaţie

ρ =[ ( )]

[ ( )]

x t

n t

2

2

La sistemele numerice criteriul de fidelitate ales este probabilitatea recepţionării unui simbol eronat. Majoritatea sistemelor

de comunicaţii utilizate în prezent se caracterizează prin faptul că la capetele terminale ale canalului sunt fiinţe umane.În cazul acesta mijloacele de comunicaţii pot fi considerate că ar fi de fapt o prelungire a simţurilor: telefonul, de exemplu, face posibilă convorbirea a două persoane ca şi când ele ar fi prezente in acelaşi loc. Perturbaţiile prezente in majoritatea sistemelor de comunicaţii sunt asemănătoare perturbaţiilor naturale la care simţurile umane s-au adaptat. Acesta este motivul pentru care sistemele clasice de comunicaţii dau rezultate satisfăcătoare cu un echipament terminal redus.

Se ştie din experienţă că în cazul unei convorbiri telefonice în care intervin perturbaţii foarte puternice, se vorbeşte mai tare, mai rar şi se utilizează un vocabular mai redus de cuvinte uzuale.Prin acesta se adaptează sursa de informaţie la cablul de comunicaţie disponibil (existent).

Comunicaţia de la maşină la maşină se dezvoltă în prezent din ce în ce mai mult pe lângă mijloacele tradiţionale de comunicaţie.Automatizările complexe ale proceselor de producţie, schimbul de date cu calculatoarele fac ca sistemele de comunicaţie maşină-maşină să se dezvolte vertiginos.

Spre deosebire de comunicaţia de la om la om, în comunicaţia de la maşină la maşină nu mai are loc o codare naturală pe care o efecuează creierul în vederea adaptării la canalul de informaţie.Acest fapt conduce la mărirea complexităţii echipamentului terminal în vederea obţinerii la procesul de transmisiune a fidelităţii cerute.

Îmbunătăţirea calităţii transmisiunii se poate face şi prin îmbunătăţirea canalului. În alegerea metodei de imbunătăţire a calităţii a transmisiunii trebuie să se facă o comparaţie între preţul echipamentului terminal şi cel al canalului.

Tendinţele actuale de dezvoltare indică o tendinţă spre creşterea complexităţii echipamentului terminal al cărui preţ devine din ce în ce mai scăzut datorită utilizării circuitelor integrate pe scară largă şi foarte largă(LSI, VLSI), a căror producţie de masă se face la un preţ scăzut.

Nu acelaşi lucru se poate spune despre costul canalelor de transmisiune Deşi în acest domeniu se fac progrese mari, prin faptul că ele nu se pretează la o producţie de masă, probabil că preţul lor nu va scădea nici in viitor. Acest fapt explică tendinţa spre o utilizare mai raţională a canalului de transmisie prin mărirea complexităţii echipamentului terminal, astfel ca acesta să poată efectua operaţiile necesare măririi eficienţei transmisiunii.


5

2.Elemente de teoria transmisiunii informaţiei Una din problemele fundamentale ale teoriei informaţiei este măsurarea cantităţii de informaţie pe care o furnizează un câmp de probabilitate produs de un experiment sau de o variabilă aleatoare. Mărimea intuitivă de “cantitate de informaţie” trebuie să posede proprietăţile naturale pe care le impune noţiunea de cantitate, ca de exemplu aditivitatea, asociativitatea, etc. Aceste proprietăţi constituie axiomele fireşti cu ajutorul cărora se defineşte noţiunea de cantitate de informaţie

2.1 Măsura informaţiei în semnale discrete

Măsura informaţiei este o măsură a nedeterminării asupra unui sistem de evenimente, respectiv o măsură a incertitudinii asupra rezultatului alegerii printr-un mecanism aleator a unui eveniment din mulţimea evenimentelor posibile, distincte

Pentru precizare se consideră mulţimea discretă şi finită a tuturor evenimentelor posibile, ale unui experiment care se va numi spaţiul esantioanelor şi se va nota sub următoarea formă matricială:

[ ] [ ]nxxxX ...21= în care Exn

i

i ==

U1

şi Φ=∩ ji xx ji ≠

unde E este evenimentul sigur.Fiecărui element al mulţimii [ ]X îi este asociată o probabilitate dată de matricea:

[ ] ( ) ( ) ( )[ ] [ ]nnx pppxpxpxpP ...... 2121 ==

în care ( )∑=

=n

i

ixp1

1

Măsura incertitudinii asupra realizării unui eveniment ix pe care o notăm cu ( )ixU este o funcţie ( )ipF a probabilităţii

apriori ( )ii xpp = de realizare a acestui eveniment:

( ) ( )ii pFxU =

şi reprezintă incertitudinea iniţială (apriori) asupra realizării evenimentului ix . când evenimentul ix se realizează, această

incertitudine este înlăturată şi se poate spune că s-a obţinut o informaţie ( )ixi asupra realizării lui ix . Aceasta poate fi definită ca:

- informaţia obţinută asupra lui ix prin realizarea lui ix ; sau ca:

- anularea incertitudinii asupra realizării lui ix , după ce ix s-a realizat

Prin urmare: ( ) ( )ii xUxi = ( ) ( )ii pFxi =

Informaţia în sensul de mai sus este o măsură a incertitudinii Dacă se consideră că în procesul de observare a evenimentelor ix intervin perturbaţii, atunci între evenimentele realizate

ix şi cele observate jy nu există totdeauna o corespondenţă, uneori evenimentul observat jy diferă de evenimentul ix , alteori

nu diferă, totul depinde de de acţiunea întâmplătoare a perturbaţiilor. Dacă se notează cu : [ ] [ ]nyyyY ...21= mulţimea evenimentelor observate

atunci măsura incertitudinii asupra realizării evenimentului ix dacă s-a observat evenimentul jy

respectiv ( )ji yxU este o funcţie de ( )[ ]

ji yxpF de probabilitatea lui ix condiţionată de jy :

( ) ( )[ ]

jiji yxpFyxU =

Această funcţie reprezintă incertitudinea aposteriori asupra realizării evenimentului ix dacă s-a realizat jy , adică după

observarea evenimentului jy rămâne totuşi o incertitudine asupra evenimentului care s-a realizat. Această incertitudine se


6

datorează perturbaţiilor existente, în lipsa acestor perturbaţii s-ar putea afirma cu probabilitatea maximă (unu) ca observând evenimentul jy s-a realizat ix .

Informaţia obţinută asupra realizării lui ix când se observă jy reprezintă de fapt scăderea incertitudinii apriori asupra

realizării lui ix din starea iniţială, înainte de observarea lui jy , la starea finală când s-a observat jy şi când rămâne o

incertitudine aposteriori, adică: ( ) ( ) ( )

jiiji yxUxUyxi −=,

- informaţia obţinută asupra realizării ix când se observă jy

- descreşterea incertitudinii asupra lui ix prin recepţionarea lui jy

Dacă nu sunt perturbaţii şi se realizează ix se observă jy = ix iar ( ) 0=ji yxU fiindcă nu mai este nici un fel de

incertitudine aposteriori asupra lui ix . Relaţia de mai sus devine:

( ) ( )

iji xUyxi =,

Dacă perturbaţiile sunt foarte mari atunci nu se mai poate face nici o legătură între jy recepţionat şi ix realizat şi ix şi

jy sunt evenimente independente, in această situaţie:

( ) ( )[ ] ( )[ ] ( ) ( ) 0, =→=== jiiijiji yxixUxpFyxpFyxU

adică prin observarea lui jy nu se obţine nici o informaţie asupra lui ix

În cazul general se poate scrie: ( ) ( )[ ] ( )[ ]

jiiji yxpFxpFyxi −=,

Funcţia U poate fi aleasă dintr-o clasă foarte largă de funcţii însă din punct de vedere practic, numai câteva prezintă

interes. O condiţie esenţială pe care trebuie să o indeplinească funcţia este aditivitatea, fiindcă în conformitate cu sensul dat informaţiei aceasta trebuie să fie aditivă.

Dacă se consideră că evenimentul ix este format din două evenimente independente 1ix şi 2ix , respectiv:

21 iii xxx ∩=

postulând că informaţia este aditivă:

( ) ( ) ( ) ( ) ( ) ( )2121 iiiiii xUxUxUxixixi +=→+=

rezultă:

( )[ ] ( ) ( )[ ] ( ) ( )[ ] ( )[ ] ( )[ ]2121

,

2121

iiii

teindependenxx

iii xpFxpFxpxpFxpxpFxpF ii +=⋅ →+=

Această ecuaţie funcţională are soluţia:

( ) ppF log⋅−= λ unde λ este o constantă pozitivă, iar înlocuind în relaţia anterioară se obţine:

( ) ( )ii xpxi log⋅−= λ informatia proprie asociată cu evenimentul ix

( ) ( ) ( )( )

( )i

ji

jiijixp

yxpyxpxpyxi logloglog, ⋅=⋅+⋅−= λλλ informaţia mutuală

Informaţia mutuală se obţine prin realizarea evenimentului ix şi recepţionarea evenimentului jy


7

2.1.1 Unitatea de măsură a informaţiei

Deoarece informaţia este o măsură a incertitudinii, în procesul alegerii la întâmplare dintr-un număr de evenimente posibile, cea mai simplă alegere este aceea dîntre două evenimente posibile. Astfel s-a convenit să se aleagă ca unitate de informaţie, informatia ce se obţine prin alegerea la întâmplare, a unui eveniment din două egal probabile. În acest caz, având:

[ ]

= 21 xxX [ ]

=

2

1

2

1P

( ) ( ) bitxixibazaalegese 12log1

2

1log 2

2

21 = →=⋅−== λ

Unitatea de informaţie astfel definită se numeşte bit. În acest caz relaţiile anterioare devin:

( ) ( ) ( )iii xldpxpxi =−= 2log respectiv ( )( )

( )( )

( )i

ji

i

ji

jixp

yxpld

xp

yxpyxi == 2log,

În unele cazuri se lucrează cu logaritm în baza e sau baza zece, în aceste situaţii avem relaţiile:

bitee

nit 44,1log1

ln1 2 ==−= (se alege 1 din e)

bitdit 32,310log10

1lg1 2 ==−= (se alege 1 din 10)

� Aplicaţie Dacă simbolurile A, B, C, D apar cu probabilităţile 1/2,1/4,1/8,1/8 atunci un mesaj format din trei simboluri X=BDA conţine informaţia:

bitIIII ADBx 61322

1log

8

1log

4

1log 222 =++=−−−=++=

� Aplicaţie Să determinăm cantitatea de informaţie dintr-o carte de 450 de pagini care are 500 de cuvinte pe pagină a câte 5 simboluri. Simbolurile se aleg din 26 de litere, 10 cifre şi un spaţiu (alfabet cu 37 de simboluri)

bitI carte

6

2 1086.537log5500450 ⋅=×××=

� Aplicaţie O aplicaţie din biologie. ADN-ul este o moleculă ce conţine informaţia genetică a vieţii. Informaţia este stocată ca o succesiune de nucleotide.

nucleotida numele probabilitatea A Adenină 0.25 C Citozină 0.25 T Thinină 0.25 G Guanină 0.25

ADN-ul bacteriei E Coli are 6104 × asemenea baze. Conţinutul de informaţie va fi:

bitI EColi

6

2

6 1084

1log104 ×=××−= . AND-ul uman are 9103× din aceste baze. Informaţia corespunzătoare:

bitI uman

10

2

9 102.14

1log103 ×=××−= în jur de 17 CD ROM-uri (650 MByte).


8

� Aplicaţie

Să se calculeze cantitatea de informaţie necesară pentru precizarea poziţiei unei figuri pe o tablă de şah. a. o primă posibilitate pentru precizarea poziţiei unei figuri constă în numerotarea fiecărui pătrat. În total sunt necesare

64=m cifre, figura putând ocupa oricare din aceste pătrate, deci pentru precizare va fi necesară o cantitate de informaţie:

bitm

I fig 664log1

log 22 ==−=

b. o a doua posibilitate ar fi precizarea poziţiei figurii de şah prin coordonate. Astfel sunt necesare 8 cifre pe orizontală şi 8 cifre pe verticală. Cantitatea de informaţie necesară pentru precizarea poziţiei figurii va fi:

bitI fig 68log2 2 =−=

� Aplicaţie Fie un alfabet format din literele A, B, C, D. Se cere să se calculeze:

a. numărul maxim de mesaje de lungime 4 ce se pot forma cu acest alfabet b. cantitatea de informaţie conţinută de un asemenea mesaj

Soluţie.

a. Mesajele ce se pot forma cu acest alfabet sunt în număr de 25644 ==N şi anume:

AAAA ACAA BAAA BCAA CAAA CCAA DAAA DCAA AAAB ACAB BAAB BCAB CAAB CCAB DAAB DCAB AAAC ACAC BAAC BCAC CAAC CCAC DAAC DCAC AAAD ACAD BAAD BCAD CAAD CCAD DAAD DCAD AABA ACBA BABA BCBA CABA CCBA DABA DCBA AABB ACBB BABB BCBB CABB CCBB DABB DCBB AABC ACBC BABC BCBC CABC CCBC DABC DCBC AABD ACBD BABD BCBD CABD CCBD DABD DCBD AACA ACCA BACA BCCA CACA CCCA DACA DCCA AACB ACCB BACB BCCB CACB CCCB DACB DCCB AACC ACCC BACC BCCC CACC CCCC DACC DCCC AACD ACCD BACD BCCD CACD CCCD DACD DCCD AADA ACDA BADA BCDA CADA CCDA DADA DCDA AADB ACDB BADB BCDB CADB CCDB DADB DCDB AADC ACDC BADC BCDC CADC CCDC DADC DCDC AADD ACDD BADD BCDD CADD CCDD DADD DCDD ABAA ADAA BBAA BDAA CBAA CDAA DBAA DDAA ABAB ADAB BBAB BDAB CBAB CDAB DBAB DDAB ABAC ADAC BBAC BDAC CBAC CDAC DBAC DDAC ABAD ADAD BBAD BDAD CBAD CDAD DBAD DDAD ABBA ADBA BBBA BDBA CBBA CDBA DBBA DDBA ABBB ADBB BBBB BDBB CBBB CDBB DBBB DDBB ABBC ADBC BBBC BDBC CBBC CDBC DBBC DDBC ABBD ADBD BBBD BDBD CBBD CDBD DBBD DDBD ABCA ADCA BBCA BDCA CBCA CDCA DBCA DDCA ABCB ADCB BBCB BDCB CBCB CDCB DBCB DDCB ABCC ADCC BBCC BDCC CBCC CDCC DBCC DDCC ABCD ADCD BBCD BDCD CBCD CDCD DBCD DDCD ABDA ADDA BBDA BDDA CBDA CDDA DBDA DDDA ABDB ADDB BBDB BDDB CBDB CDDB DBDB DDDB ABDC ADDC BBDC BDDC CBDC CDDC DBDC DDDC ABDD ADDD BBDD BDDD CBDD CDDD DBDD DDDD

b. Mesajele fiind echiprobabile, fiecărui mesaj îi corespunde o cantitate de informaţie:

bitI mesaj 8256log256

1log 22 ==−=


9

� Aplicaţie Fie 12 monede dintre care una este falsa (mai usoara sau mai grea decat celelalte). Se cere sa se deterrmine numarul minim de cantariri necesar depistarii monedei false si precizarii daca ea este mai usoara sau mai grea. Se foloseste pentru cantariri o balanta fara mase marcate. Solutie

• cantitatea de informatie necesara determinarii monedei false este I1 2 2

1

1

12

12= =log log

• cantitatea de informatie necesara pentru a decide daca moneda este mai grea sau mai usoara este I2 2 2

1

1

2

2= =log log

• cantitatea de informatie totala necesara a fi determinata I I I= + =1 2 2 24log

• cantitatea de informatie furnizata de o cantarire (exista 3 stari ale balantei) I3 2 2

1

1

3

3= = ⇒log log numarul minim

de cantariri I kI kk≤ ⇒ ≤ ⇒ =3 24 3 3 .

• sa se propuna un algoritm de depistare.

� Aplicaţie Se considera o trasmisie fax : 2,25⋅106 pixeli cu 12 tonuri de gri, echiprobabile. Care este cantitatea de informatie transmisa ? Solutie I=nr.elemente ⋅ informatie per element=

( ) [ ]= ⋅ ⋅ −

= ⋅ ⋅ ⋅ = ⋅ +2 25 10

1

122 25 10 2 3 2 25 10 2 36

2

6

2

2 6

2, log , log , log biti

� Aplicaţie

Un display monocolor cu 24 linii 80 caractere/linie 128 puncte/caracter 3 tonuri de gri/punct (a) Care este cantitatea de informatie pe pixel, caracter, ecran ? (b) Care este debitul de informatie stiind ca frecventa cadrelor este de 24 cadre/secunda ? Solutie (a) I = ⋅ ⋅ ⋅24 80 128 32log [ ]biti

(b) τ =1

f c

durata unui cadru

RI

I fc= = ⋅τ

[ ]bps


10

2.2 Surse discrete de informaţie

Sursele care debitează mesaje în formă discretă ( succesiune de impulsuri de tensiune) se numesc surse discrete. În legătură cu sursele discrete se utilizează următoarea terminologie: - simbol sau literă-elementul fundamental ireductibil care conţine o informaţie - alfabet-totalitatea simbolurilor (literelor) - cuvânt-succesiune finită de simboluri - limbă-totalitatea cuvintelor formate cu un anumit alfabet - codare-stabilirea unei corespondenţe (biunivoce) între două limbi - decodare-operaţia inversă codării - sursă discretă fără memorie-sursa la care probabilitatea de apariţie a unui simbol nu

depinde de simbolurile precedente p x x x p x

i i i i( / , ,...) ( )− − =

1 2

- sursă discretă cu memorie-sursa la care probabilitatea apariţiei unui simbol depinde de simbolul precedent sau de un şir de simboluri anterioare, dacă sursa are o memorie mai mare

- sursă staţionară-sursa la care probabilităţile diferitelor simboluri nu depind de originea timpului ci numai de poziţia lor relativă, adică proprietăţile statistice ale sursei nu depind de originea timpului

p X x p X xt i t ii i

( ) ( ),= = = ∀τ+τ

- sursă cu debit controlabil-sursa care generează mesaje la o indicaţie exterioară sursei, fără a există constrângeri interne privind timpul la care trebuie transmise mesajele

- sursă cu debit necontrolabil-sursa care generează mesaje cu un debit fix ce nu poate fi controlat, el fiind o proprietate internă a sursei. Din această categorie face parte sursa care generează esantioanele cuantizate care se succed la intervale fixe τ.

2.2.1 Surse discrete de informaţie fără memorie

Fie o sursă de informaţie discretă, care generează un număr de n simboluri distincte. Mulţimea simbolurilor discrete generate de sursă formează alfabetul sursei.Sursa discretă este fără memorie dacă emisia unui simbol nu depinde de simbolurile anterior emise.

Pornind de la o sursă discretă fără memorie ( )X , putem forma o nouă sursă, în care fiecare mesaj este o succesiune de

m simboluri ale sursei primare. Această nouă sursă, notată mX , se numeşte extensia de ordinul m a sursei ( )X .

=

=

=

==

∑

∑

=

=

)()...()(

...m

1 ,m1,=i ,:

1 ,,1 ,:

21

21

n

j

m

1

1

mjjjj

jmjj

j

j

j

jm

n

i

i

i

i

xpxpxpp

xxxunde

pp

mX

pnip

xX

Sursa mX conţine un număr de mesaje jm distincte ce se pot forma cu alfabetul sursei X.

� Aplicaţie Fie sursa discretă fără memorie: X

→=+

2

21221

2

1

2212211122

21

21

211

pppppp

xxxxxxxxXppcu

pp

xxX

ordinuldeextensia


11

2.2.2 Entropia informaţională a unei surse discrete fără memorie Informaţia proprie corespunzătoare unui simbol ix al unei surse discrete fără memorie am văzut că se determină cu :

ii

i

i ldppp

xi −=−== 22 log1

log)(

Cantitatea medie de informaţie pe simbol emis de o sursă discretă fără memorie poartă denumirea de entropie informaţională şi se notează cu H(X):

( ) ∑∑∑===

⋅−=−==m

i

ii

m

i

iii

m

i

i ppldppxixpXH1

2

11

log)(:)(

Entropia ( )XH reprezintă incertitudinea medie ce există apriori asupra emisiei. � Observaţie Formula anterioară ( ) stabilită de Claude Shannon în 1948 în lucrarea “A mathematical theory of communications” prezintă o analogie perfectă cu formula entropiei termodinamice stabilită de Boltzmann, fapt pentru care ( )XH s-a numit entropie informaţională. Entropia termodinamică exprimă gradul de dezordine al particulelor într-un sistem fizic, pe când entropia informaţională (formula lui Shannon) exprimă gradul de nedeterminare din punct de vedere informaţional al unui sistem. Ambele noţiuni au în comun faptul că măsoară gradul de nedeterminare al unui sistem, dar aplicarea lor se găseşte în sfere de cunoaştere complet diferite Proprietăţile entropiei: -Continuitatea: ( )XH este o funcţie continuă în raport cu fiecare variabilă ip fiindcă ip

este suma unor funcţii continue. -Simetria: ( )XH este o funcţie simetrică în raport cu toate variabilele ip

-Aditivitatea: informaţia proprie este aditivă, deci şi ( )XH care reprezintă media informaţiilor proprii este aditivă.

-Valoare maximă entopia este maximă în cazul echiprobabilităţii simbolurilor ;aceasta valoare maximă se mai numeşte cantittatea de decizie a sursei: ( )XD

ldmmXDXH === 2max log)(:)(

Valoarea maximă a entopiei se obţine determinând valoarea maximă a functiei pentru care există constrângerea

11

=∑=

m

i

ip

Folosind metoda multiplicatorilor lui Lagrange, rezultă:

−+−=Φ= ∑∑

==

1)(max)(max11

m

i

ii

m

i

ii pldpppXH λ

Condiţia necesară de extem se obţine din:

=+−−=Φ

=+−−=Φ

=∀=Φ

0)(

0)(

sau ,1,0)(

λδ

δ

λδ

δ

δ

δ

ldeldpp

p

ldeldpp

p

mip

p

j

j

j

i

i

i

i

i

de unde rezultă că m1,=ji, , p=p deci , ji ∀= ji ldpldp


12

� Aplicaţie Vom calcula şi reprezenta entropia unei surse binare fără memorie:

−= pqp

X

1

10: ( ) ( ) ( )pldpldppXH −⋅−−⋅−= 11

Reprezentarea grafică a cestei funcţii se dă în figura de mai jos:

fig ( )Variaţia entropiei unei surse binare în funcţie de probabilităţi

Din grafic se observă că că valoarea maximă bitH 1max = se obţine pentru 21== qp

2.2.3 Redundanţa si eficienţa sursei

Abaterea entropiei unei surse de la valoarea sa maximă se numeşte redundanţă. Această abatere poate fi dată in valoare

absolută sau relativă de unde şi exprimarea redundanţei ca redundanţă absolută sau relativă. Redundanţa absolută :

)()(: XHXDRX −= Redundanţa relativă:

)(

)(1

)(

)(:

XD

XH

XD

XRX −==ρ

Se numeşte eficienţă a unei surse ( )xη raportul dîntre entropia sursei şi cantitatea de decizie a acesteia

)(

)(:

XD

XHX =η

� Aplicaţie O sursă discretă generează opt mesaje caracterizate de:

[ ] [ ] [ ] [ ]161,161,161,161,81,81,41,41;4,4,4,4,3,3,2,2;,,,,,,, 87654321 === PssssssssS τ

Se cere să se calculeze: a. entropia sursei b. debitul de informaţie c. redundanţa sursei d. eficienţa sursei Soluţie.

a. ( ) ( ) ( ) −−−−−−=⋅−= ∑= 16

1log

16

1

8

1log

8

1

8

1log

8

1

4

1log

4

1

4

1log

4

1log 22

8

1

2222

i

ii spspSH


13

simbolbit /4

11

16

1log

16

1

16

1log

16

1

16

1log

16

1222 =−−−

b. Deoarece

( ) ( )∑ ∑= =

=⋅⋅+⋅⋅+⋅⋅=⋅=⋅=n

i i

iiii simbolspsp1

8

1

sec/4

11

16

144

8

132

4

122τττ rezultă

( ) simbolbitSH t /1=

c. În conformitate cu relaţia ( )

( ) ( ) simbolbitSRsimbolbitSH /4

1

4

113/38log 2max =−=→==

d. conform relaţiei ( )

( ) ( )( )

91.0.12

11

3

411

max

====SH

SHSη

2.2.4 Momente. Debit de momente

Semnalele utilizate pentru a putea transporta informaţia numerică sunt compuse din suite de semnale elementare în timp, numite momente (intervale elementare). Parametrul caracteristic al momentului (amplitudine, frecvenţă, fază, etc) rămâne constant pe durata momentului ( MT ) şi reprezintă informaţia numerică transportată de acel moment. Acest parametru poate lua m valori. În figura de mai jos sunt date câteva exemple de surse de informaţie cu punerea în evidenţă a momentelor.

fig ( ) Momente

-cantitatea de decizie corespunzătoare unui moment este: ldmD =

-debitul de momente (•

M ) (signaling speed-viteză de semnalizare) reprezintă numărul de momente transmise in unitatea de timp:

MTM

1=

•

unitatea de măsură pentru debitul de momente este Baud: BdM =

•

2.2.5 Debit de informaţie. Debit de decizie.

Debitul de informaţie (•

H ) al unei surse este cantitatea medie de informaţie generatăde sursă în unitate de timp; •

H reprezintă viteza de transmisie a informaţiei.


14

)()(

: XHMT

XHH

M

&& ==

Unitatea de masură: undaitbiH sec/]['

=&

Debitul de decizie ( )D al unei surse este cantitatea de decizie a sursei generată în unitate de timp

sec/][

:

bitiD

ldmMDMT

DD

M

=

===

&

&&&

� Observaţie O sursă discretă de memorie caracterizată de m simboluri de probabilităţi ( )isp de durate iτ

[ ] [ ] [ ] ( ) ( ) ( )[ ]mmm spspspPsssS ,...,,,,...,,,,...,, 212121 === ττττ

are un debit de informaţie

( )τ

SHH t = [bit / simbol] unde ( )∑ ⋅=

m

i

iisp1'

ττ

2.3 Canale de transmisiune discrete.

2.3.1 Probabilităţi şi entropii în canale discrete

Canalul de transmisiune este mediul prin care se transmite informaţia de la sursa la destinatar. Canalul este discret dacă simbolurile care-l străbat sunt discrete. Un canal de transmisie se caracterizează prin următoarele mărimi: - Alfabetul de intrare: { }ixX = , constituit din totalitatea simbolurilor emise de sursă şi care pot fi acceptate de canal; ( )XP

reprezintă matricea probabilităţilor de emisie

][)(;1 ,1 ,:n

=1i

ii

i

ipXPpni

p

xX ===

∑

-Alfabetul de ieşire: ( )

jyY = constituit din totalitatea simbolurilor obţinute la ieşirea canalului; Cele două alfabete nu sunt

întotdeauna identice.

][)(;1 ,,1 ,:m

=1j

jj

j

jqYPqmj

q

yY ===

∑

Prin jq s-a notat probabilitatea recepţionării simbolului )().( : YPypqy jjj = este matricea probabilităţilor de receptie.

-Matricea de trecere: a canalului, formată din probabilităţile simbolurilor de ieşire condiţionate de simbolurile de intrare: ( )YXP .

m1,=i ,1 ],[)/(1

/, ∀== ∑=

n

j

ijij qqXYP

Elementul ijq aflat la intersecţia liniei i si a coloanei j, reprezintă probabilitatea recepţionării lui jy condiţionată de emisia lui

)/( : / ijiji xypqx = .

Matricea de tecere este o matrice stocastică, având proprietatea ca suma elementelor orcărei linii este 1:

miqn

j

ij ,1 ,11

/ =∀=∑=


15

ceea ce intuitiv reprezintă recepţia cu certitudine a unui simbol y j nj,

,∀ = 1 dacă s-a emis un simbol x i mi ,

,∀ = 1 .Matricea

( )YXP reprezintă modelarea din punct de vedere probabilistic a canalului si ea se determină experimental.

2.3.1.1 Entropie condiţionată

Dacă câmpul de evenimente la ieşirea din canal este cunoscut datorită efectelor pertur-baţiilor, ramâne totuşi o oarecare incertitudine a supra câmpului la intrare. Valoarea medie a acestei incertitudini se numeşte entropia câmpului X condiţionată de

câmpul Y şi se notează cu ( )YXH , ea reprezintă o incertitudine reziduală medie. Incertitudinea asupra realizării eveni-mentului

ix dacă s-a realizat jy conform relaţiilor

ppE

yxpFyxU jiji

log)(

)]/([)/(

λ−=

=

este: )/( log)/( jiji yxpyxU −=

Entropia asociată cu recepţionarea simbolului jy este:

)/(log)/()/()/()/(11

ji

n

i

jiji

n

i

jij yxpyxpyxUyxpyXH ∑∑==

−==

Entropia ( )YXH se numeşte echivocaţie fiindcă este o măsură a echivocului ce există asupra câmpului de la intrare când se cunoaşte câmpul la ieşire.

∑∑= =

−=n

i

m

j

ijji xypyxpXYH1 1

)/( log),()/(

Entropia )/( YXH se numeşte eroare medie fiindcă este o măsură a incertitudinii câmpului la ieşire când se cunoaşte câmpul la intarre.

0)/()/( == XYHYXH 2.3.1.2 Relaţii între entropii

În legătură cu canalul de transmisie au fost definite cinci matrici de probabilităţi:

( )XP - este matricea probabilităţilor alfabetului la intrare

( )YP - este matricea probabilităţilor alfabetului la ieşire

( )YXP , - este matricea probabilităţilor alfabetelor reunite intrare-ieşire

( )YXP / - este matricea probabilităţilor condiţionate (intrare de ieşire)

( )XYP / - este matricea probabilităţilor condiţionate (ieşire de intrare) Acestor matrici de probabilităţi le corespund cinci entropii:

( )XH - este entropia alfabetului la intrarea in canal

( )YH - este entropia alfabetului la ieşire din canal

( )YXH , - entropia alfabetelor de la intrare şi de la ieşire reunite

)/( YXH - echivocaţia

)/( XYH - eroarea medie Pentru a găsi relaţiile între aceste entropii se scrie relaţia (2.54) de definiţie a câmpurilor reunite.

∑∑= =

=n

i

m

j

jiji yxpyxpYXH1 1

),( log),()/(

sau:


16

∑∑ ∑∑= = = =

−−=n

i

m

j

n

i

m

j

ijjiiji xypyxpxpyxpYXH1 1 1 1

)/( log),()( log),()/(

sau:

∑∑∑ ∑= == =

−−=n

i

m

j

ijji

n

i

m

j

jii xypyxpyxpxpYXH1 11 1

)/( log),(),()( log)/(

Ţinând seama de relaţiile:

∑∑==

−==n

i

ii

m

j

jii xpxpXHyxpxp11

)( log)()(;)()(

H Y X p x y y xi j j i

j

m

i

n

( , ) ( , ) log ( / )= −==

∑∑ p11

se obţine: )/()(),( XYHXHYXH += În mod analog se obţine: H X Y H Y H X Y( , ) ( ) ( / )= +

Dacă canalul nu are perturbatii, între alfabetul de intrare [ ]X şi alfabetul de ieşire [ ]Y există o corespondenţă biunivocă, iar eroarea medie şi echivocaţia conform relaţiei (2.61) sunt nule. In acest caz:

)()(),( YHXHYXH == Dacă canalul are perturbatii foarte puternice conform relaţiilor ( ) se obţine

)()(),( YHXHYXH += Între entropia ( )XH şi entropia condiţionată ( )YXH / există următoarea relaţie:

)/()( YXHXH ≥ Care rezultă din faptul că incertitudinea medie aposteriori este mai mică cel mult egală cu incer-titudinea apriori. Pentru aceleaşi motive

)/()( XYHYH ≥ Egalitatea are loc numai Dacă X şi Y sunt independente.

2.3.2 Transinformaţia

După cum s-a văzut informaţia obţinută asupra evenimentului ix când la ieşire din canal se observă evenimentul jy este conform

relaţiei:

)(

),(log);(

i

ji

jixp

yxPyxi =

Aceasta este informaţia mutuală ce se obţine asupra evenimentului ix când se recepţionează jy

În absenţa perturbaţiilor recepţionând simbolul jy se poate afirma cu certitudine că a fost transmis simbolul ix deci:

1)/( =ji yxp iar relaţia

)(

),(log);(

i

ji

jixp

yxPyxi = devine )( log),( iji xpyxi −=

adică informaţia mutuală este egală în cazul acesta cu informaţia proprie. In cazul general din cauza zgomotelor ( ) 1<ji yxp şi în consecinţă informaţia mutuală este mai micădecât informaţia proprie şi

este dată de expresiile :


17

)p(y

)/xp(y log

)p(y)p(x

)y,p(x log

)p(x

)/yp(x log);(

j

ij

ji

ji

i

ji=

⋅==ji yxi

Valoarea medie a informaţiei mutuale se obţine considerând toate perechile posibile de simboluri intrare-ieşire ( )ji yx , împreună

cu probabilităţile lor ( )ji yxp , :

∑∑= =

=n

i

m

j

jiji yxpyxiYXI1 1

),();(),(

Înlocuind relaţia ( ) în relaţia ( ) se obţine:

∑∑= = ⋅

=n

i

m

j ji

ji

jiypxp

yxpyxpYXI

1 1 )()(

),(log),();(

sau

)y,p(x log)y,p(x)y,p(x)p(y log)y,p(x)p(x logY)I(X; ji

n

1i

m

1j

ji

n

1i

m

1j

n

1i

ji

m

1j

jjii ∑∑∑ ∑ ∑∑= == = ==

+−=

de unde : ),()()();( YXHYHXHYXI −+=

Ţinând seama de relaţiile )/()(),( XYHXHYXH +=

)/()(),( YXHYHYXH += se obţine:

),()();(

),()();(

XYHYHYXI

YXHXHYXI

−=

−=

I(X;Y) este valoarea medie a informaţiei mutuale adică a informaţiei ce se obţine asupra alfabetului de la intrare prin recepţionarea alfabetului de la ieşire Y, cu alte cuvinte a informaţiei transmise prin canal. Din aceasta cauza ea se numeşte transinformaţie.

2.3.3 Capacitatea canalului discret, redundanţa, eficienţa

Pentru a defini o măsură a eficienţei cu care se transmite informaţia şi a găsi limita superioară a acesteia, Shannon a introdus noţiunea de capacitate a canalului. -Capacitatea canalului este definită ca fiind valoarea maximă a transinformaţiei:

)]/()(max[)]/()(max[);(max XYHYHYXHXHYXIC −=−==

Maximalizarea se face în raport cu setul de probabilităţi cu care se presupune că sunt utilizate simbolurile nxxxx ...,, 321

ale canalului. Valoarea maximă a transinformaţiei are loc pentru anumite valori bine determinate ale acestor probabilităţi care definesc în felul acesta o anumită sursă pe care o numim secundară. Pentru a transmite prin canal transinformaţia cu valoarea maximă este necesară ca sursa primară sa fie transformată in sursă secundară specificată de probabilităţile care determină valoarea maximă din relaţia (2.85). Capacitatea canalului poate fi însă raportată şi la timp.În acest caz se defineşte:

CC I X Y

t= =

τ τ

max ( ; )

unde τ este durata medie a unui simbol iar I X Y( ; )

τ este transinformaţia pe unitate de timp respectiv debitul de transinformaţie:

τ

);();(

YXIYXIt =

Capacitatea canalului definită de relaţia (2.86) se măsoară in biti pe secundă . Dacă se face convenţia ca τ =1 atunci:

CCt =

adică numeric cele două mărimi sunt egale. -Redundanţa canalului prin analogie cu redundanţa sursei este definită ca fiind diferenţa între capacitatea canalului si transinformaţie:

);( YXICRc −=


18

-Redundanţa relativă este egală cu redundanţa impărţită la capacitatea canalului:

C

YXIc

);(1−=ρ

-Eficienta canalului este definită ca fiind raportul între transinformaţie si capacitatea canalului

C

YXIc

);(=η

Din relaţiile anterioare rezultă:

cc ρη −= 1

Din relaţia anterioară rezultă: 1≤cη

-Eficienţa canalului: arată cât de mult se indepărtează transinformaţia de valoarea ei maximă. � Aplicaţie -Capacitatea canalului binar simetric (CBS). Se numeşte canal simetric canalul la care probabilitatea de eronare a oricărui simbol este aceeaşi. Un canal binar oarecare este caracterizat de matricea numită matricea de zgomot:

( )

−

−=→

==

pp

ppXYP

xypxyp

xypxypXYPP CBS

1

1

)/()/(

)/()/()]/([][

2221

1211

Capacitatea se poate determina pornind de la relaţia de definiţie în care transinformaţia se înlocuieşte cu expresia favorabilă:

)]/()(max[);(max XYHYHYXIC −== Considerând o sursă binară oarecare:

1,: 21

21

21=+

pp

pp

xxX

( ) ( ) ( )( )

( )

−

−=

−

−

==

pppp

pppp

pp

pp

p

pXYPXPYXP

1

1

1

1

0

0,

22

11

2

1

( ) ( ) ( ) ( ) ( )[ ]

( ) ( )[ ]( ) ( ) ( )pldppldppppldppldp

pldpppldpppldpppldppXYH

−−−−=++−−−=

=−−+++−−−=

1111

1111

21

2211

Se observă că pentru un canal binar simetric eroarea medie ( )XYH nu depinde de sursă ( )XP ci numai de zgomotul din

canal ( )XYP . Scriind expresia capacităţii canalului , obţinem:

( ) ( ) ( )pldppldpYHXYHYHYXICip

−−++=−== 11max)]/()(max[);(max

Valoarea maximă a ( )YH se obţine pentru echiprobabilitatea simbolurilor recepţionate:

( )

( )2

11

2

11

212

211

=−+=

=+−=

ppppq

ppppq

2

121 ==→ pp

( ) ( )pldppldpCCBS −−++= 111


19

2.3.4 Capacitatea canalului prin bandă (B) şi raport semnal/zgomot (ξξξξ)

A fost definită capacitatea unui canal de transmisie modelat prin matricea de zgomot ( )XYP . În majoritatea situaţiilor practice nu se cunoaşte matricea de zgomot, canalul fiind precizat prin parametrii mult mai uşor de determinat experimental cum ar fii banda (B) si raportul semnal-zgomot (ξ). Pe un canal, teoretic este posibil să transmitem orice cantitate de informaţie; ceea ce este limitată într-o transmisiune este debitul maxim de informaţie transmisibilă în “timp real”, limita ce defineşte capacitatea canalului. Această limitare este determinată de caracteristicile canalului, ea producându-se atât în transmisiunile digitale cât şi în cele analogice. Determinarea capacităţii (fără a fi o demonstratie riguroasă în adevăratul înteles al cuvântului ) se va face pentru transmisiuni digitale, dat fiind caracterul mai concret al noţiunii în acest caz; de altfel transmisia informaţiei analogice poate fi considerată ca un caz limită a informaţiei numerice. La intrarea canalului vom considera o sursă de informaţie discretă, caracterizată prin:

debitul de decizie : •

D [biti/s], deci sursa se presupune echiprobabilă (în cazul situaţiilor reale după codare se obţine şi acest deziderat)

debitul de momente : •

M [Db], ce caracterizează viteza de variaţie fizică a semnalului purtător de informaţie.

alfabetul sursei, format din cele m stări specifice unui moment (aceste pot fi nivele, frecvente sau faze).

Cele trei mărimi sunt legate prin relaţia:

ldmMD••

= Fizic, receptorul va trebui să poată distinge, în prezenţa zgomotului, două momente succesive al căror parametru caracteristic ia, în situaţia cea mai defavorabilă, două valori consecutive din cele m posibile. În consecinţă pentru a putea transmite un debit de decizie D, canalul va trebui sa asigure :

-O rezoluţie în timp, adică să permită variaţia parametrului caracteristic al semnalului de la un moment la altul sau pe durata unui moment.

-O rezoluţie in amplitudine, astfel încât să poată fi efectiv distinse cele m valori posibile ale parametrului caracteristic şi în prezenţa zgomotului.

O ilustrare grafică ale celor două cerinţe este dată in figura următoare:

fig

Ne interesează legătura ce trebuie să existe între cei doi parametrii ai sursei (M şi m) şi parametii canalului (B si ξ) astfel încât transmisia să asigure rezoluţia necesară în timp şi în amplitudine.

2.3.4.1 Rezoluţia în timp

Orice canal real de transmisiune conţine reactanţe ce se opun variaţiilor bruşte ale semnalului, ceea ce duce la un comportament inerţial al canalului. Acest fenomen se poate observa atât în frecvenţă cât şi in timp.In frecvenţă: atenuarea canalului este funcţie de frecvenţă, acesta comportându-se ca un filtru trece jos (FTJ).

În timp: răspunsul la semnalul treaptă unitate :σ(t) al canalului are o pantă finită, definită de timpul de creştere ( ct ). În

cazul canalelor reale sau ideale între ct si B există următoarea relaţie empirică:

45,035,0 ÷≅cBt

care arată că în cazul unui canal având banda B nu este posibilă variaţia parametrilor semnalului cu orice viteză, aceasta fiind limitată de ct . În consecinţă şi durata unui moment MTm 1= este limitată de ct :


20

5,2~4,0

~1

~ ⋅⇒⇒•

•BM

BM

tT cM

Nyquist în 1928 a determinat teoretic relaţia dintre M si B necesară rezoluţiei în timp: BM MAX 2= pentru canalul ideal.Această relaţie, cunoscută în literatură ca teorema lui Nyquist ,a fost dedusă in ipoteza unei FTJ

ideal de bandă B. În cazul canalelor reale, care nu sunt FTJ ideale, se consideră că :

cM tT 2≅

Avind ct =0,4 /B avem:

BTM

8,0=

De unde rezultă: max

•

M =1,25*B , pentru canale reale.

2.3.4.2 Rezoluţia în amplitudine

În afara inerţiei canalului, ce determina comportarea acestuia, ca un FTJ, intr-o transmisiune apare insa un fenomen nedorit, dar inevitabil: prezenta perturbatiilor in special al zgomotului, care se suprapune peste semnalul transmis ducând la ingreunarea procesului de recunoastere la receptie a celor m valori corespunzatoare unui moment, cu atit mai mult cu cit m este mai mare. Puterea semnalului (Ps) fiind limitată este imposibilă recunoasterea unui număr de ∞ de valori diferite ale lui m, în prezenţa zgomotului a carui putere este NP in punctul de măsură considerat.

In 1948 Shannon a demonstrat că limita teoretică pentru m, în ipoteza unui zgomot alb gausian este:

ξ+=+

= 1max

N

NS

P

PPm

unde: NS PP=ξ este raportul semnal / zgomot.

2.3.4.3 Capacitatea canalului de transmisie

Se numeşte capacitatea (C) a unui canal de transmisie considerat ca un FTJ ideal având lărgimea de bandă B şi raportul semnal- zgomot ξ (zgomot gausian), valoarea maximă a debitului de decizie transmisibilă prin canal:

ξ+=⋅==••

12: maxmaxmax BldldmMDC

� Observaţie: În practica inginerească raportul semnal-zgomot se exprimă în dB: ξ[dB]=10lgξ

În acest caz se poate exprima într-o formă foarte comodă pentru aplicaţii: ][3

1dBBC ξ≅

Relaţia ,stabilită de Shannon în 1948, arată că limita teoretică a debitului maxim transmisibil pe un canal. La această viteză maximă de transmitere a informaţiei este posibilă o recepţie fără erori 0→eP , în cazul unei prelucrări optime a semnalelor

(teorema a II-a a lui Shannon pentru canale cu perturbatii). Relaţia, deşi este o limită teoretică, imposibil de atins în transmisiuni reale, este deosebit de utilă in aplicaţii, permiţând o comparare si o evaluare a diferitelor sisteme de transmisiune. Reprezentarea grafică a relaţiei anterioare este dată în figura de mai jos:


21

C~B şi C~ld(1-ξ), ceea ce înseamnă că reducerea benzii, prin păstrarea valorii C=ct.,implică necesitatea unei serioase

imbunatăţiri a ξ, dată fiind dependenţa logaritmică a lui C de ξ . Dependenţa direct proportională a capacităţii de bandă impune întrebarea : Dacă C poate fii crescută oricât pe seama creşterii lui B ? Răspunsul este negativ, justificarea fizică aparând evidentă : prin creşterea benzii, creşte creşte implicit puterea zgomotului NP , ceea ce va duce la scăderea raportului semnal-zgomot, pentru

SP =ct.

Demonstraţia afirmaţiei de mai sus se face imediat : calculele se desfaşoara în ipoteza unui zgomot alb gausian de densitate spectrală de putere unilaterală ON =ct.:

.)1(limlim00

ctldeN

P

BN

PBldCC SS

BB==+==

∞→∞→∞

Variaţia capacităţii cu banda este reprezentată in figura următoare:

Rezultă că nu este raţională creşterea capacităţii pe seama ceşterii benzii peste o anumită limită, deoarece sporul in capacitate este foarte scazută.Aceeaşi capacitate poate fii obţinută cu valori diferite ale lui ξ si B :folosind o banda mica 1B si un

canal cu raport semnal-zgomot foarte bun 1ξ (situatie corespunzatoare sistemului 1 din figura) sau un canal puternic perturbat , cu

2ξ mic di o banda mai larga 2B (sistemul 2 din figura). Relaţia lui Shannon este o relaţie ce dă o limită teoretică a debitului de decizie maxim transmisibil. Pe canale reale

: realD max

•

<C . Această limită în trasmisiune nu se obţine automat; pentru atingerea ei este necesară prelucrarea sursei inainte de transmisiune, pentru a o adapta canalului, dat prin B si ξ, Aceste operatii fiind codarea si modularea.O reprezentare grafica sugestiva

a relatiilor ditre sursa de informaţie si canal, este data in figura urmatoare.Dacă •

D >C, transmisiunea nu mai este posibila in timp

real; in acest caz se poate transmite aceeasi cantitate de decizie TDD ⋅=•

a sursei printr-o prelucrare prealabila, cantitatea de

decizie D va fi intr-o memorie si apoi va fi transmisa intr-o forma compatibila cu canalul ( CD ≤•

). Evident durata transmisiei T va creste, transmisiunea nemaifiind in timp real. In practica aceasta situatie apare in cazul transmisiilor unor imagini fixe de la sonde spatiale, situatie in care capacitatea canalului este mult mai slaba decit debitul real de informaţie al surei.


22

fig

2.4 Codarea surselor pentru canale fără perturbaţii

În general alfabetul sursei diferă de alfabetul canalului şi ca urmare primul obiectiv al codării surselor este de a trece de la alfabetul sursei la alfabetul canalului . Mai mult decât atât dorim ca transinformaţia să fie maximă şi în acest scop prin codare trebuie să asigurăm ca sursa secundară să genereze simbolurile cu probabilităţile care asigură acest maxim. Dacă am realizat acest lucru spunem că am făcut adaptarea statistică a sursei la canal.

În cazul canalelor fără perturbaţii acest obiectiv se atinge când sursa secundară este o sursă de entropie maximă:

C=max H(X)=log D unde D este numărul de simboluri din alfabetul canalului.

Deci obiectivul codării surselor este de a transforma o sursă dată cu un set de probabilităţi determinat pe care o numim sursa primara intr-o sursa de entropie maximă.Cu alte cuvinte prin codare se cauta sa se anuleze redundanta sursei.

2.4.1 Coduri unic decodabile Fie o sursă discretă fără memorie furnizând simboluri îuntr-o mulţime [S] numită alfabetul sursei:

]...[][ 21 NsssS =

având probabilităţile: )]()...()([][ 21 NspspspP =

Fie [X] alfabetul finit al codului: ]...[][ 21 DxxxX =

Cu aceste litere se formeaza un numar N de cuvinte de cod: [ ] [ ... ]C c c c

N=

1 2

Totalitatea cuvintelor kc formează un cod .

Mesaje

sk Codul

A Codul

B Codul

C Codul

D s1 s2 s3 s4

00 01 10 11

0 10

110 1110

0 01

011 0111

0 10

110 111

Exemple de coduri unic decodabile

2.4.2 Coduri instantanee:

Între codurile B si C din tabelul de mai sus există o măsură importantă : la codul B , pe măsură ce se recepţionează succesiunea de litere din alfabetul codului se pot determina cuvintele codului fără referinta la literele următoare.Astfel:

0 10 110 0 1110 0 s1 s2 s3 s1 s4 s1


23

Adică dacă succesiunea de litere din alfabetul codului formează un cuvânt din vocabularul codului acesta este unic fiindcă prin adăugarea unor litere la un cuvânt de cod nu se poate obţine un nou cuvânt . Un astfel de cod se numeşte instantaneu. Condiţia necesară şi suficientă ca un cod să fie instataneu este ca nici un cuvânt al codului să nu fie un prefix al unui alt cuvânt de cod.

2.4.3 Lungimea medie al unui cuvânt de cod

In general prin codare se urmăreşte mărirea “eficienţei” transmisiunii informaţiei.In cazul canalelor fără zgomot se spune că se măreşte eficienţa referindu-se în general la minimizarea unei anumite functii de cost.Una din cele mai simple funcţii de cost se obţine dacă fiecărui cuvânt i se asociază un anumit coeficient de cost ti. Coeficientul de cost ti in particular poate sa fie durata cuvintului ci in conformmitate cu faptul ca ca pretul exploatarii unui sistem de transmisiune poate fii considerat aproximativ liniar crescator cu timpul.

In acest caz costul mediu pe mesaj devine: ∑∑==

==N

i

ii

N

i

ii sptcptC11

)()(

Evident cea mai eficientă transmisie este aceea care minimizează costul mediu C.Costul mediu in cazul considerat este egal cu durata medie al unui cuvânt de cod.Mărirea eficienţei transmisiunii se poate obţine atribuind in mod convenabil fiecărui mesaj si dat de sursa un cuvint de cod ci in care numarul literelor li să fie astfel ales incit lungimea medie l al unui cuvânt să fie cât mai mică. -Limita inferioară a lungimii medii a unui cuvânt de cod. Fie o sursa caracterizata de multimea mesajelor:

]...[][ 21 NsssS =

avănd probabilităţile: )]()...()([][ 21 NspspspP =

Fie cuvintele codului: ]...[][ 21 NcccC =

care apar cu aceeaşi probabilităţi ca şi mesajele sursei adică : ]...[][][ 21 NC pppPP ==

unde : )(][ ii spp =

Lungimile cuvintelor de cod sunt: ]...[][ 21 NlllL =

unde li este egal cu numărul de litere din alfabetul codului care compun cuvintul ci. Alfabetul codului este : ]...[][ 21 DxxxX =

Entropia sursei este:

∑=

−==N

i

ii spspCHSH1

)( log)()()(

unde H(C) este entropia cuvintelor codului [C]. Entropia alfabetului codului [X] este :

∑=

−=D

i

ii xpxpXH1

)( log)()(

Informaţia medie pe un cuvânt de cod este dată de produsul dintre numărul mediu de litere l şi informaţia medie pe litera H(X) deci:

)()()( XlHCHSH == Valoarea maximă a entropiei H(X) se obţine atunci când probabilităţile p(xi) sunt egale adică:

Dxpxpxp D

1)(...)()( 21 ====

Aceasta valoare este log D deci: ( ) DXH 2log≤

Ţinând seama de această inegalitate relaţia devine:

DlXHlCHSH log)()()( ≤== de unde:


24

min

log

)(l

D

SHl =≥

Relaţia arată ca lungimea medie l a unui cuvânt de cod are o margine inferioara egal cu entropia sursei imparţită la valoarea maximă

a entropiei alfabetului codului, sau ca informaţia medie pe o litera din alfabetul codului l

SH )( nu poate fi mai mare decit valoarea

maximă a entropiei alfa-betului codului log D.

H S

lD

( )log≤

2.4.4 Capacitatea , eficienţa si redundanţa codului

Se numeşte capacitatea codului valoarea maximă a entropiei alfabetului codului:

C = max H(X) = log D Tinind seama de cele precedente se poate defini eficienta codului ca fiind raportul dîntre lungimea medie minima a unui cuvint de cod :

l

l min=η

Asa cum s-a arătat , marginea inferioara a cuvintului de cod este:

C

SH

D

SHl

)(

log

)(min ==

iar lungimea medie a unui cuvânt de cod este :

)(

)(

XH

SHl =

Din relaţia anterioară rezultă :

Dl

SH

log

)(=η

sau ţinând seama de relatie se obţine :

D

XH

log

)(=η

Se numeşte redundanţa codului mărimea complementară eficienţei.Ea este definită de relaţia :

Dl

SHDl

log

)(log1

−=−= ηρ sau

D

XHD

log

)(log −=ρ

2.4.5 Teorema codării canalelor fără zgomot

Dacă probabilităţile mesajelor sursei au anumite valori particulare care satisfac relaţia după cum s-a văzut eficienţa codului

este maximă. În acest caz din relaţia anterioara rezulta:

D

spl i

ilog

)(log−−=

Urmează să se studieze ce se întâmplă când mesajele ce trebuie sa fie codate au un set arbitrar de probabilităţi. In acest caz raportul:

D

spr i

ilog

)(log−=

nu este in general un numar întreg care sa poata fi onsiderat ca fiind lungimea li a cuvintului ci.Lungimea cuvintului ci din codul [C] in acest caz poate fi aleasa astfel incit sa satisfaca inegalitatea :


25

1log

log

log

log+

−<≤

−

D

pl

D

p i

i

i

Se verifica Dacă se poate forma cu ele un cod ireductibil.Se poate scrie:

il

ii DDlp logloglog =≤−

sau

i

lpD i ≤

de unde:

11

≤∑=

−N

i

liD

adică este un cod ireductibil având cuvinte de lungime il .Înmulţind inegalitateacu ip şi însumând toţi indicii i se obţine:

1log

)(

log

)(+<≤

D

SHl

D

SH

Entropia a două cimpuri de evenimente independente reunite este suma entropiilor corespunzatoare:

H(X,Y) = H(X) + H(Y) Dacă câmpul [X] este egal cu cimpul [Y] şi egal cu câmpul [S] al simbolurilor sursei se obţine:

)(2)(),( 2 SHSHSSH == Dacă în loc să se asocieze cite doua simboluri din multimea [S] se asociaza cite n simboluri si se obţine relaţia anterioară. În felul acesta in loc sa se faca codarea simbol cu simbol ea se face pe grupe de n simboluriSe noteaza cu ln lungimea medie a unui cuvint de cod ce corespunde grupului de n simboluri ale sursei.În cazul acestei codări se poate aplica relaţia care capătă forma

1log

)(

log

)(+<≤

D

SHl

D

SHn

n

n

sau tinind seama de relaţia anterioară se obţine: H S

D

l

n

H S

D n

n( )

log

( )

log≤ < +

1

Dacă n este foarte mare, la limită se obţine:

lD

SH

n

l n

n

==∞→ log

)(lim

unde l este lungimea medie a unui cuvint din codul [C].

Relaţia arată că printr-o codare corespunzătoare informaţia medie pe o literă din alfabetul codului l

SH )( poate fi facută oricât de

apropiată de capacitatea codului log D respectiv codarea este absolut optimală. Acesta constitue prima teoremă a lui Shannon sau teorema codării canalelor fără zgomot.


26

2.4.6Metode de codare compactă

2.4.6.1 Metoda Shannon-Fano de codare binară Simbolurile sursei se aranjează în ordine descrescătoare a probabilităţii de aparitie şi se împart în două grupuri de aceeaşi probabilitate, sau, dacă nu este posibil, de probabuilităţi cât mai apropiate. Dacă alfabetul codului este binar

{ } 2,1,0 == DX se atribuie litera 0 fiecărui simbol al sursei din grupul superior şi litera 1 fiecărui simbol din grupul inferior. Atât grupul superior cât şi cel inferior sunt împărţite , la rândul lor, în două subgrupuri având probabilităţile totale cât mai apropiate între ele. Fiecărui subgrup superior I se atribuie litera 0 şi fiecărui subgrup inferior I se atribuie litera 1. Fiecare subgrup obţinut se împarte din nou în alte subgrupuri şi procesul continuă până când fiecare subgrup rămâne cu câte un singur element, epuizând astfel simbolurile sursei. În cadrul acestei metode de codare, se caută ca fiecare simbol ales din alfabetul codului să conţină o cantitate de informaţie cât mai mare atunci când este recepţionat. De aceea, împărţirea simbolurilor sursei în grupuri se face astfel încât probabilitatea ca un simbol iniţial să aparţină grupului superior să fie c mai apropiată de probabilitatea ca simbolul să aparţină grupului inferior. Prin cunoaşterea simbolului codului 0 sau 1, care indică apartenenţa la grupul superior şi respectiv la cel inferior, se obţine cea mai mare cantitate de informaţie în etapa respectivă a identificării simbolului sursei transmis. Un exemplu este prezentat în cadrul aplicaţiei ce urmează: � Aplicaţie

Fie ( )654321 ,,,,, ssssssX = cu ( )1.0,2.0,2.0,4.0,07.0,03.0=P

is ( )isp Partiţii Cuvinte Lungimea il

3s 0.4 0 0 1

4s 0.2 1 0 1 0 2

5s 0.2 1 1 0 1 1 0 3

6s 0.1 1 1 1 0 1 1 1 0 4

2s 0.07 1 1 1 1 0 1 1 1 1 0 5

1s 0.03 1 1 1 1 1 1 1 1 1 1 5

Se obţine un cod neuniform, caracterizat prin cuvinte de cod de lungimi diferite. Simbolurilor de probabilităţi mai mari le

corespund cuvinte de cod mai scurte decât simbolurilor iniţiale mai puţin probabile. În acest fel lungimea medie a cuvintelor de cod rămâne totuşi mică.

Entropia sursei: ( ) ( ) ( )∑=

=⋅−=6

1

2 /21.2logi

ii simbolbitspspSH

Lungimea medie: ( )∑=

=⋅=6

1

_

3.2i

ii simbolurispll

Lungimea medie în cazul utilizării unui cod uniform ( )623 ≥ ar fi: 3=Ul

Definind un factor de compresie: 304.13.2

3_

===

l

lUγ


27

Graful asociat ecestei codări se prezintă pe figura de mai jos:

fig Graful asociat codării Shannon-Fano

� Aplicaţie

O sursă binară furnizează trei simboluri { }321 ,, sssS = ; { }10.0,30.0,60.0=P . În cazul unei codări individuale,

lungimea medie a cuvântului de cod ar fi:

( )∑=

=⋅=3

1

_

40.1i

ii spll ; ( ) ( ) 925.0

40.1

2955.12955.1

2log 2

min

_

==→=== ηSHSH

l


3s 0.60 0 0 1

4s 0.30 1 0 1 0 2

5s 0.10 1 1 1 1 2

Pentru obţinerea unui cod mai eficient, în conformitate cu prima teoremă fundamentală a lui Shannon şi cu teorema Shannon-Fano, codăm blocurile de câte două simboluri iniţiale, cum se vede în tabelul de mai jos:


11ss 0.36 0 0 0 0 2

21ss 0.18 0 1 0 1 2

12ss 0.18 1 0 0 1 0 0 3

22ss 0.09 1 0 1 1 0 1 2

31ss 0.06 1 1 0 0 1 1 0 0 4

13ss 0.06 1 1 0 1 1 1 0 1 4

32ss 0.03 1 1 1 0 1 1 1 0 4

23ss 0.03 1 1 1 1 0 1 1 1 1 0 5

33ss 0.01 1 1 1 1 1 1 1 1 1 1 5

( )∑∑= =

==→==⋅⋅=⋅=3

1

3

1

_

2

_

963.0345.1

2955.1345.1

2

69.2,

2

1

2

1

i

jiij

j

ssplll η


28

Dacă codăm în continuare blocuri 3-dimensionale de simboluri iniţiale, ne vom apropia şi mai mult cu lungimea medie a cuvintelor de cod de valoarea minimă. Codurile din tabelele anterioare sunt coduri optimale având cea mai mică lungime medie a cuvintelor de cod în clasa codurilor obţinute prin codarea simbolurilor individuale ale fiecărei surse date. Ele nu sunt însă coduri absolut optimale, lungimea medie neatingând marginea inferioară , deoarece nu este îndeplinită condiţia din inegalitatea lui Kraft.

2.4.6.2 Metoda Huffman de codare binară

Deşi este, în general, satisfăcător, conducând la eficienţe ridicate, algoritmul Shannon-Fano nu asigură, în cazul codării simbol cu simbol, obţinerea celei mai mari eficienţe (cele mai reduse lungimi medii a cuvintelor de cod) în raport cu alţi algoritmi posibili. Algoritmul propus de D. A. Huffman este optimal în sensul că nici un alt algoritm de codare nu conduce la o lungime medie a cuvintelor de cod mai mică, în cazul codării simbolurilor individuale. Cu ajutorul acestui algoritm se sintetizează un cod optimal.

Având o sursă { } { }ii pPsS == ; al cărei alfabet are N simboluri, codarea Huffman binară ai acestei surse

comportă următoarele etape: ♦ Simbolurile sursei se ordonează în sens descrescător al probabilităţilor corespunzătoare ♦ Se grupează ultimele două simboluri cu cele mai mici probabilităţi ; acest grup constituie un nou mesaj 1r

de probabilitate: ( ) ( ) ( )11 −+= NN spsprp

♦ Se constituie o nouă sursă, numită sursa restrânsă de ordinul întâi , de alfabet:

{ } { }12211 ,,...,, rsssR N −=

♦ Se aranjează simbolurile sursei restrânse { }11 , PR în ordinea descrescătoare a probabilităţilor simbolurilor

♦ Se repetă etapa a doua ♦ Se repetă etapa a treia ♦ Se repetă operaţiunile anterioare, pâne ce se obţine o sursă restrânsă de ordinul n (n restrângeri) care

furnizează 2 simboluri cărora se alocă simbolurile codului: 0., 1. ♦ Cuvântul de cod complet corespunzător unui simbol al sursei primare este constituit din secvenţa literelor

codului, parcurgându-se sursele restrânse în sensul opus restrângeriipână la regăsirea simbolului original 2.4.6.3 Metoda Huffman de codare D-ară

Având o sursă { } { }ii pPsS == ; al cărei alfabet are N simboluri, codarea Huffman D -ară ai acestei surse cu

un alfabet constituit din { }DxxxX ,...,, 21= comportă aproximativ aceeaşi etape ca şi codarea binară, restrângerile făcându-se

până ce se obţine o sursă n-ară care furnizează D simboluri, cărora li se asignează simbolurile codului Dxxx ,...,, 21

În acest caz, se observă că după prima restrângere se obţine o sursă cu ( ) 11 +−=−− DNDN simboluri, iar

după n restrângeri, o sursă cu ( )1−− DnN simboluri. Pentru ca operaţia de codare să fie posibilă, ultima sursă (rezultată în

urma a n restrângeri) trebuie să furnizeze D simboluri, deci ( )1−−= DnND , de unde rezultă un număr de restrângeri:

1−

−=

D

DNn

Pentru DN , date se verifică ca n să fie număr întreg, dacă această condiţie nu este satisfăcută va trebui să adăugăm

sursei { }isS = un număr de simboluri cu probabilitate de apariţie nulă, care să asigure un n întreg.

Aplicaţia următoare prezintă o codare ternară pentru sursa discretă din aplicaţia precedentă.


29

2.5 Codarea pentru canale cu perturbaţii

2.5.1 Teorema lui Shannon pentru canale cu perturbaţii

Teorema lui Shannon afirmă următoarele: Dacă avem o sursă cu un debit de informaţie R biti/sec si un canal de capacitate de C biti/sec şi dacă

CR < există un cod cu cuvinte de lungime n astfel încât probabilitatea unei

erori de decodare EP să fie: )(2 RnE

EP −≤

unde: n este lungimea cuvintului de cod, ( )RE este o funcţie nenegativă numită exponentul erorii

unde: n este lungimea cuvintului de cod, ( )RE este o funcţie nenegativă numită exponentul erorii. Teorema afirmă existenţa unor coduri a căror probabilitate de decodare eronată este arbitrar de mică, dar nu arată cum pot fi construite asemenea coduri. Această teoremă afirmând un lucru cu totul surprinzător şi anume că indiferent de nivelul perturbaţiilor dintr+un canal, se pot face transmisiuni cu o probabilitate a erorii oricât de mică – a dus la o puternică dezvoltare a teoriei codurilor

2.5.2 Coduri grup

Codurile grup sunt coduri bloc în care cele n simboluri care formează un cuvânt sunt considerate ca fiind componentele unui vector n dimensional. Să prezentăm sub forma matricială componentele unui cuvânt:

]...[ 21 naaaw =

Deoarece ne ocupăm numai de coduri binare , elementele a

i sunt elementele unui câmp cu două elemente notate (0,1) câmpul fiind

notat cu GF(2) Regulile de operare numite adunare modulo 2 şi multiplicare in GF(2) sunt: + 0 1 · 0 1 0 0 1 0 0 0 1 1 0 1 0 1

2.5.2.1 Distanţa Hamming In spaţiul n-dimensional al cuvintelor se introduce funcţia distanţă D v v

i j( , ) care setisface postuletele unui spatiu metric . Prin

definiţie această funcţie este: )(...)()(),( 2211 jninjijiji aaaaaavvD ⊕++⊕+⊕=

unde s-a notat cu ⊕ adunarea modulo 2 in corpul finit cu două elemente ale coordonetelor şi cu + adunarea obişnuită in corpul numerelor reale. Sub o formă concisă se poate scrie:

∑=

⊕=n

k

jkikji aavvD1

)(),(

Din relaţia de definiţie rezultă că distanţa dintre două cuvinte de cod este egală cu numărul de simboluri prin care cele două cuvinte se deosebesc.

Ponderea unui cuvânt de cod este egal cu numărul elementelor nenule din cuvântul respectiv

2.5.2.2 Decizie pe baza distanţei minime


30

Se presupune o transmisie binară printr-un canal binar simetric fără memorie, fiecare cuvânt de cod se transmite cu aceeaşi probabilitate. Se notează cu p probabilitatea ca un simbol să fie transmis eronat şi cu q probabilitatea ca el să fie transmis corect, avem, evident:

1=+ qp

Dacă se recepţionează cuvântul '

iv ,probabilitatea ca el să provină din iv este:

( ) ( ) ( )iiii vvvv

ii vv,,'

,, DnDqpp

−=

Dacă se recepţionează cuvântul '

iv ,probabilitatea ca el să provină din jv este:

( ) ( ) ( )jiji vvvv

ij vv,,'

,,DnD

qpp−

=

Deoarece în majoritatea canalelor utilizate probabilitatea 1<<p , respectiv 1≈q , relaţiile precedente se pot scrie:

( ) ( )ii vv

ii vv,'

,Dpp ≅ respectiv ( ) ( )ji vv

ij vv,'

,D

pp ≅

Dacă:

( ) ( ) ( ) ( ) 11,, ,,,, ≠∀>≠∀< jptppatuncijptDD ijiijiii vvvvvvvv

Cu alte cuvinte, dacă distanţa de la cuvântul recepţionat ,

iv la cuvântul de cod iv este mai mică decât distanţa la oricare alt cuvânt

de cod, atunci probabilitatea ca ,

iv să provină din iv este mai mare ca probabilitatea ca el să provină din oricare alte cuvinte de

cod. Pe baza acesteia se poate decide că s-a transmis cuvântul iv când s-a recepţionat ,

iv . Această schemă de decizie se

numeşte a observatorului ideal sau a probabilităţii maxime, ea stabileşte o corespondenţă între cuvintele recepţionate ,

iv şi

cuvintele transmise iv pe baza criteriului probabilităţii condiţionate maxime ( ( )'

ij vvp ). În consecinţă, putem afirma că

posibilităţile de detecţie şi corecţie ale unui cod depind de distanţa minimă dintre cuvintele de cod

2.5.2.3 Cuvântul de eroare Pentru a elabora mecanismul de detecţie şi corecţie a erorilor este necesar ca în prealabil să se analizeze modul în care se introduc erorile ce trebuie corectate/detectate. Într-un cadru general, acţiunea perturbaţiilor poate fi caracterizată printr-un operator aleator P care face transformarea :

{ } ,

ii vv =P

Cuvântul de eroare se defineşte ca un cuvânt care are simboluri din acelaşi alfabet cu cuvintele de cod iv şi aceeaşi lungime n, definit sub forma matricială (generat de canalul cu perturbaţii):

[ ]nεεεε ...21=

unde simbolurile pot lua în cazul binar valorile 0 sau 1, concret, iε ia valoarea 1 dacă perturbaţiile introduc eroare, respectiv 0 dacă

nu se introduc erori. Într-o alta formă, cuvântul de eroare poate fi scris sub forma:

[ ].........1 eii ααε =

unde simbolurile

eii αα ...1

sunt simboluri 1, celelalte fiind 0, iar niii ,..., 21 sunt indici de la 1 la n care indică poziţia în care apare o

eroare. Cu ajutorul definiţiei vuvântului de eroare, transformarea { } ,

ii vv =P poate fi scrisă:

{ } ,

iii vvv =+= εP

unde semnul + indică adunarea modulo 2 a matricilor ε,iv


31

2.5.2.4.Mecanismul de detecţie şi corecţie a erorii

Pentru a stabili o modalitate de detecţie sau corecţie a erorii se consideră un spaţiu m-dimensiomal care se numeste

spaţiul de corecţia Z si care are 2m elemente z aparţinând Z numite corectori.Corectorii se reprezinta prin matrice. In literatura de specialitate corectorul se mai numeste si vector de control de paritate si sindrom. Corectorii sunt destinati sa indice pozitiile din cuvintul de cod in care s-au introdus erori. In acest scop se stabileste o corespondent univoca intre multimea tuturor cuvintelor receptionate si multimea corectorilor.Aceasta corespondenta se poate stabili definind un operator H astfel ca:

{ } z=′Η iv

Daca ii vv =′ adica daca tansmisia s-a facut fără erori z trebue sa fie acelasi pentru orice I indicind astfel faptul ca un sunt erori. Se

alege in acest caz pentru z o valoare 0 si ca urmare relatia devine:

{ } 0=ivH

pentru orice I de la 1 la KS 2=

Pentru a putea corecta erorile introduse in procesul de transmisie este necesar ca pentru fiecare cuvint eroare care poate fi generat de perturbatiile din canal sa existe un singur corector distinct diferit de zero.

2.5.2.5 Matricea de corecţie Din cele precedente rezulta ca operatorul H determina o tansformare care este numai univoca de la spatiul de cuvinte receptionate la spatiul corector. Cea mai simpla structura a operatorului H se obtine daca se considera o transformare lineara care este numai univoca de la spatiul cuvintelor receptionate la sprtiul corectorilor, definite de ecuatiile:

mnmnmm

nn

nn

cahahah

cahahah

cahahah

=′++′+′

=′++′+′

=′++′+′

...

...........................................

...........................................

...

...

2211

22222121

11212111

hij

sunt parametrii care determina transformare H;

ai- simbolurile unui cuvint receptionat

ci - coordonatele care determina punctul z

Relatiile se pot scrie compact sub forma matriciala.In acest scop se introduce matricea:

=

mnmm

n

n

hhh

hhh

hhh

H

21

22221

11211

Matricea H se numeste matricea de control. Prin transformari elementare matricea H poate fi pus sub forma echivalenta:

][

100

010

001

21

22221

11211

QI

qqq

qqq

qqq

H m

mkmm

k

k

=

=

in care Im

reprezintă matricea unitate de ordinul m , iar Q este:

=

mkmm

k

k

qqq

qqq

qqq

Q

21

22221

11211

In cele ce urmeaza se vor nota cuvintele sub forma de matrici linie :


32

′ = ′ ′ ′v a a an

[ ... ]1 2

iar corectorii sub forma de matrice coloana:

=

mc

c

c

z...

2

1

Cu ajutorul notaţiilor precedente relaţtiile pot fi scrise sub forma:

Hv zT′ =

unde ′v T este transpusa matricei ′v . Dacă cuvântul recepţionat este un cuvânt de cod conform relaţiei controlul este nul.

Hv T′ = 0

2.5.2.6 Codarea codurilor grup cu matricea de corecţie Considerăm în cele ce urmează ca în cuvântul de cod:

[ ]nmm aaaaav ...... 121 +=

primele m simboluri : [ ] [ ]nm cccaaa ...... 2121 ==c

să fie simboluri redundante care servesc detecţiei sau corecţiei erorilor şi în consecinţă vor fi numite simboluri de control, iar ultimele k simboluri:

[ ] [ ]kkmmm iiiaaa ...... 2121 == +++i unde nkm =+

să fie simboluri generate de sursă pe care le numim simboluri de informaţie. Cu notaţiile anterioare avem:

= icv

Pentru a determina cele m simboluri de control în funcţie de k simboluri de informaţie, facem apel la relaţia de corecţie:

TTTT

T

T

m

TQic0Qic0

i

cQI0Hv =→=+→=

→=

Operaţia de determinare a simbolurilor de control în funcţie de simbolurile de informaţie se numeşte codare. Relaţia anterioară se poate scrie:

=

=

+

+

+

mkm

m

m

mkmm

k

k

a

a

a

a

a

a

qqq

qqq

qqq

..

...

............

...

...

2

1

2

1

21

22221

11211

de unde rezultă:

mjaqa im

k

i

ijj ,11

=⋅= +=∑

adică simbolurile de control se obţin din combinaţii liniare (însumare modulo 2) ale simbolurilor de informaţie. Cuvintele de cod astfel formate pot fi recunoscute datorită faptului că au corectorul corespunzător nu. Dacă în procesul de transmisie se introdc erori, corectorul va fi diferit de zero şi prin mecanismul indicat se pot corecta erorile.

Dacă simbolurle de informaţie şi de control sunt plasate în grup la începutul sau la sfârşitul cuvântului de cod, codul se numeşte sistematic.

2.5.2.7 Relaţiile între coloanele matricei H în cazul corecţiei erorilor

Pentru a putea fi corectată orice combinaţie a e erori, matricea H trebuie să satisfacă anumite condiţii:


33

ε+= vv,

unde ε este un cuvânt de eroare cu e simboluri egale cu 1, respectiv e erori:

[ ].........ei

ααε1i

=

Corectorul corespunzător cuvântului ,v este: ( ) TTT HHvvHHvz εε +=+==

T,

Deoarece, 0vH =⋅ T rezultă THz ε= , respectiv:

=

ei

i

mnmm

n

n

hhh

hhh

hhh

α

α

.

.

...

............

...

...

1

21

22221

11211

z

Pentru simplitate se notează coloanele matricei H cu ih , relatia anterioară se poate scrie:

[ ] [ ] [ ]e1e1 iiiin21 hhhhhhhz ++=+++=

⋅= .............

.

...1

1

e

e

ii

i

i

ααα

α

Pentru a corecta e erori indiferent de poziţiile în care intervin este necesar ca sumele modulo 2 a câte e coloane oarecare din matricea de control H să fie distincte. În felul acesta se obţin corector distincţi pentru fiecare cuvânt de eroare. Dacă coloanele matricei H sunt astfel alese încât sumele modulo 2 a câte e coloane sunt distincte, respectiv:

e1e1 jjii hhhh ++≠++ ......

pentru orice valori eii ,...1 distincte, cuprinse între 1 şi n şi ejj ,...1 distincte cuprinse între 1 şi n (care pot fi egale cu unele numere

eii ,...1 dar nu cu toate), atunci adunând în ambii membrii coloanele e1 jj hh ... se obţine:

0hh0hhhhe1e1e1 iijjii ≠++→≠+++++

2.........

pentru orice valori eii 21 ,... cuprinse între 1 şi n. Dacă coloanele matricei de control satisfac condiţia dată de ecuaţia anterioară,

atunci există posibilitatea corectării a e erori oarecare. Se poate arăta că în acest caz distanţa minimă între două cuvinte de cod este egală cu 2e+1. Observaţie Pornind de la definiţia distanţei Hamming dintre două cuvinte de cod

( )jkikk

n

k

n

k

kjkikji aabcubaavvD ⊕==⊕=∑ ∑= =1 1

,

Din relaţia anterioară rezultă că distanţa dintre două cuvinte de cod este ponderea unui alt cuvânt de cod (numărul

elementelor nenule într-un cuvânt de cod) Simbolurile astfel obţinute sunt şi ele simbolurile unui cuvânt de cod w, deoarece satisfac relaţia:

[ ] ( ) 0Hw0HvHvvvHHwvvw TT

j

T

i

T

ji

T

ji =→=+=+=→+== nbbb ...21


34

Rezultă că distanţa minimă dintre două cuvinte de cod (care este şi ponderea minimă a cuvintelor de cod) va determina capacităţile de corecţie a unui cod. Dacă se presupune că w este un cuvânt de cod cu pondere egală cu 2e+1 atunci:

[ ] 0hh0Hww12e11 ii

T =++=→=+++ 12112

............ee iiii respectiv αααα

sau 0...... =++12e1 ii hh

Dacă suma a 2e coloane oarecare este diferită de zero, atunci nu există nici o relatie de forma:

0...... =+2e1 ii hh

Deci, condiţia necesară şi suficientă pe care trebuie să o îndeplinească distanţa dintre cuvinte pentru ca să se poată corecta e erori este ca:

12minmin +== ePd Pentru a detecta e erori, condiţia este:

1minmin +== ePd Observaţie. Se observă că un cod corector de e erori este detector de 2e erori

2.5.2.8 Codarea codurilor grup cu ajutorul matricei generatoare G Ţinând seama de notaţiile precedente, se defineşte o matrice G numită matrice generatoare care satisface relaţia:

iGv = Pentru a vedea legătura între matricea G şi matricea H , facem înlocuirile:

( ) 0iGHiGH0vH TT =⋅=→=⋅TT

deoarece această relaţie este valabilă pentru orice simboluri de informaţie, rezultă: 0GHT =⋅ , unde matricea H conform unor

relaţii anterioare este de forma: [ ]QIH m= unde matricea Q este o matrice cu m linii şi k coloane.

Dacă matricea G ar fi de forma: [ ]k

TIQG = atunci relaţia anterioară este satisfăcută:

[ ] [ ] 0QQI

QQIHG

k

m

T =+=

⋅=

Notând cu P matricea TQ : T

QP = , respectiv

=

kmkk

m

m

ppp

ppp

ppp

..

........................

...

..

21

22221

11211

P deci [ ]kPIG = sau

=

1...00...

.....................

0...01...

0...10...

1

212

111

kmk

m

m

pp

pp

pp

G

având în vedere relaţiile existente, avem : [ ] [ ] [ ]iPiPIiciv k === de unde rezultă iPc = o altă relaţie pentru obţinerea simbolurilor de control

2.5.2.9 Formarea corectorilor

[ ] [ ] [ ] [ ] [ ]cczccPicPIicHvzvHz TT

m

TTT ′′+′=→′′+′=′+′=⋅′′=⋅′=→′⋅= unde Pic ′=′′ reprezintă simbolurile de control ce rezultă din operaţia de codificare a simbolurilor de informaţie recepţionate.


35

Aplicaţie Fie un cod grup cu matricea de control:

=

0

1

1

1

0

1

1

0

0

0

1

0

0

0

1

H

Se cere: a. Să se determine proprietăţile de corecţie ale codului. b. Să se determine matricea generatoare G c. Să se scrie cuvintele de cod cu ajutorul matricilor G şi H a. Dimensiunile matricei H permit să se determine 5=n şi 3=m şi deci 3=k . După o atentă examinare a matricii de control ne dăm seama că suma oricăror două coloane nu este diferită de suma oricăror altor două coloane, de exemplu:

4321 hhhh +=

=+

0

1

1

deci nu se pot corecta două erori ci numai una Marginea Hamming care reprezintă condiţia necesară pentru corecţie a e erori este satisfăcută pentru e=1:

5712 =>=− nm

Marginea Varşamov-Gilbert care reprezintă o condiţie suficientă pentru corecţia a e erori este şi ea satisfăcută pentru e=1:

76182 1

0

0

0 =+=+≥= CCm

b.Matricea de control se poate pune sub următoarea formă:

→= ][ QIH 3 [ ]

==

1

0

0

1

0

1

1

0

1

1k

TIQG

Se poate verifica relaţia :

0HGT =

=

⋅

=

0

0

0

0

0

0

10

01

01

10

11

0

1

1

1

0

1

1

0

0

0

1

0

0

0

1

c.Pentru a scrie cuvintele de cod cu ajutorul matricii de control H se utilizează următoarea relaţie, în care cuvântul de cod este sistematic:


36

[ ] [ ] →=→== 0HvcivT

54321 iiccc 0HGT =

+

+

++

=

⋅

=

43

52

541

5

4

3

2

1

0

1

1

1

0

1

1

0

0

0

1

0

0

0

1

ic

ic

iic

i

i

c

c

c

de unde rezultă 4352541 ;; iciciic ==+=→

rezultând cuvinte de cod de forma: [ ]544554 ,,,, iiiiii +=v

Cuvintele de cod se pot scrie şi cu ajutorul matricii generatoare: iGv = unde matricea i este o matrice linie ce conţine simbolurile de informaţie, obţinându-se în cele din urmă aceleaşi rezultate, ca înainte. Cuvintele de cod sunt următoarele:

C1 C2 C3 I4 I5

V1 0 0 0 0 0 V2 1 0 1 1 0 V3 1 1 0 0 1 V4 0 1 1 1 1

2.5.3 Coduri Hamming grup

Codurile Hamming constituie prima clasă de coduri bloc liniare corectoare de erori şi au fost propuse de R. Hamming în

anul 1950. 2.5.3.1 Codul Hamming grup corector de o eroare

Caracteristicile codului:

- lungimea cuvântului de cod se determină cu relaţia: 121 −=++= kkmn , relaţie ce

reprezintă condiţia de existenţa a unui cod perfect, satisfăcută pentru o eroare - codul este separabil dar nu este sistematic , structura unui cuvânt de cod este:

[ ]niiciiiciccv ...987654321=

- simbolurile de control sunt situate pe poziţiile 1,0,2 −= kii

- matricea de control H este de forma : [ ]ni1 hhhH ......][ =mxn unde fiecare coloană reprezintă în cod binar natural (BN)

numărul de ordine al coloanei respective, cu bitul cel mai puţin semnificativ în linia a m-a. Din structura matrici de control se observă că toate coloanele sunt distincte deci este îndeplinită condiţia pentru corecţia unei erori

- relaţiile de codare se determină cu condiţia: 0vHT =⋅ de unde rezultă exprimarea simbolurilor de control în funcţie de cele de

informaţie

- sindromul se determină cu relaţia : srHT =⋅ , unde Tr este transpusa cuvântului recepţionat

[ ] [ ] iini21

TTThhhhhHvHrH =

⋅==+=⋅

.

.

.

.

...... αεε

- corectorul corespunzător este: ihz = adică reprezentarea binară a numărului i care reprezintă poziţia în care este o eroare,

decodarea se face foarte simplu prin conversie binar-zecimal.


37

Codul Hamming corector de o eroare nu poate corecta nici o eroare dublă, motiv pentru care este un cod perfect. În general codurile care pot corecta e erori în orice poziţii, dar nu pot corecta 1+e erori sau mai multe, se numesc coduri perfecte. Codarea Cele m poziţii ale simbolurilor de control corespund vectorilor coloană ih cu un singur element diferit de zero. Simbolurile de control sunt date de relaţiile:

0vHT =⋅ respectiv [ ] 0hhhh ni21 =

⋅

ni

i

c

i

c

c

.

.

......5

4

3

2

1

sau 0

1

1

.

.

.

1

...

1

1

.

.

.

0

0

1

.

.

.

0

1

0

.

.

.

0

321 =

++

+

+

niicc

relaţie cu m ecuaţii în care simbolurile de control intervin o singură dată , deci pot fi exprimate în funcţie de simbolurile de informaţie, ce se pot scrie începând cu ultima linie:

..............................

...

...

...

654

632

531

n

n

n

iiic

iiic

iiic

+++=

+++=

+++=

Decodarea La recepţie, cuvântul recepţionat se introduce într-un dispozitiv cu celule binare de memorie şi se calculează corectorul:

[ ]

=

==

,

,

2

,

11

'

.

....

.

.

.

nm i

c

c

e

e

n21

ThhhHvz

Ţinând cont de structura matricei H în mod calvului precedent, se obţine:

.......................................

...

...

,,

6

,

3

,

21

,,

5

,

3

,

1

nm

nm

iiice

iiice

++++=

++++=

−

Numărul binar astfel calculat ( )meee ...21 este introdus într-un convertor binar-zecimal, iesirea căruia indică poziţia erorii, permiţând

astfel corecţia ei, prin însumarea modulo 2 a cuvântului recepţionat cu cuvântul de eroare obţinut.


38

Aplicaţie Un număr de 20 de mesaje se transmit pe un canal cu perturbaţii utilizând un cod Hamming corector de o eroare. Se cere:

a. numărul simbolurilor de de informaţie k , al celor de control m şi lungimea fiecărcuvânt de cod b. să se scrie matricea de control al codului H c. să se scrie cuvintele de cod d. cât este distanţa minimă ? cât este ponderea minimă ? e. să se stabilească expresia corectorului pentru cazul în care se eronează 4c f. să se stabilească ce se întâmplă în cazul în care apar două erori pe poziţiile 2 şi 7

a. Pentru a transmite 20 mesaje este necesar un număr de 5=k simboluri de informaţie. Numărul simbolurilor de control rezultă din expresia marginii Hamming:

94512 =→=→+=+=≥− nmmkmnm

b. matricea de control este o matrice de 9=n coloane şi 4=m linii, fiecare coloană reprezintă codul binar al numărului de coloană:

=

101010101

000110110

001111000

110000000

H

c. cuvântul de cod Hamming este nesimetric şi are structura [ ]987654321 iciiicicc=v . Orice cuvânt de cod satisface relaţia:

0vHT =⋅

care permite determinarea simbolurilor de control 8421 ,,, cccc în funcţie de simbolurile de informaţie 97653 ,,,, iiiii cu ajutorul

sistemului:

97531

7632

7654

98

iiiic

iiic

iiic

ic

+++=

++=

++=

=

Se poate face un tabel în care să se reprezinte cele 20 de cuvinte de cod, pe baza relaţiei de mai sus.

C1 C2 I3 C4 I5 I6 I7 C8 I9 V0 0 0 0 0 0 0 0 0 0 V1 1 1 1 0 0 0 0 0 0 V2 1 0 0 1 1 0 0 0 0 V3 0 1 1 1 1 0 0 0 0 V4 0 1 0 1 0 1 0 0 0 V5 1 0 1 1 0 1 0 0 0 V6 1 1 0 0 1 1 0 0 0 V7 0 0 1 0 1 1 0 0 0 V8 1 1 0 1 0 0 1 0 0 V9 0 0 1 1 0 0 1 0 0 V10 0 1 0 0 1 0 1 0 0 V11 1 0 1 0 1 0 1 0 0 V12 1 0 0 0 0 1 1 0 0 V13 0 1 1 0 0 1 1 0 0 V14 0 0 0 1 1 1 1 0 0 V15 1 1 1 1 1 1 1 0 0 V16 1 0 0 0 0 0 0 1 1 V17 0 1 1 0 0 0 0 1 1 V18 0 0 0 1 1 0 0 1 1 V19 1 1 1 1 1 0 0 1 1


39

d. după inspectarea tabelului rezultă că ponderea minimă 3min =P şi 3min =d pentru o eroare e. în acest caz cuvântul de

eroare este: [ ]000001000=ε , corectorul se calculează:

( )

====

0

0

1

0

,

4

TThHvHz ε şi reprezintă codul binar al poziţiei eronate.

f. în acest caz cuvântul de eroare este: [ ]001000010=ε , iar corectorul

[ ] [ ]

==+=

1

0

1

0

2 57 hhhz

Decodorul ar acţiona ca şi cum eroarea ar fi pe poziţia a 5-a şi efectuează “corecţia” presupusei erori, introducând de fapt o eroare suplimentară pe poziţia a 5-a, pe lângă cele deja existente.

2.5.3.2 Coduri Hamming modificate Pentru a depăşi dezavantajul codului Hamming corector de o eroare (acela de a erona suplimentar la depăşirea capacităţii de corecţie a codului), acest cod poate fi modificat în sensul creşterii distanţei minime de la 3 la 4 ceea ce permite detecţia erorilor duble. Acest lucru este posibil atât prin extinderea cât şi prin scurtarea codului iniţial

2.5.3.3 Codul Hamming extins (corector de o eroare şi detector de erori duble) Creşterea distanţei minime se obţine prin adăugarea unui simbol de control suplimentar numit şi simbolul de control al parităţii 0c , structura cuvântului de cod devenind astfel:

[ ]niiciiicicccv ...9876543210=

Matricea de control capătă forma:

=

=∗

1...111

...0

1

0 n21 hhh

1

HH

unde [ ]⋅ni21 hhhh ...... este matricea de control a codului Hamming corector de o eroare. Corectorul pentru acest cod va fi:

( )

=== ∗∗∗

0

,

z

zHvHz

TTε

unde z îşi păstrează semnificaţia de la codul Hamming corector de o eroare iar 0z este un simbol binar ce poate lua valoarea 0

sau 1 cu ajutorul căruia se poate face detectia erorilor duble( 00 =z )

Putem avea următoarele situaţii: 00 =z şi 0z = atunci nu apar erori

00 =z şi 0z ≠ atunci sunt două erori detectabile

10 =z şi 0z ≠ atunci există o eroare corectabilă

10 =z şi 0z = atunci simbolul 0c este eronat

distanţa de cod este 4 şi ea corespunde condiţiei de corecţie a unei erori şi detecţie de erori duble.

td curs 2011a

Documents