politechnika gdańska wydział elektroniki, telekomunikacji ... · właściwości entropii: jest...
TRANSCRIPT
1
Teoria informacji i kodowania
Politechnika Gdańska
Wydział Elektroniki, Telekomunikacji i Informatyki
Katedra Systemów i Sieci Radiokomunikacyjnych
dr inż. Małgorzata Gajewska
e-mail: [email protected]
telefon: (0-58) 347 13 50
2
LITERATURA
1. Cower T.M., Element of information theory, Wiley, 2006
2. Haykin S., Communication systems, Wiley, Third Edition,
1994
3. Sobczak W., Elementy teorii informacji, Wiedza
Powszechna, Warszawa 1973
4. Marczak A.: Analiza efektywności kodowania kanałowego
w systemie UMTS, praca doktorska, Politechnika Gdańska,
2005
3
KRYTERIA ZALICZENIA PRZEDMIOTU
Egzamin- do zaliczenia jest wymagane
uzyskanie minimum 50% punktów
4
TEORIA INFORMACJI
Każda wiadomość, która dociera do odbiorcy, na podstawie
której on opiera swoje działanie, nazywamy informacją.
Istnieją dwa podstawowe punkty widzenia informacji
obiektywny - jest to podejście matematyczne, które opiera się na
pojęciu entropii. W tym przypadku informacja oznacza pewną
własność fizyczną lub strukturalną obiektów
subiektywny - informacja ma charakter względny i jest tym co umysł
jest w stanie przetworzyć i wykorzystać do własnych celów.
5
Definicja obiektywna informacji polega na przyjęciu określonych
modeli źródeł informacji oraz ustaleniu obliczeniowej miary jej ilości.
Teoria informacji to teoria, w której stosuje się rachunek
prawdopodobieństwa oraz ogólnie matematykę do badania sposobów
przekazywania, gromadzenia i manipulowania informacjami.
6
a)
Źródło
informacjiNadajnik
Kanał
fizycznyOdbiornik
Obiekt
przeznaczenia
informacji
b)
Źródło
informacjiNadajnik
Kanał
fizycznyOdbiornik
Obiekt
przeznaczenia
informacji
Odbiornik
źródła
informacji
Nadajnik obiektu
przeznaczenia
informacji
Kanał
sprzężenia
zwrotnego
Rys. 1. Schemat transmisji informacji
7
U1
U5
U4U3
U2 U1
U5
U4U3
U2
Węzeł
centralny
U1
U5
U4U3
U2
a) b)
c)
Węzeł
centralny
Rys. 2 . Przykłady struktury sieci.
8
Rys. 3. Schemat blokowy systemu transmisji informacji
Źródło
informacji
Koder
źródłowy
Koder
kanałowyModulator
DemodulatorDekoder
kanałowy
Dekoder
źródłowy
Obiekt
przeznaczenia
informacji
K
a
n
a
ł
Szum,
zakłócenia,
zaniki
Filtr
i wzmacniacz
wielkiej
częstotliwości
Filtr
i wzmacniacz
wielkiej
częstotliwości
Generator
sygnału nośnej
o częstotliwości
f0
Oscylator lokalny
o częstotliwości
f0
9
KOMUTACJA PAKIETÓW I KANAŁÓW
Sieci radiokomunikacyjne są zbiorami terminali (ruchomych lub
nieruchomych) połączonych podsiecią komunikacyjną utworzoną
poprzez węzły komunikacyjne i kanały radiowe.
Węzły komunikacyjne sieci radiokomunikacyjnej sterują przesyłaniem
informacji w kanałach radiowych między komunikującymi się
terminalami.
10
Def. Funkcjami komutacyjnymi sieci telekomunikacyjnej
(radiokomunikacyjnej) nazywamy sposoby zestawiania połączeń
fizycznych bądź logicznych między komunikującymi się
terminalami.
W cyfrowych sieciach radiokomunikacyjnych informacje są przesyłane
w formie pakietów.
11
Def. Pakietem nazywamy blok informacji cyfrowych zawierający
ciąg informacyjny o ograniczonej długości uzupełniony ciągiem
synchronizującym oraz sterująco-kontrolnym, który jest
przekazywany w sieci jako pewna całość.
Cyfrowe sieci radiokomunikacyjne umożliwiają realizację dwóch
podstawowych metod komutacji:
- komutację kanałów
- komutację pakietów.
12
Komutacja kanałów:
- zestawienie połączenia,
- przesyłanie informacji
- rozłączanie połączenia.
Cechą charakterystyczną komutacji kanałów jest wyłączność
użytkowania zestawionego połączenia przez parę komunikujących się
terminali.
13
MODEL ON-OFF SYGNAŁÓW MOWY
Źródło: D. Rutkowski, R. Sobczak, „Usługi w systemie UMTS”, Przegląd Telekomunikacyjny i Wiadomości Telekomunikacyjne, Nr.11-12 2002
Usługa przesyłania sygnałów mowy jest modelowana w makroskali
poprzez proces zgłoszeń opisany rozkładem Poissona i rozkład
wykładniczy czasu trwania rozmów.
14
State
„off”
State
„off”
State
„off”State
„on”
Poff-on
Pon-off
1-Pon-off1-Poff-on
Rys.5. Model on-off sygnałów mowy
Pon-off - prawdopodobieństwo przejścia źródła ze stanu aktywnego do
stanu nieaktywnego
Poff-on - prawdopodobieństwo przejścia źródła ze stanu nieaktywnego do stanu aktywnego
15
Jeżeli więc przyjmiemy graf dwustanowy pokazany na rysunku jako
model źródła sygnałów mowy to liczbę bloków generowanych dla
jednego segmentu opisuje rozkład geometryczny o postaci
11
l
offonoffon PPlLP
gdzie:
offonP 1 - prawdopodobieństwo pozostania źródła w stanie
aktywnym. Wartość średnia dla rozkładu geometrycznego jest równa odwrotności Pon-off
16
Czas przerwy w aktywności źródła sygnałów mowy (pozostania w
stanie off) może być również modelowany rozkładem geometrycznym
liczby 20-milisekundowych przedziałów czasu, tj. prawdopodobieństwo,
że liczba takich przedziałów wynosi n, jest dane wzorem
11
n
onoffonoff PPnNP
przy czym średni czas trwania przerwy wynosi:
offonPNE
1
17
Możemy teraz określić prawdopodobieństwo Pa, że źródło jest w stanie
aktywnym i prawdopodobieństwo Pn, że źródło jest w stanie
nieaktywnym
:
offononoff
onoff
aPP
PP
offononoff
offon
nPP
PP
18
Entropia H(X) dla dyskretnej zmiennej X jest zdefiniowana wzorem
n
i
ii ppXH1
2log)(
Entropia – w teorii informacji jest definiowana jako średnia ilość informacji,
przypadająca na znak symbolizujący zajście zdarzenia z pewnego zbioru.
Zdarzenia w tym zbiorze mają przypisane prawdopodobieństwa wystąpienia.
19
p
H(p)
1
0,5
1
0,50
Właściwości entropii:
jest nieujemna,
jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,
jest równa 0, gdy stan systemu może przyjmować wartości tylko 0 albo
tylko 1
Interpretacja: Dowolna zmiana prawdopodobieństw mająca na celu ich zrównanie pociąga za sobą wzrost wartości entropii bezwzględnej. Z rysunku wynika, że entropia osiąga wartość maksymalną wtedy, gdy prawdopodobieństwa wystąpienia określonych zdarzeń są jednakowe. Przy braku nieokreśloności, entropia jest równa zeru. Wzrost poziomu nieokreśloności zdarzeń pociąga za sobą wzrost entropii.
20
Def. Entropia łączna H(X,Y) pary dyskretnych zmiennych (X, Y) o
wspólnym prawdopodobieństwie p(x, y) jest zdefiniowana jako
Xx Yy
yxpyxpYXH
),(log),(),(
co może zostać wyrażone również wzorem
),(log),( YXpEYXH
21
Def. Jeżeli (X, Y) ∼ p(x, y), to entropię warunkową H(Y|X) można
zdefiniować jako
Xx Yy
Xx
yxpyxp
xXYHxpXYH
),(log),(
)()(
Możliwe są również pewne przekształcenia
)()(),( XYHXHYXH
),()(),( ZXYHZXHZYXH
22
KODOWANIE KANAŁOWE
Kodowanie kanałowe to celowe przekształceniem stosowane
w nadajniku polegające ogólnie na wprowadzaniu pewnej
nadmiarowości informacyjnej (redundancji) do ciągów
informacyjnych podawanych do kodera kanałowego oraz jej
wykorzystaniu w dekoderze kanałowym odbiornika do możliwie
wiernego ich odtwarzania.
23
Fundamentalne prawo teorii informacji zwane twierdzeniem o
kodowaniu sformułował i udowodnił C.E.Shannon.
Twierdzenie:
Przepustowość informacyjna kanału ciągłego o pasmie
przenoszenia B [Hz], w którym występuje addytywny szum
gaussowski o średniej mocy
Hz
W 0N jest określona wzorem
s
b 1log0
2
BN
SBC (1)
gdzie S[W] jest średnią mocą sygnału odbieranego.
24
Wniosek:
Przez kanał o pasmie B można przesyłać sygnały o średniej mocy S
z dowolną prędkością
s
bCR i dowolnie małym
prawdopodobieństwem błędu, jeśli zastosujemy dostatecznie złożone
kodowanie.
Twierdzenia Shannona określa granicę na szybkość transmisji
informacji w kanale, lecz nie określa granicy na prawdopodobieństwo
błędu.
25
Z twierdzenia o kodowaniu wynika, że istnieje granica na stosunek
0NEb , poniżej której nie jest osiągalne dowolnie małe
prawdopodobieństwo błędu, przy żadnej szybkości transmisji. Możemy
znaleźć tę granicę i wynosi ona.
dB59,10
N
Eb !!!!!!!!!
Otrzymana wartość nazywa się granicą Shannona.
26
Kod to reguła, wg. której k-wymiarowym informacjom (wiadomościom)
cyfrowym nazywanymi ciągami informacyjnymi przyporządkowane
są n-wymiarowe ciągi kodowe czyli sygnały złożone z n sygnałów
elementarnych, przy czym n>k.
Kodowanie kanałowe jest więc takim celowym przekształceniem
wiadomości cyfrowych, aby uzyskać ciągi kodowe odporne
w większym lub mniejszym stopniu na szum i zakłócenia w kanałach.
27
Klasyfikacja kodów nadmiarowych:
kody blokowe - czyli takie, w których ciąg kodowy kodu
blokowego określany jest po nadejściu do kodera całego ciągu
informacyjnego
kody splotowe - czyli takie, w których ciąg kodowy kodu
splotowego tworzony jest sukcesywnie, tzn. najczęściej w
praktyce po nadejściu każdej informacji elementarnej ciągu
informacyjnego określany jest kolejny segment ciągu kodowego
28
Dla danego kodu stosunek nkr liczby k informacji
elementarnych ciągu informacyjnego do liczby n sygnałów
elementarnych ciągu kodowego nazywa się względną szybkością
kodowania, a stosunek kkn nazywa się redundancją kodu.
Ciągi kodowe liniowych kodów blokowych charakteryzują się
następującymi własnościami:
wektor złożony z samych zer jest ciągiem kodowym
suma (modulo 2) dwóch dowolnych ciągów kodowych jest
również ciągiem kodowym.
29
Metoda obliczania sumy modulo 2
p q p suma modulo 2 q
0 0 0
0 1 1
1 0 1
1 1 0
30
Blokowe kody liniowe są powszechnie wykorzystywane w praktyce,
przy czym najczęściej są one stosowane w formie kodów
systematycznych, w których pozycje ciągu kodowego dzielą się na
informacyjne i kontrolne.
W pozycje informacyjne wpisujemy kolejne wartości binarne ciągu
informacyjnego o długości k.
Pozycje kontrolne o długości n-k i pozycje informacyjne należą do
tzw. zespołów kontrolnych, przy czym najwygodniej jest
przyporządkować jedną pozycję kontrolną dla każdego zespołu
kontrolnego i wpisać w nią taką wartość binarną 0 lub 1, aby suma
modulo 2 informacji elementarnych objętych danym zespołem była
równa zero (liczba jedynek była parzysta).
31
Umownie kod blokowy systematyczny zapisujemy w formie (n,k).
k
pozycji informacyjnych
n - k
pozycji kontrolnych
n
Rys.6. Format ciągu kodowego kodu systematycznego
32
Systematyczny liniowy kod blokowy (n,k) jest odwzorowaniem
k-wymiarowego ciągu informacyjnego w n-wymiarowy ciąg kodowy w
taki sposób, że część ciągu kodowego stanowi ciąg informacyjny (rys.
6).
Pozostałe (n-k) sygnały elementarne reprezentują tzw. ciąg kontrolny
(zwany potocznie bitami parzystości), z których każdy jest odpowiednio
powiązany z określonymi informacjami elementarnymi warunkiem
uzyskania parzystej liczby jedynek, przez co umożliwia uzyskanie
zdolności detekcji i/lub korekcji błędów.
33
Kod umożliwiający wykrycie nieparzystej liczby
błędów elementarnych
Niech długość ciągu kodowego 1 kn , gdzie k jest długością ciągu
informacyjnego, a więc długość ciągu kontrolnego n - k=1.
Jeśli na pierwsze k pozycji ciągu kodowego wpiszemy kolejne bity
ciągu informacyjnego, to w ostatnią n-tą pozycję ciągu kodowego
powinno się wpiszać taką cyfrę binarną, która zsumowana modulo 2 z
cyframi binarnymi znajdującymi się na k pozycjach poprzedzających da
wynik 0.
Dzięki temu po stronie odbiorczej dekoder może wykryć obecność
niektórych błędów przez przeprowadzenie testowania polegającego na
34
sprawdzeniu, czy suma modulo 2 sygnałów elementarnych ciągu
odebranego y jest parzysta. Jeśli tak nie jest, to ciąg odebrany zawiera
błąd (błędy). Odbiornik może wówczas podjąć decyzję, że ciągu
kodowego nie da się odtworzyć i może zażądać retransmisji.
Wówczas prawdopodobieństwo j błędów w bloku o długości n
elementów wynosi
jnj ppj
nnjP
1,
Zatem prawdopodobieństwo wdP błędnego odtwarzania wiadomości na
podstawie odebranego bloku y o długości n wyraża się wzorem
35
ego)nieparzyst (dla
lub )parzystego (dla
1
222
1-n
2
n
12
n
n
j
jnj
wd ppj
nP
Prawdopodobieństwo błędnego odtwarzania wiadomości bez
zabezpieczenia kodowego wynosi
jkjk
j
w ppj
kP
1
1
36
Kod umożliwiający korekcję pojedynczego błędu w stablicowanym ciągu informacyjnym
Założenia:
- wiadomość jest złożona z L bitów;
- tworzymy tablicę zawierającą W wierszy i K kolumn, gdzie L=W*K
Następnie wprowadzamy 1 bit kontrolny do każdej kolumny oraz 1 bit
kontrolny do każdego wiersza, tzn. powiększamy wymiar tablicy do
(W+1)(K+1).
37
Ciąg bitów kontrolnych dla wszystkich wierszy, który tworzy kolumnę,
jest najczęściej zapisywany na końcu bloku i jest zwany znakiem
kontrolnym bloku.
Dowolny pojedynczy błąd w bloku z takim zabezpieczeniem kodowym
będzie wywoływał 2 błędy parzystości, przy czym jeden w wierszu, a
drugi w kolumnie, które przecinają się na pozycji, w której ten błąd
występuje, a więc korekcja błędu w dekoderze będzie łatwo
realizowalna.
38
Jakość tego zabezpieczenia przez obliczenie prawdopodobieństwa
błędnego odtwarzania wiadomości. Jeśli t oznacza liczbę błędów, które
może korygować dany kod, to prawdopodobieństwo błędnego
odtwarzania wiadomości możemy obliczyć ze wzoru
n
1
1tj
jnj
wk ppj
nP
39
Macierz generująca
Odwzorowanie k-bitowych ciągów informacyjnych w n-bitowe ciągi
kodowe można zrealizować w różny sposób. Najprościej
odwzorowanie to może być przeprowadzone za pomocą tablicy
kodowej, w której poszczególnym ciągom informacyjnym są
przyporządkowane ciągi kodowe.
Wtedy korzysta się z tzw. macierzy generującej.
40
knkk
n
n
k ggg
ggg
ggg
g
g
g
G
,,,
,,,
,,,
21
22221
11211
2
1
(22)
Jeśli ciągi kodowe i ciągi informacyjne będziemy zapisywali jako
wektory wierszowe, to dla wiadomości ikiii xxxx ,,, 21 ciąg
kodowy ixs
otrzymamy jako iloczyn
Gxxs ii (23)
41
Zysk kodowania
Wprowadzenie nadmiarowości do ciągu informacyjnego w celu
zabezpieczenia całego ciągu kodowego przed błędami ma tylko wtedy
sens, gdy:
- zwiększone wskutek kodowania prawdopodobieństwo błędu
elementarnego, spowodowane zmniejszoną energią sygnału
użytecznego przypadającą na sygnał elementarny ciągu kodowego, jest
skompensowane dzięki zabezpieczeniu kodowemu,
- zabezpieczenie to zapewnia zmniejszenie prawdopodobieństwa
błędnego odtwarzania wiadomości w porównaniu z sytuacją, gdy
zabezpieczenie kodowe nie jest stosowane.
42
Zysk kodowania jest zdefiniowany jako wielkość redukcji
wymaganej wartości 0N
Eb wyrażonej w decybelach, która jest
niezbędna do uzyskania tego samego średniego
prawdopodobieństwa elementarnego błędu dekodowania jak
prawdopodobieństwo błędu elementarnego bez zabezpieczenia
kodowego, przy tym samym rodzaju modulacji.
dBN
EdB
N
EdBG
o
b
o
b
kodowania bezkodowaniu po
][
43
Zdolność korekcyjna i detekcyjna kodów
O zdolności detekcyjnej i/lub korekcyjnej kodu decyduje
minimalna odległość Hamminga między ciągami kodowymi.
Def. Odległością Hamminga 21,ssd
między dwoma ciągami
kodowymi 1s
i 2s nazywamy liczbę pozycji binarnych, na
których oba ciągi się różnią.
Def. Minimalna odległość Hamminga kodu (n,k) jest dana wzorem
Lkissssdd kiki
kiki
,,2,1,,,:,min,
min
S (18)
44
Wyznaczenie minimalnej odległości Hamminga mind dla danego
kodu wymaga określenia odległości Hamminga między każdą
parą ciągów kodowych.
O zdolności detekcyjnej i/lub korekcyjnej kodu decyduje minimalna
odległość Hamminga mind .
Z właściwości kodów liniowych wynika, że suma dwóch ciągów
kodowych jest również ciągiem kodowym, a więc odległość między
dwoma ciągami kodowymi jest równa ich odległości od ciągu
kodowego 1s
złożonego z samych zer. Zatem określenie liczby jedynek
45
w każdym ciągu kodowym umożliwia znalezienie mind , które będzie
równe najmniejszej liczbie jedynek zawartych w określonym ciągu
kodowym (ciągach kodowych) danego kodu, bowiem ta liczba jedynek
będzie równocześnie wyznaczać odległość od ciągu 1s
.
Zdolność detekcyjna kodu jest określona wzorem
1min de
Zdolność korekcyjna t kodu jest zdefiniowana jako maksymalna
liczba korygowalnych błędów w ciągu kodowym:
2
1min d
t
46
Kody cykliczne
Ważną w praktyce podklasą kodów liniowych są kody ilorazowe, w
których istnieje możliwość powiązania ciągów informacyjnych i ciągów
kodowych z wielomianami odpowiednich stopni o współczynnikach
binarnych, a kodowanie oraz dekodowanie można opisywać
algebraicznie jako mnożenie i dzielenie wielomianów w oparciu o
operacje modulo 2, natomiast techniczne wykonywanie mnożenia i
dzielenia można zrealizować przy zastosowaniu rejestrów
przesuwnych ze sprzężeniem zwrotnym.
Do szczególnie rozpowszechnionych w praktyce kodów ilorazowych
należą kody cykliczne, w których zakłada się, że ciąg powstały przez
47
cykliczne przesunięcie ciągu kodowego s
o i pozycji w prawo, i=1,2,
,n-1, jest również ciągiem kodowym.
Jeżeli więc ciągowi n
ssss ,,,21
przyporządkujemy wielomian
12
321
n
nususussus
to cykliczna właściwość kodu ujawnia się w tym, że reszta s ui z
ilorazu
11
n
i
n
i
u
usuf
u
usu
jest również wielomianem ciągu kodowego, przy czym f u jest częścią
całkowitą ilorazu.
48
Kodowanie w formie systematycznej wymaga wyznaczenia ciągu
kontrolnego tzn. obliczenia wyrażenia uxu kn modulo g(u), a więc
podzielenia wielomianu reprezentującego wiadomość przesuniętą o (n-
k) pozycji w prawo przez wielomian generujący g(u). Ciąg kontrolny
jest resztą z dzielenia zawartą w rejestrze przesuwnym.
49
Kodowanie splotowe
Kodowanie splotowe charakteryzuje się tym, że może być
dokonywane w sposób ciągły, bez konieczności dzielenia ciągu
informacji elementarnych na bloki, jak to miało miejsce w
przypadku kodów blokowych.
Kodowanie splotowe można realizować za pomocą prostych układów
i przy niewielkiej liczbie elementarnych operacji przetwarzania.
Niestety, proces dekodowania ciągów odebranych kodu splotowego
wymaga znacznie większego nakładu przetwarzania niż proces
kodowania splotowego.
50
Kod splotowy jest zdefiniowany przez 3 liczby (n,k,K), gdzie n
jest długością segmentu ciągu kodowego generowanego
oddzielnie dla każdego zespołu k kolejnych bitów ciągu
informacyjnego, a K jest tzw. stałą ograniczającą. W naszych
rozważaniach ograniczymy się tylko do binarnych kodów
splotowych, dla których k=1. W tym przypadku n jest długością
segmentu ciągu kodowego, a K jest wówczas liczbą stopni
rejestru przesuwnego ze sprzężeniem zwrotnym stosowanego
do kodowania.
51
Rys. Schemat kodera kodu splotowego (2,1,3).
Aby zdekodować ciąg kodowy, niezbędny jest cały ciąg włącznie z
zakodowanymi bitami uzupełniającymi o wartości logicznej 0
dołączonymi do ciągu wejściowego i koniecznymi do opróżnienia
zawartości rejestru kodera.
Drugi element s2
segmentu ciągu
kodowego
+
Ciąg
informacy jny
(wiadomość)
+
Ciąg kodowy
Pierwszy element s1
segmentu ciągu
kodowego
Sumator 1
Sumator 2
52
Uwagi
ciąg kodowy kodu splotowego nie ma wyraźnie określonej
długości, jak miało to miejsce w przypadku kodu blokowego,
tzn, może być dowolnie długi. Możemy oczywiście stosować
kodowanie splotowe do bloków wiadomości o zadanych
długościach, musimy jednak zawsze dołączyć (K-1) binarnych
zer na końcu każdego bloku, aby opróżnić każdorazowo
zawartość rejestru kodera, po to by nie utracić pełnej informacji
o ciągu kodowym
53
względna szybkość kodowania (sprawność kodowania) jest
nieco mniejsza niż nkr , wskutek konieczności dołączania
binarnych zer do opróżniania zawartości rejestru
kod splotowy wprowadza powiązania statystyczne między
elementami ciągu kodowego, gdyż każdy segment ciągu
kodowego jest funkcją nie tylko wartości danego bitu
wejściowego, lecz również 1K wartości poprzedzających go
bitów wejściowych.
54
W analizie i zastosowaniach ogromną rolę odgrywa opis kodu
splotowego za pomocą grafu kratownicowego (zwanego niekiedy
kratowym), który przedstawia możliwe w czasie zmiany stanów kodera
i pozwala w prosty sposób określić w grafie tzw. ścieżkę, określającą
generowany ciąg kodowy dla każdego ciągu wejściowego.
Każdy generowany segment ciągu kodowego jest zawsze funkcją stanu
kodera i wartości bitu podawanego na wejście przy czym przez stan
kodera rozumie się tu stan ostatnich 1K stopni rejestru
55
Rys. Graf stanów kodu splotowego (2,1,3)
Stan d
11
10
01
Stan c
01
Stan b
10
Stan a
00
01
00
10
00
1111
segmenty ciągu
kodowego
Linia ciągła: xi=0
Linia przery wana: xi=1
56
W procesie kodowania kolejnym dyskretnym chwilom ,2,1, iti
podawania kolejnych bitów informacyjnych o znanych wartościach
binarnych można przyporządkować nowe stany kodera w momentach
1it dla zadanych stanów w momentach i
t i otrzymać odpowiednią
ścieżkę w grafie, reprezentującą generowany ciąg kodowy, jak pokazano
to na rys.
Graf kratownicowy dzięki wykorzystaniu powtarzalnych operacji w
procesie kodowania pozwala badać ten proces dynamicznie (w czasie)
i umożliwia łatwą jego konstrukcję oraz określanie ciągu kodowego dla
dowolnie długiego ciągu informacyjnego.
57
Rys. Graf kratownicowy dla omawianego kodu
Stan a
00
Stan b
10
Stan c
01
Stan d
11
t5t4t1 t2 t3
1010
111111 11
00000000
10
01 01 01
11 11
00 00
01 01
10 10
Linia ciągła: xi = 0
Linia przerywana: xi = 111
10
01
10
00
11
01
00
t6
Scieżka ciągu kodowego
dla wiadomości 1110001011s
00101x
podciąg
wyzerowujący
stan kodera
58
Proces dekodowania, czyli poszukiwania najbardziej prawdopodobnego ciągu
nadanego realizujemy stopniowo w wielu etapach, przez poszukiwanie w
każdym etapie bardziej prawdopodobnych gałęzi i odrzucanie innych
gałęzi oraz wyznaczanie ścieżek bardziej prawdopodobnych
(wyselekcjonowanych), wśród których nietrudno już ustalić ścieżkę
najbardziej prawdopodobną, nazywamy algorytmem Viterbiego.