technische informatik i vorlesung 10: kodierungstheorie i joachim schmidt...

Technische Informatik I

Vorlesung 10: Kodierungstheorie I

Joachim [email protected]

Universität BielefeldTechnische Fakultät

4. Juli 2002 Kodierungstheorie I 2

Überblick

Motivation: Wozu Kodierungstheorie? Begriffsdefinitionen Übertragung durch gestörte Kanäle Hamming-Distanz Parität, Parity Check, CRC Huffman-Kodierung Lempel-Ziv-Kodierung Shannon‘sches Theorem Beispiele Ausblick


Wozu Kodierungstheorie?

Wir hatten bereits:Repräsentation von Informationen

Gewünscht:Möglichst günstige Repräsentation für: Möglichst sparsame Darstellung zur Speicherung,

nicht Verlustbehaftet Sichere Übertragung von Informationen auf

gestörten Kanälen

Unabdingbares Instrument in der modernen Kommunikationstechnik


Begriffe

Datenquelle: Informationsliefernde Einheit / „Sender“ Mit (bekannten) statistischen Eigenschaften

Kanal: Übertragungsweg für Informationen Digital, d.h. kleinste Informationseinheit = 1 Bit Fehlerbehaftet sog. Bitfehler

Datensenke: Informationsempfangende Einheit / „Empfänger“ Soll die Information genau so erhalten, wie sie

gesendet wurde


Kanal mit Fehlereinstreuung

Der Empfänger kann „echte“ Information und eingestreuten Fehler nicht unterscheiden


Begriffe

Code: Die darzustellende Information in einer bestimmten

Repräsentation Zeichenfolge

Kodierung: Übergang von einem Repräsentationssystem

(mit gewissen Eigenschaften) in ein anderes

(mit anderen Eigenschaften)


Sichere Übertragung

Ist die Nachricht zu sehr gestört, kann es zu Fehldekodierungen kommen

Wissen über die Fehleranfälligkeit des Kanals erforderlich

Anpassung der eingesetzten Codierung an den jeweiligen Kanal


Redundanz

Bezeichnung für das Vorhandensein von weglaßbaren Elementen in einer Nachricht, die keine zusätzlichen Informationen liefern, sondern lediglich die beabsichtigte Grundinformation stützen.

Fünf 5

_ o _ i e _ u _ g s _ _ e o _ i e


Entropie

Physik: Wärmelehre Größe des Nachrichtengehaltes einer nach

statistischen Gesetzen gesteuerten Nachrichtenquelle

Mittlerer Informationsgehalt der Zeichen eines bestimmten Zeichenvorrates

Maß für den Grad der Ungewißheit über das Senden eines Zeichens aus einer Datenquelle


Definitionen

Auftrittswahrscheinlichkeit pa

Eines Zeichens a ist die Anzahl n der Auftritte des Zeichens in einer zufälligen Zeichenfolge der Länge N

Informationsgehalt Ia

Eines Zeichens a ist der Kahrwert seiner Auftrittswahrscheinlichkeit pa


Definitionen

EntropieEiner Quelle ist der mittlere Informationsgehalt

Je höher die Entropie der Quelle, desto größer ist der Übertragungswert der von ihr ausgegebenen Nachrichten. Die Entropie erreicht ihr Maximum, wenn alle Zeichen gleich wahrscheinlich sind:


Entropie einer Einzelbitquelle

p: Wahrscheinlichkeit für das Auftreten von 1 H: Entropie der Quelle Hohe Entropie geringes Wissen über

nächstes Zeichen


Hammingabstand

Anzahl der (Bit-)Stellen, in denen sich zwei Wörter voneinander unterscheiden

Direkter Vergleich, keine Einfügungen oder Löschungen erlaubt

h (‘Kanne‘,‘Tanne‘) = 1 h (‘11001001‘,‘01010001‘) = 3


Codewürfel


Codewürfel

Nicht der gesamte zur Verfügung stehende Wortraum wird genutzt

Tritt ein beliebiger Einzelbitfehler auf entsteht ein „Illegales Codewort“

Einzelbitfehler werden erkannt Stelle des Fehlers nicht erkennbar Daher keine Korrektur möglich


Parität (Parity)

Sicherung der Nachricht durch gezieltes Einfügen zusätzlicher Redundanz

Unterscheidung in Nutzstellen und Prüfstellen Mögliche Vorschrift:

Ergänze Wort so, daß es eine gerade Anzahl Einsen enthält. (Even Parity)


Prüfziffern

Verschiedenste Berechnungsvorschriften Ergänzung bestehender Ziffernfolgen Dadurch Sicherung gegen Fehler Keine Korrektur möglich Beispiele:

ISBN-Nummern (Bücher) EAN 13-Code (Lebensmittel)


Beispiele - NASA

Mariner, Voyager Deep Space Network Pathfinder Global Surveyor


Beispiele – Audio CD

Zwei „verschachtelte“ Codes Bis zu 4000 aufeinanderfolgende Fehler

korrigierbar (ca 2.5 mm Spurlänge) Audio CD-Spieler können durch Interpolation

des Signals noch stärkere Fehler umgehen


Weitere Beispiele

Netzwerke (Ethernet, WLAN) Mobilfunk (Handys) Digitales Fernsehen (DVB) Digitales Radio (DAB)


Nächste Woche

Kodierungstheorie II: Huffman-Kodierung Lempel-Ziv-Kodierung Shannon‘sches Theorem

technische informatik i vorlesung 10: kodierungstheorie i joachim schmidt...

Documents