teorija informacija
TRANSCRIPT
Na današnjem času…
Uvod u teoriju informacija
Teorija informacija
Čime se bavi teorija informacija?
Šta je zapravo informacija?
Kako meriti količinu informacija?
• Informacija je saznanje preneto kroz prostor-vreme.
• Signal je fizički nosilac informacije.
Informacija - Signal Uvod u teoriju unformacija
Signal
InformacijaInformacija
Signal
Druge definicije informacije: Poruka koju je primalac prihvatio i razumeo Podatak: činjenica na osnovu koje je moguće doneti
zaključak; "statistički podatak" Znanje prikupljeno studiranjem, iskustvom ili podučavanjem Mentalni stimulans Značenje Znanje Uvid
Definicije informacije Uvod u teoriju unformacija
Detaljnije...
... Denuncijacija Vest Saopštenje vrha partije koje se ima pročitati na svim partijskim
sastancima (obično o “bezbedonosnim pitanjima”) Predanje Prezentacija Ono što auditor prikupi o organizaciji
(dovoljno, kompetentno, relevantno i korisno)
Definicije informacije Uvod u teoriju unformacija
Detaljnije...
... Rezultat procesiranja i organizacije činjenica čime
se povećava količina znanja onoga ko ih prima Mogućnost zaključivanja o uzroku posmatranjem posledice
(vatra, dim)
Definicije informacije Uvod u teoriju unformacija
Detaljnije...
“Bilo kakva komunikacija ili predstava znanja u formi činjenica, podataka, mišljenja na bilo kom medijumu i u bilo kom obliku, uključujući tekstualni, numerički, grafički, kartografski, narativni ili audiovizualni” Numerička mera smanjenja neizvesnosti nakon prelaska nekog sistema iz jednog stanja u drugo Najkraći zapis koji treba dati Turingovoj mašini nakon čega bi ona mogla da reprodukuje datu sekvencu simbola
Definicije informacije Uvod u teoriju unformacija
Šta je informacija?
• Informacija je saznanje preneto kroz prostor-vreme.
Informacija
Uvod u teoriju unformacija
InformacijaInformacija
Pod rečju “saznanje” možemo smatrati postupak uklanjanja nedoumice o stvarnom stanju nekog sistema Drugim rečima, ono što saznajemo jeste istina koja nam je pre saznanja bila nedostupna Saznanje se, u vidu informacije, može dalje preneti, tako da korisnik informacije može postati njen novi izvor
Saznanje
Uvod u teoriju unformacija
Šta je saznanje?
Na današnjem času…
Uvod u teoriju informacija
Teorija informacija
Čime se bavi teorija informacija?
Šta je zapravo informacija?
Kako meriti količinu informacija?
Teorija informacija bavi se: Definicijom mere količine informacija Proučavanjem izvora informacija Proučavanjem prenosnog kanala Analizom granica koje optimalni sistem može dostići Konstrukcijom prenosnog sistema što boljih performansi
Predmet proučavanja Uvod u teoriju unformacija
Pored toga, teorija informacija bavi se i: Analizom mogućnosti zaštite tajnosti informacija Analizom mogućnosti skladištenja informacija Analizom sistema sa više korisnika koji međusobno sarađuju
ili ne sarađuju
Predmet proučavanja Uvod u teoriju unformacija
Poznate ličnostiPoznate ličnosti
Communication Engineering & Signal Processing
Mala digresija o ŠenonuMala digresija o Šenonu
T I
Claude Elwood Shannon (1916 – 2001)
Američki elektroinženjer i matematičar, poznat kao “otac teorije informacija”, ali i teorije projektivanja digitalnih elektronskih kola
Poznate ličnostiPoznate ličnosti
Communication Engineering & Signal Processing
Mala digresija o ŠenonuMala digresija o Šenonu
T I
Bavio se on i drugim stvarima...
Početak...
Uvod u teoriju unformacija
Početak teorije informacija
Sve tehničke komunikacije u suštini su diskretne – teorema o uzorkovanju
Izvor informacija generiše stohastički proces,
pa se prenos informacija mora analizirati alatima teorije verovatnoće
Postoji mogućnost da se prenos informacija značajno ubrza
bez oštećenja, bez obzira na kanal
Postoji mogućnost da se kroz dati kanal prenos informacija obavi
sa proizvoljno malom verovatnoćom greške – kapacitet kanala
Grb teoretičara informacija... Uvod u teoriju unformacija
Šenonov model komunikacionog sistema
IZVORKODER
IZVORA
ZAŠTITNI
KODER
ZAŠTITNI
DEKODER
DEKODER
IZVORAKORISNIK+
Ekvivalentni korisnik
Smetnje
Ekvivalentni izvorKanal bez smetnji
Prenosni medijum
Na današnjem času…
Uvod u teoriju informacija
Teorija informacija
Čime se bavi teorija informacija?
Šta je zapravo informacija?
Kako meriti količinu informacija?
PRIMER
Uvod u teoriju unformacija
Mera količine informacija
27. januara zagrmelo je nad Beogradom 28. juna zagrmelo je nad Beogradom
Manje verovatni događaj nosi veću količinu informacija.
PRIMER
Uvod u teoriju unformacija
Mera količine informacija
Prvi test je sledeće nedelje. Na FTN je zabranjeno pušenje.
Informacija koju pružaju dva nezavisna događaja jednaka je
sumi informacija koju pruža svaki od njih pojedinačno.
Matematička definicija Uvod u teoriju unformacija
I(a) = -log(P[a])
Aksiome 1 I 2 zadovoljava sledeća definicija:
Smanjivanjem P[a], I(a) raste.
Verovatnoća dva nezavisna događaja
je P[a,b]=P[a]*P[b].
Matematička definicija Uvod u teoriju unformacija
Baza logaritama u definiciji I(a) samo menja skalu
Hartley10
Natural Unit - NATe
Binary Digit - BIT2
Matematička definicija Uvod u teoriju unformacija
Primer:
Primer:
Ishod eksperimenta sa jednim novčićem nosi 1 bit informacije.
ДИНАР
Usvojena definicija ne vodi računa o značenju koje neka informacija ima za korisnika usled njegovih predznanja (informacija koje je uskladištio pre prijema informacije o događaju a). S druge strane, ona je osnovni koncept digitalnih komunikacija.
Definicije informacije Uvod u teoriju unformacija
Objašnjenje...
Postoje i druge definicije, na primer:
Fišerova informacija
Varijansa nezavisnih događaja ima
osobinu da se sabira.
f(X,θ) predstavlja gustinu raspodele slučajne promenljive X sa nepoznatim parametrom θ koji se procenjuje.
Definicije informacije Uvod u teoriju unformacija
KOMENTAR
Pauza!
Uvod u teoriju informacija
Teorija informacija
Predavanja:
Prof. dr Vojin Šenk
Animacija
Branislav Popović