Entrópia és redundancia az ábécé
Az entrópia az ábécé - az információk mennyisége per egyetlen szimbólum. Szimbólumok az ábécé egyformán valószínű maximális forgalmi terhelést
Ábécé természetes nyelvek nem egyformán valószínű. Például a relatív előfordulási gyakorisága egyes karakterek orosz nyelv változik 0,175-0,002.
Mivel a statisztikai tulajdonságait ábécé terhelés információ per jel csökken
Redundancia az ábécé nevezik csökkentése forgalmi terhelésének egy karakter miatt nonequiprobability és a kölcsönös függés megjelenése az ő karakter.
Információ redundancia jellemzi, hogy a relatív alulterhelik ábécé alábbiak szerint kell kiszámítani:
Egységes kódok jellemzi a minimális szó hosszúságú kódszót, amelynek kiszámítása a következő képlettel
ahol N - mennyisége forrás ábécé A;
M - az összeg a kódot az ábécé;
[LogM N] jelöli az egész részét száma logm N
Úgy véljük, ezek a képletek esetében bináris kódolás (m. E. m = 2). Minimális bites egységes kódot az ábécé 8 szimbólumok egyenlő lesz
rmin = log 2 8 = 3 bináris karakterek
A 9-levél ábécé
Szabálytalan kódok átlagos kódszó hosszúságú
li - hossza kódszó i-edik szimbólum;
pi - a valószínűsége az i-edik szimbólum;
N - térfogata az eredeti ábécé.
Például, ha az ábécé A = a, b, c, d, e> valószínűségekkel előfordulási karakterek az üzenet (pa = 0,5; pb = 0,2; PC = 0,1; PD = 0,15; pe = 0 , 05) bináris kódolású egyenetlen kódot (a - 0; b - 10 c - 1110; d - 110; e - 1111), az átlagos hossza a kódszó erre ábécé tenné
Így az átlagos kódszó hossza a hosszúságok összegét az összes kódszót, kombinálva a tömege azonos a valószínűségét a kódolt jel.
Száma és mennyiségű információ
Módszer Shannon - Fano
1. lépés: megrendelések a karakterek az eredeti ábécé növekvő sorrendben valószínűsége. (Rögzítsük a sorban).
2. lépés megváltoztatása nélkül a karakter a sorrendben osztjuk őket két csoportra, hogy a teljes valószínűsége a csoportokban lévő szimbólumok voltak esélyegyenlőséget.
3. lépés jóvá a csoport a bal oldalon, a „0”, és a csoport a jobb oldalon a „1”, mint egy elem azok kódok.
4. lépés: Keressük meg a csoportot. Ha az elemek száma a csoportban egynél több, folytassa a 2. lépéssel Ha a csoport egyik eleme kód építkezés befejeződött neki.
1. lépés: megrendelések a karakterek az eredeti ábécé növekvő sorrendben valószínűsége. (Írd a oszlop).
2. lépés: a két karakter a legkevésbé valószínű. A szimbólum nagyobb valószínűséggel attribútum „1”, egy szimbólum egy alacsonyabb - „0”, mint annak elemeit a kódokat.
3. lépés: Tekintsük az unió karakter egy karakter valószínűséggel összegével egyenlő annak a valószínűségét kombinált szimbólumok.
4. lépés: Menj vissza a 2. lépésre, amíg az összes karakter összevonásra került egy, a valószínűsége egyenlő egységét.
