Die konsep van inligtingsentropie impliseer die negatiewe logaritme van die waarskynlikheidsmassafunksie vir 'n waarde. Dus, wanneer die databron 'n waarde het met 'n laer waarskynlikheid (d.w.s. wanneer 'n gebeurtenis met 'n lae waarskynlikheid plaasvind), dra die gebeurtenis meer "inligting" ("verrassing") as wanneer die brondata 'n waarde het met 'n hoër waarskynlikheid.
Die hoeveelheid inligting wat deur elke gebeurtenis wat op hierdie manier gedefinieer word oorgedra word, word 'n ewekansige veranderlike waarvan die verwagte waarde die inligtingsentropie is. Oor die algemeen verwys entropie na wanorde of onsekerheid, en die definisie daarvan wat in inligtingsteorie gebruik word, is direk analoog aan dié wat in statistiese termodinamika gebruik word. Die konsep van IE is bekendgestel deur Claude Shannon in sy 1948 referaat "A Mathematical Theory of Communication". Dit is waar die term "Shannon se inligtingsentropie" vandaan kom.
Definisie en stelsel
Die basiese model van 'n data-oordragstelsel bestaan uit drie elemente: 'n databron, 'n kommunikasiekanaal en 'n ontvanger,en, soos Shannon dit stel, is die "basiese kommunikasieprobleem" dat die ontvanger in staat is om te identifiseer watter data deur die bron gegenereer is op grond van die sein wat dit oor die kanaal ontvang. Entropie bied 'n absolute beperking op die kortste moontlike gemiddelde verlieslose enkoderingslengte van saamgeperste brondata. As die entropie van die bron minder is as die bandwydte van die kommunikasiekanaal, kan die data wat dit genereer betroubaar na die ontvanger oorgedra word (ten minste in teorie, miskien verwaarloos sommige praktiese oorwegings soos die kompleksiteit van die stelsel wat nodig is om die data oor te dra. en die hoeveelheid tyd wat dit kan neem om data te versend).
Inligting-entropie word gewoonlik gemeet in stukkies (alternatiewelik genoem "shannons") of soms in "natuurlike eenhede" (nats) of desimale plekke (genoem "dits", "bans" of "hartleys"). Die eenheid van meting hang af van die basis van die logaritme, wat gebruik word om die entropie te bepaal.
Eienskappe en logaritme
Die log-waarskynlikheidsverspreiding is nuttig as 'n maatstaf van entropie, want dit is byvoegend vir onafhanklike bronne. Byvoorbeeld, die entropie van 'n billike weddenskap van 'n muntstuk is 1 bis, terwyl die entropie van m-volumes m bisse is. In 'n eenvoudige voorstelling is log2(n) bisse nodig om 'n veranderlike voor te stel wat een van n waardes kan aanneem as n 'n mag van 2 is. As hierdie waardes ewe waarskynlik is, is die entropie (in bisse) gelyk aan daardie getal. As een van die waardes meer waarskynlik is as die ander, die waarneming dat dit isbetekenis voorkom, is minder insiggewend as wanneer een of ander minder algemene resultaat sou voorkom. Omgekeerd verskaf skaarser gebeurtenisse bykomende naspoorinligting.
Omdat die waarneming van minder waarskynlike gebeurtenisse minder gereeld is, is daar niks in gemeen dat die entropie (wat as gemiddelde inligting beskou word) verkry uit oneweredig verspreide data altyd minder as of gelyk is aan log2(n) is. Entropie is nul wanneer een resultaat gedefinieer is.
Shannon se inligting-entropie kwantifiseer hierdie oorwegings wanneer die waarskynlikheidsverdeling van die onderliggende data bekend is. Die betekenis van waargenome gebeurtenisse (die betekenis van boodskappe) is irrelevant in die definisie van entropie. Laasgenoemde neem slegs die waarskynlikheid in ag om 'n bepaalde gebeurtenis te sien, dus die inligting wat dit saamvat is data oor die onderliggende verspreiding van moontlikhede, nie oor die betekenis van die gebeurtenisse self nie. Die eienskappe van inligtingsentropie bly dieselfde as hierbo beskryf.
Inligtingsteorie
Die basiese idee van inligtingsteorie is dat hoe meer 'n mens van 'n onderwerp weet, hoe minder inligting kan jy daaroor kry. As 'n gebeurtenis baie waarskynlik is, is dit nie verbasend wanneer dit plaasvind nie en verskaf dus min nuwe inligting. Omgekeerd, as die gebeurtenis onwaarskynlik was, was dit baie meer insiggewend dat die gebeurtenis plaasgevind het. Daarom is die loonvrag 'n toenemende funksie van die omgekeerde waarskynlikheid van die gebeurtenis (1 / p).
Nou as meer gebeure gebeur, entropiemeet die gemiddelde inligtinginhoud wat jy kan verwag as een van die gebeurtenisse plaasvind. Dit beteken dat die gooi van 'n dobbelsteen meer entropie het as om 'n muntstuk te gooi, want elke kristaluitkoms het 'n laer waarskynlikheid as elke muntuitkoms.
Kenmerke
Entropie is dus 'n maatstaf van die onvoorspelbaarheid van 'n staat of, wat dieselfde ding is, die gemiddelde inligtingsinhoud daarvan. Om 'n intuïtiewe begrip van hierdie terme te kry, oorweeg die voorbeeld van 'n politieke peiling. Gewoonlik gebeur sulke peilings omdat die uitslag van byvoorbeeld verkiesings nog nie bekend is nie.
Met ander woorde, die resultate van die opname is relatief onvoorspelbaar, en om die waarheid te sê, die uitvoer daarvan en die ondersoek van die data verskaf nuwe inligting; dit is net verskillende maniere om te sê dat die voorafgaande entropie van die peilingsresultate groot is.
Beskou nou die geval waar dieselfde peiling 'n tweede keer kort ná die eerste uitgevoer word. Aangesien die resultaat van die eerste opname reeds bekend is, kan die resultate van die tweede opname goed voorspel word en behoort die resultate nie veel nuwe inligting te bevat nie; in hierdie geval is die a priori-entropie van die tweede peilingresultaat klein in vergelyking met die eerste een.
Coin Toss
Beskou nou die voorbeeld van die opslaan van 'n muntstuk. As aanvaar word dat die waarskynlikheid van sterte dieselfde is as die waarskynlikheid van koppe, is die entropie van 'n muntgooi baie hoog, aangesien dit 'n eienaardige voorbeeld is van die inligtingsentropie van 'n stelsel.
Dit is omdatdat dit onmoontlik is om te voorspel dat die uitkoms van 'n muntstuk voor die tyd gegooi word: as ons moet kies, is die beste wat ons kan doen om te voorspel dat die muntstuk op sterte sal land, en hierdie voorspelling sal korrek wees met 'n waarskynlikheid van 1 / 2. So 'n muntgooi het een bietjie entropie, aangesien daar twee moontlike uitkomste is wat met gelyke waarskynlikheid gebeur, en die bestudering van die werklike uitkoms bevat een bietjie inligting.
Inteendeel, om 'n muntstuk om te draai met beide kante met sterte en geen koppe nie, het nul entropie aangesien die munt altyd op hierdie teken sal land en die uitkoms perfek voorspel kan word.
Gevolgtrekking
As die kompressieskema verliesloos is, wat beteken dat jy altyd die hele oorspronklike boodskap kan herstel deur te dekomprimeer, dan het die saamgeperste boodskap dieselfde hoeveelheid inligting as die oorspronklike, maar word in minder karakters versend. Dit wil sê, dit het meer inligting of hoër entropie per karakter. Dit beteken dat die saamgeperste boodskap minder oortolligheid het.
Rofweg gesproke, stel Shannon se bronkode-koderingstelling dat 'n verlieslose kompressieskema nie boodskappe gemiddeld kan verminder om meer as een bietjie inligting per boodskapbis te hê nie, maar enige waarde minder as een bietjie inligting per bis kan verkry word boodskappe wat die toepaslike enkoderingskema gebruik. Die entropie van 'n boodskap in stukkies maal sy lengte is 'n maatstaf van hoeveel algemene inligting dit bevat.
