Het concept van informatie-entropie impliceert de negatieve logaritme van de kansmassafunctie voor een waarde. Dus wanneer de gegevensbron een waarde heeft met een lagere waarschijnlijkheid (d.w.z. wanneer een gebeurtenis met een lage waarschijnlijkheid plaatsvindt), bevat de gebeurtenis meer "informatie" ("verrassing") dan wanneer de brongegevens een waarde hebben met een hogere waarschijnlijkheid.
De hoeveelheid informatie die door elke op deze manier gedefinieerde gebeurtenis wordt overgebracht, wordt een willekeurige variabele waarvan de verwachte waarde de informatie-entropie is. Over het algemeen verwijst entropie naar wanorde of onzekerheid, en de definitie die wordt gebruikt in de informatietheorie is direct analoog aan die in de statistische thermodynamica. Het concept van IE werd geïntroduceerd door Claude Shannon in zijn artikel "A Mathematical Theory of Communication" uit 1948. Dit is waar de term "Shannon's informatieve entropie" vandaan kwam.
Definitie en systeem
Het basismodel van een datatransmissiesysteem bestaat uit drie elementen: een databron, een communicatiekanaal en een ontvanger,en, zoals Shannon het stelt, het "basiscommunicatieprobleem" is dat de ontvanger in staat moet zijn om te identificeren welke gegevens door de bron zijn gegenereerd op basis van het signaal dat het via het kanaal ontvangt. Entropy biedt een absolute beperking op de kortst mogelijke gemiddelde verliesvrije coderingslengte van gecomprimeerde brongegevens. Als de entropie van de bron kleiner is dan de bandbreedte van het communicatiekanaal, kunnen de gegevens die het genereert op betrouwbare wijze naar de ontvanger worden verzonden (althans in theorie, waarbij misschien enkele praktische overwegingen worden verwaarloosd, zoals de complexiteit van het systeem dat nodig is om de gegevens te verzenden en de hoeveelheid tijd die nodig is om gegevens te verzenden).
Informatie-entropie wordt meestal gemeten in bits (ook wel "shannons" genoemd) of soms in "natuurlijke eenheden" (nats) of decimalen (genaamd "dits", "bans" of "hartleys"). De meeteenheid hangt af van de basis van de logaritme, die wordt gebruikt om de entropie te bepalen.
Eigenschappen en logaritme
De log-kansverdeling is nuttig als een maat voor entropie, omdat het additief is voor onafhankelijke bronnen. De entropie van een eerlijke inzet van een munt is bijvoorbeeld 1 bit, terwijl de entropie van m-volumes m bits is. In een eenvoudige weergave zijn log2(n) bits nodig om een variabele weer te geven die één van n waarden kan aannemen als n een macht van 2 is. Als deze waarden even waarschijnlijk zijn, is de entropie (in bits) gelijk aan dat aantal. Als een van de waarden waarschijnlijker is dan de andere, is de observatie dat dit het geval isbetekenis optreedt, is minder informatief dan wanneer een minder algemeen resultaat zou optreden. Omgekeerd bieden zeldzamere gebeurtenissen aanvullende trackinginformatie.
Omdat de waarneming van minder waarschijnlijke gebeurtenissen minder frequent is, is er niets gemeen dat de entropie (beschouwd als gemiddelde informatie) verkregen uit ongelijk verdeelde gegevens altijd kleiner is dan of gelijk is aan log2(n). Entropie is nul wanneer één resultaat is gedefinieerd.
Shannon's informatie-entropie kwantificeert deze overwegingen wanneer de kansverdeling van de onderliggende gegevens bekend is. De betekenis van waargenomen gebeurtenissen (de betekenis van berichten) is niet relevant in de definitie van entropie. Dit laatste houdt alleen rekening met de waarschijnlijkheid van het zien van een bepaalde gebeurtenis, dus de informatie die erin wordt ingekapseld, is gegevens over de onderliggende verdeling van mogelijkheden, niet over de betekenis van de gebeurtenissen zelf. De eigenschappen van informatie-entropie blijven hetzelfde als hierboven beschreven.
Informatietheorie
Het basisidee van de informatietheorie is dat hoe meer men weet over een onderwerp, hoe minder informatie men erover kan krijgen. Als een gebeurtenis zeer waarschijnlijk is, is het niet verwonderlijk wanneer deze zich voordoet en levert daarom weinig nieuwe informatie op. Omgekeerd, als de gebeurtenis onwaarschijnlijk was, was het veel informatiever dat de gebeurtenis plaatsvond. Daarom is de payload een toenemende functie van de inverse waarschijnlijkheid van de gebeurtenis (1 / p).
Als er nu meer gebeurtenissen plaatsvinden, entropiemeet de gemiddelde informatie-inhoud die u kunt verwachten als een van de gebeurtenissen zich voordoet. Dit betekent dat het werpen van een dobbelsteen meer entropie heeft dan het opgooien van een munt, omdat elke kristaluitkomst een lagere kans heeft dan elke muntuitkomst.
Kenmerken
Entropie is dus een maatstaf voor de onvoorspelbaarheid van een staat of, wat hetzelfde is, zijn gemiddelde informatie-inhoud. Neem het voorbeeld van een politieke peiling om een intuïtief begrip van deze termen te krijgen. Meestal vinden dergelijke peilingen plaats omdat de uitslag van bijvoorbeeld verkiezingen nog niet bekend is.
Met andere woorden, de resultaten van het onderzoek zijn relatief onvoorspelbaar, en in feite levert het uitvoeren en onderzoeken van de gegevens nieuwe informatie op; het zijn gewoon verschillende manieren om te zeggen dat de voorafgaande entropie van de peilingresultaten groot is.
Beschouw nu het geval waarin dezelfde peiling een tweede keer wordt uitgevoerd kort na de eerste. Aangezien het resultaat van het eerste onderzoek al bekend is, kunnen de resultaten van het tweede onderzoek goed worden voorspeld en mogen de resultaten niet veel nieuwe informatie bevatten; in dit geval is de a priori entropie van het tweede peilingresultaat klein in vergelijking met het eerste.
Muntwerpen
Beschouw nu eens het voorbeeld van het opgooien van een munt. Ervan uitgaande dat de kans op munt gelijk is aan de kans op kop, is de entropie van het opgooien van munten erg hoog, omdat het een bijzonder voorbeeld is van de informatieve entropie van een systeem.
Dit is omdatdat het onmogelijk is om van tevoren te voorspellen dat de uitkomst van een munt wordt opgeworpen: als we moeten kiezen, kunnen we het beste voorspellen dat de munt op munt zal landen, en deze voorspelling zal correct zijn met een waarschijnlijkheid van 1 / 2. Zo'n opgooien van munten heeft één bit entropie, aangezien er twee mogelijke uitkomsten zijn die met gelijke waarschijnlijkheid plaatsvinden, en het bestuderen van de werkelijke uitkomst bevat één bit informatie.
Integendeel, het opgooien van een munt met beide kanten met munt en zonder kop heeft nul entropie, aangezien de munt altijd op dit teken zal landen en de uitkomst perfect kan worden voorspeld.
Conclusie
Als het compressieschema verliesvrij is, wat betekent dat je altijd het hele originele bericht kunt herstellen door het te decomprimeren, dan heeft het gecomprimeerde bericht dezelfde hoeveelheid informatie als het origineel, maar wordt het in minder tekens verzonden. Dat wil zeggen, het heeft meer informatie of een hogere entropie per teken. Dit betekent dat het gecomprimeerde bericht minder redundantie heeft.
Over het algemeen stelt Shannons stelling voor de codering van de broncode dat een verliesloos compressieschema berichten niet kan reduceren tot gemiddeld meer dan één bit informatie per berichtbit, maar elke waarde van minder dan één bit informatie per bit kan worden bereikt.berichten met behulp van het juiste coderingsschema. De entropie van een bericht in bits maal de lengte is een maat voor de hoeveelheid algemene informatie die het bevat.
