In der Informationstheorie ist Wärmegewicht ein Maß der mit einer zufälligen Variable vereinigten Unklarheit. In diesem Zusammenhang bezieht sich der Begriff gewöhnlich auf das Wärmegewicht von Shannon, das den erwarteten Wert der Information misst, die in einer Nachricht gewöhnlich in Einheiten wie Bit enthalten ist.

Gleichwertig ist das Wärmegewicht von Shannon ein Maß der durchschnittlichen Information befriedigen man wird vermisst, wenn man den Wert der zufälligen Variable nicht weiß. Das Konzept wurde von Claude E. Shannon in seiner 1948-Zeitung "Eine Mathematische Theorie der Kommunikation" eingeführt.

Das Wärmegewicht von Shannon vertritt eine absolute Grenze auf der bestmöglichen lossless Kompression jeder Kommunikation unter bestimmten Einschränkungen: Nachrichten behandelnd, die als eine Folge von unabhängigen und identisch verteilten zufälligen Variablen zu verschlüsseln sind, zeigt die Quelle von Shannon, die Lehrsatz codiert, dass, in der Grenze, die durchschnittliche Länge der kürzestmöglichen Darstellung, um die Nachrichten in einem gegebenen Alphabet zu verschlüsseln, ihr Wärmegewicht ist, das durch den Logarithmus der Zahl von Symbolen im Zielalphabet geteilt ist.

Ein einzelnes Werfen einer schönen Münze hat ein Wärmegewicht von einem Bit. Eine Reihe von zwei schönem Münzwerfen hat ein Wärmegewicht von zwei Bit. Die Wärmegewicht-Quote für die Münze ist ein Bit pro Werfen. Jedoch, wenn die Münze nicht schön ist, dann ist die Unklarheit niedriger (wenn gefragt, auf dem folgenden Ergebnis zu wetten, wir würden bevorzugt auf dem häufigsten Ergebnis wetten), und so ist das Wärmegewicht von Shannon niedriger. Mathematisch ist ein einzelner Münzflip (Messe oder nicht) ein Beispiel einer Probe von Bernoulli, und sein Wärmegewicht wird durch die binäre Wärmegewicht-Funktion gegeben. Eine Reihe des Werfens einer zweiköpfigen Münze wird Nullwärmegewicht haben, da die Ergebnisse völlig voraussagbar sind. Die Wärmegewicht-Rate des englischen Textes ist zwischen 1.0 und 1.5 Bit pro Brief, oder mindestens 0.6 zu 1.3 Bit pro Brief gemäß Schätzungen durch auf menschlichen Experimenten gestützten Shannon.

Einführung

Wärmegewicht ist ein Maß der Unordnung, oder genauer Unvorhersehbarkeit. Zum Beispiel hat eine Reihe des Münzwerfens mit einer schönen Münze maximales Wärmegewicht, da es keine Weise gibt vorauszusagen, was als nächstes kommen wird. Eine Reihe von Münzwerfen mit einer Münze mit zwei Köpfen und keinen Schwänzen hat Nullwärmegewicht, da die Münze immer Köpfe heraufkommen wird. Die meisten Sammlungen von Daten in der echten Weltlüge irgendwo zwischen. Es ist wichtig, den Unterschied zwischen dem Wärmegewicht von einer Reihe möglicher Ergebnisse und dem Wärmegewicht eines besonderen Ergebnisses zu begreifen. Ein einzelnes Werfen einer schönen Münze hat ein Wärmegewicht von einem Bit, aber ein besonderes Ergebnis (z.B "Köpfe") hat Nullwärmegewicht, da es "völlig voraussagbar" ist.

Englischer Text hat ziemlich niedriges Wärmegewicht. Mit anderen Worten ist es ziemlich voraussagbar. Selbst wenn wir genau nicht wissen, was dabei ist, als nächstes zu kommen, können wir dass zum Beispiel ziemlich sicher sein, es wird noch viele e's geben als z's, oder dass die Kombination 'qu' viel üblicher sein wird, als jede andere Kombination mit einem 'q' darin und die Kombination 'th' üblicher sein werden als einige von ihnen. Unkomprimierter, englischer Text hat ungefähr ein Bit des Wärmegewichtes für jeden Charakter (allgemein verschlüsselt als acht Bit) der Nachricht.

Wenn ein Kompressionsschema lossless ist — d. h. können Sie immer die komplette ursprüngliche Nachricht wieder erlangen, indem Sie — dann unzusammenpressen, eine komprimierte Nachricht hat dasselbe Gesamtwärmegewicht wie das Original, aber in weniger Bit. D. h. es hat mehr Wärmegewicht pro Bit. Das bedeutet, dass eine komprimierte Nachricht unvorhersehbarer ist, der ist, warum Nachrichten häufig davor zusammengepresst werden, encrypted sein. Grob sprechend, sagt die Quelle von Shannon, die Lehrsatz codiert, dass ein lossless Kompressionsschema Nachrichten nicht zusammenpressen kann, um durchschnittlich mehr als ein Bit des Wärmegewichtes pro Bit der Nachricht zu haben. Das Wärmegewicht einer Nachricht ist im gewissen Sinne ein Maß dessen, wie viel Information es wirklich enthält.

Der Lehrsatz von Shannon deutet auch an, dass kein lossless Kompressionsschema alle Nachrichten zusammenpressen kann. Wenn einige Nachrichten kleiner herauskommen, müssen mindestens ein größer herauskommen. In der echten Welt ist das nicht ein Problem, weil wir uns allgemein nur für das Zusammendrücken bestimmter Nachrichten, zum Beispiel englischer Dokumente im Vergleich mit zufälligen Bytes, oder Digitalfotographien aber nicht Geräusches interessieren und uns nicht sorgen, ob unser Kompressor zufällige Nachrichten größer macht.

Definition

Genannt nach dem H-Lehrsatz von Boltzmann hat Shannon das Wärmegewicht H von einem angezeigt

getrennte zufällige Variable X mit möglichen Werten {x..., x} und Wahrscheinlichkeitsmasse fungiert p (X) als,

:

Hier ist E der erwartete Wert, und ich bin der Informationsinhalt X.

Ich (X) bin selbst eine zufällige Variable. Das Wärmegewicht kann als ausführlich geschrieben werden

:

wo b die Basis des verwendeten Logarithmus ist. Allgemeine Werte von b sind 2, die Zahl von Euler, und 10, und die Einheit des Wärmegewichtes ist Bit für b = 2, nat für b =, und dit (oder Ziffer) für b = 10.

Im Fall von p = 0 für einige ich, der Wert des entsprechenden summand wird 0 Klotz 0 genommen, um 0 zu sein, der mit der Grenze im Einklang stehend ist:

:.

Der Beweis dieser Grenze kann schnell erhalten werden, die Regierung von l'Hôpital anwendend:

:

Beispiel

Denken Sie, eine Münze mit dem bekannten, nicht notwendigerweise Messe, Wahrscheinlichkeiten zu werfen, Köpfe oder Schwänze heraufzukommen.

Das Wärmegewicht des unbekannten Ergebnisses des folgenden Werfens der Münze wird maximiert, wenn die Münze schön ist (d. h. wenn Köpfe und Schwänze beide gleiche Wahrscheinlichkeit 1/2 haben). Das ist die Situation der maximalen Unklarheit, weil es am schwierigsten ist, das Ergebnis des folgenden Werfens vorauszusagen; das Ergebnis jedes Werfens der Münze liefert ein volles 1 Bit der Information.

Jedoch, wenn wir wissen, dass die Münze nicht schön ist, aber Köpfe oder Schwänze mit Wahrscheinlichkeiten p und q heraufkommt, dann gibt es weniger Unklarheit. Jedes Mal, wenn es geworfen wird, wird eine Seite mit größerer Wahrscheinlichkeit heraufkommen als der andere. Die reduzierte Unklarheit wird in einem niedrigeren Wärmegewicht gemessen: Durchschnittlich liefert jedes Werfen der Münze weniger als ein volles 1 Bit der Information.

Der äußerste Fall ist der einer doppelt angeführten Münze, die nie Schwänze oder eine Münze mit dem doppelten Schwanz heraufkommt, die nie auf einen Kopf hinausläuft. Dann gibt es keine Unklarheit. Das Wärmegewicht ist Null: Jedes Werfen der Münze liefert keine Information. In dieser Beziehung kann Wärmegewicht durch das Teilen davon durch die Informationslänge normalisiert werden. Das Maß wird metrisches Wärmegewicht genannt und erlaubt, die Zufälligkeit der Information zu messen.

Grundprinzip

Für eine zufällige Variable mit Ergebnissen wird das Wärmegewicht von Shannon, ein Maß der Unklarheit (sieh weiter unten), und angezeigt durch, als definiert

:

wo die Wahrscheinlichkeitsmassenfunktion des Ergebnisses ist.

Die Bedeutung von Eq zu verstehen. (1), denken Sie zuerst eine Reihe möglicher Ergebnisse (Ereignisse) mit der gleichen Wahrscheinlichkeit. Ein Beispiel würde eine Messe sein sterben mit Werten, von dazu. Die Unklarheit für solch einen Satz von

Ergebnisse werden durch definiert

:

Für die Greifbarkeit, ziehen Sie den Fall in Betracht, in dem die Basis des Logarithmus ist.

Um anzugeben, dass ein Ergebnis einer Messe - Partei ergriffen Rolle stirbt, müssen wir einen der Werte angeben, der Bit verlangt.

Folglich in diesem Fall ist die Unklarheit eines Ergebnisses die Zahl von Bit musste das Ergebnis angeben.

Intuitiv, wenn wir zwei unabhängige Quellen der Unklarheit haben, sollte die gesamte Unklarheit die Summe der individuellen Unklarheiten sein. Der Logarithmus gewinnt diese Additivitätseigenschaft für unabhängige Unklarheiten. Denken Sie zum Beispiel, an jedem Wert des ersten anzuhängen, sterben der Wert einer Sekunde stirbt, der mögliche Ergebnisse hat. Es gibt so mögliche Ergebnisse. Die Unklarheit für solch einen Satz von Ergebnissen ist dann

:

So wird die Unklarheit des Spielens mit zwei Würfeln durch das Hinzufügen erhalten, dass die Unklarheit des zweiten zur Unklarheit des ersten stirbt, sterben.

Im Fall, dass das bedeutet, dass, um das Ergebnis - Partei ergriffen anzugeben, sterben, stirbt Rolle und - Partei ergriffen Rolle, wir müssen Bit angeben.

Kehren Sie jetzt zum Fall des Spielens damit zurück man stirbt nur (der erste). Da die Wahrscheinlichkeit jedes Ereignisses ist, können wir schreiben

:

\displaystyle

u_i

= \log_b \left (\frac {1} {p (x_i) }\\Recht)

= - \log_b (p (x_i)) =-\log_b\left (\frac {1} {n }\\Recht),

\\forall i \in \{1, \ldots, n\}.

</Mathematik>

Im Fall von einer ungleichförmigen Wahrscheinlichkeitsmassenfunktion (oder Dichte im Fall von dauernden zufälligen Variablen) lassen wir

:

der auch einen surprisal genannt wird; je tiefer die Wahrscheinlichkeit, d. h., desto höher die Unklarheit oder die Überraschung, d. h., für das Ergebnis.

Die durchschnittliche Unklarheit, damit der durchschnittliche Maschinenbediener zu sein, wird durch erhalten

:

und wird als die Definition des Wärmegewichtes in Eq verwendet. (1). Das obengenannte hat auch erklärt, warum Informationswärmegewicht und Informationsunklarheit austauschbar verwendet werden können.

Im Fall das, Eq. (1) Maßnahmen die erwartete Zahl von Bit, die wir brauchen, um das Ergebnis eines zufälligen Experimentes anzugeben.

Man kann auch das bedingte Wärmegewicht von zwei Ereignissen X und Y nehmende Werte x und y beziehungsweise, als definieren

:

wo p (x, y) die Wahrscheinlichkeit das X=x und Y=y ist. Diese Menge sollte als der Betrag der Zufälligkeit in der zufälligen Variable X verstanden werden vorausgesetzt, dass Sie den Wert von Y wissen. Zum Beispiel stirbt das mit einem sechsseitigen vereinigte Wärmegewicht ist H (sterben), aber wenn Ihnen gesagt würde, dass es tatsächlich auf 1, 2, oder 3 gelandet war, dann würde sein Wärmegewicht H gleich sein (sterben Sie: das Sterben Land-auf 1, 2, oder 3).

Aspekte

Beziehung zum thermodynamischen Wärmegewicht

Die Inspiration, für das Wortwärmegewicht in der Informationstheorie anzunehmen, ist aus der nahen Ähnlichkeit zwischen der Formel von Shannon und sehr ähnlichen bekannten Formeln von der Thermodynamik gekommen.

In der statistischen Thermodynamik ist die allgemeinste Formel für das thermodynamische Wärmegewicht S eines thermodynamischen Systems das Wärmegewicht von Gibbs,

:

wo k der Boltzmann unveränderlich ist, und p die Wahrscheinlichkeit eines Mikrostaates ist. Das Wärmegewicht von Gibbs wurde von J. Willard Gibbs 1878 nach der früheren Arbeit von Boltzmann (1872) definiert.

Das Wärmegewicht von Gibbs übersetzt fast unverändert in die Welt der Quant-Physik, um das Wärmegewicht von von Neumann zu geben, das von John von Neumann 1927, eingeführt ist

:

wo ρ die Dichte-Matrix des Quants ist, sind mechanisches System und Tr die Spur.

An einem täglichen praktischen Niveau sind die Verbindungen zwischen dem Informationswärmegewicht und thermodynamischen Wärmegewicht nicht offensichtlich. Physiker und Chemiker sind passend, sich mehr für Änderungen im Wärmegewicht zu interessieren, weil sich ein System spontan weg von seinen anfänglichen Bedingungen, in Übereinstimmung mit dem zweiten Gesetz der Thermodynamik, aber nicht einem unveränderlichen Wahrscheinlichkeitsvertrieb entwickelt. Und, wie die Kleinheit des unveränderlichen k von Boltzmann anzeigt, vertreten die Änderungen in S / k für sogar winzige Beträge von Substanzen in chemischen und physischen Prozessen Beträge des Wärmegewichtes, die so groß sind, um von der Skala im Vergleich zu irgendetwas Gesehenem in der Datenkompression oder Signalverarbeitung zu sein. Außerdem in der klassischen Thermodynamik wird das Wärmegewicht in Bezug auf makroskopische Maße definiert und spielt auf jeden Wahrscheinlichkeitsvertrieb an, der zur Definition des Informationswärmegewichtes zentral ist.

Aber, an einem mehrdisziplinarischen Niveau, können Verbindungen zwischen dem thermodynamischen und Informationswärmegewicht gemacht werden, obwohl man viele Jahre in der Entwicklung der Theorien der statistischen Mechanik und Informationstheorie gebraucht hat, die Beziehung völlig offenbar zu machen. Tatsächlich, in der Ansicht von Jaynes (1957), sollte thermodynamisches Wärmegewicht, wie erklärt, durch die statistische Mechanik, als eine Anwendung der Informationstheorie von Shannon gesehen werden: Das thermodynamische Wärmegewicht wird interpretiert als, proportional im Wert von der weiteren Information von Shannon zu sein, musste den ausführlichen mikroskopischen Staat des Systems definieren, das unmitgeteilt durch eine Beschreibung allein in Bezug auf die makroskopischen Variablen der klassischen Thermodynamik mit der Konstante der Proportionalität bleibt, die gerade der unveränderliche Boltzmann ist. Zum Beispiel vergrößert das Hinzufügen der Hitze zu einem System sein thermodynamisches Wärmegewicht, weil es die Zahl von möglichen mikroskopischen Staaten für das System steigert, so jede ganze Zustandbeschreibung länger machend. (Artikel See: maximale Wärmegewicht-Thermodynamik). Der Dämon von Maxwell kann das thermodynamische Wärmegewicht eines Systems (hypothetisch) reduzieren, indem er Information über die Staaten von individuellen Molekülen verwendet; aber, weil sich Landauer (von 1961) und Mitarbeiter gezeigt haben, um zu fungieren, muss der Dämon selbst thermodynamisches Wärmegewicht dabei durch mindestens den Betrag der Information von Shannon vergrößern, die er vorhat, zuerst zu erwerben und zu versorgen; und so das thermodynamische Gesamtwärmegewicht nicht abnimmt (der das Paradox auflöst). Der Grundsatz von Landauer hat Implikationen auf dem Betrag der Hitze, die ein Computer zerstreuen muss, um einen gegebenen Betrag der Information zu bearbeiten, obwohl moderne Computer nirgends in der Nähe von der Leistungsfähigkeitsgrenze sind.

Wärmegewicht als Informationsinhalt

Wärmegewicht wird im Zusammenhang eines probabilistic Modells definiert. Unabhängige schöne Münzflips haben ein Wärmegewicht von 1 Bit pro Flip. Eine Quelle, die immer eine lange Schnur von B erzeugt, hat ein Wärmegewicht 0, da der folgende Charakter immer 'B' sein wird.

Die Wärmegewicht-Rate einer Datenquelle bedeutet, dass die durchschnittliche Zahl von Bit pro Symbol sie verschlüsseln musste. Die Experimente von Shannon mit menschlichen Propheten zeigen eine Informationsrate zwischen 0.6 und 1.3 Bit pro Charakter abhängig von der experimentellen Einstellung; der PPM Kompressionsalgorithmus kann ein Kompressionsverhältnis von 1.5 Bit pro Charakter im englischen Text erreichen.

Vom vorhergehenden Beispiel, bemerken Sie die folgenden Punkte:

1. Der Betrag des Wärmegewichtes ist nicht immer eine Zahl der ganzen Zahl von Bit.
2. Viele Datenbit können Information nicht befördern. Zum Beispiel versorgen Datenstrukturen häufig Information überflüssig, oder haben identische Abteilungen unabhängig von der Information in der Datenstruktur.

Die Definition von Shannon des Wärmegewichtes, wenn angewandt, auf eine Informationsquelle, kann die minimale Kanalkapazität bestimmen, die erforderlich ist, die Quelle als verschlüsselte binäre Ziffern zuverlässig zu übersenden (sieh Verwahrung unten in der Kursive). Die Formel kann durch das Rechnen der mathematischen Erwartung des Betrags der Information abgeleitet werden, die in einer Ziffer von der Informationsquelle enthalten ist. Siehe auch Lehrsatz von Shannon-Hartley.

Das Wärmegewicht von Shannon misst die Information, die in einer Nachricht im Vergleich mit dem Teil der Nachricht enthalten ist, die (oder voraussagbar) bestimmt wird. Beispiele der Letzteren schließen Überfülle in die Sprachstruktur oder statistischen Eigenschaften in Zusammenhang mit den Ereignis-Frequenzen des Briefs oder der Wortpaare ein, Drillinge Sehen usw. Kette von Markov.

Datenkompression

Wärmegewicht begrenzt effektiv die Leistung des stärksten lossless (oder fast lossless) mögliche Kompression, der in der Theorie durch das Verwenden des typischen Satzes oder in der Praxis mit Huffman, Lempel-Ziv oder dem arithmetischen Codieren begriffen werden kann. Die Leistung von vorhandenen Datenkompressionsalgorithmen wird häufig als eine Überschlagsrechnung des Wärmegewichtes eines Datenblocks verwendet. Siehe auch Kompliziertheit von Kolmogorov.

Beschränkungen des Wärmegewichtes als Informationsinhalt

Es gibt mehrere Wärmegewicht-zusammenhängende Konzepte, die mathematisch Informationsinhalt irgendwie messen:

• die Selbstinformation einer individuellen Nachricht oder Symbols, das von einem gegebenen Wahrscheinlichkeitsvertrieb, genommen ist
• das Wärmegewicht eines gegebenen Wahrscheinlichkeitsvertriebs von Nachrichten oder Symbolen und
• die Wärmegewicht-Rate eines stochastischen Prozesses.

(Die "Rate der Selbstinformation" kann auch für eine besondere Folge von Nachrichten oder durch einen gegebenen stochastischen Prozess erzeugten Symbolen definiert werden: Das wird immer der Wärmegewicht-Rate im Fall von einem stationären Prozess gleich sein.) Andere Mengen der Information werden auch verwendet, um verschiedene Informationsquellen zu vergleichen oder zu verbinden.

Es ist wichtig, die obengenannten Konzepte nicht zu verwechseln. Oftmals ist es nur vom Zusammenhang klar, welcher gemeint wird. Zum Beispiel, wenn jemand sagt, dass das "Wärmegewicht" der englischen Sprache ungefähr 1.5 Bit pro Charakter ist, modellieren sie wirklich die englische Sprache als ein stochastischer Prozess und sprechen über seine Wärmegewicht-Rate.

Obwohl Wärmegewicht häufig als eine Charakterisierung des Informationsinhalts einer Datenquelle verwendet wird, ist dieser Informationsinhalt nicht absolut: Es hängt entscheidend vom probabilistic Modell ab. Eine Quelle, die immer dasselbe Symbol erzeugt, hat eine Wärmegewicht-Rate 0, aber die Definition dessen, was ein Symbol ist, hängt vom Alphabet ab. Denken Sie eine Quelle, die die Schnur ABABABABAB erzeugt..., in dem A immer von B und umgekehrt gefolgt wird. Wenn das probabilistic Modell individuelle Briefe als unabhängig denkt, ist die Wärmegewicht-Rate der Folge 1 Bit pro Charakter. Aber wenn die Folge als "AB AB AB AB AB..." mit Symbolen als Blöcke-Buchstaben zwei betrachtet wird, dann ist die Wärmegewicht-Rate 0 Bit pro Charakter.

Jedoch, wenn wir sehr große Blöcke verwenden, dann kann die Schätzung pro-Buchstaben der Wärmegewicht-Rate künstlich niedrig werden. Das ist, weil in Wirklichkeit der Wahrscheinlichkeitsvertrieb der Folge genau nicht kenntlich ist; es ist nur eine Schätzung. Nehmen Sie zum Beispiel an, dass man den Text jedes Buches jemals als veröffentlicht als eine Folge mit jedem Symbol betrachtet, das der Text eines ganzen Buches ist. Wenn es veröffentlichte Bücher von N gibt, und jedes Buch nur einmal veröffentlicht wird, ist die Schätzung der Wahrscheinlichkeit jedes Buches 1/N, und das Wärmegewicht (in Bit) ist - loggen 1/N = loggen N. Als ein praktischer Code entspricht das dem Zuweisen jedes Buches ein einzigartiger Bezeichner und das Verwenden davon im Platz des Textes des Buches, wann auch immer man sich auf das Buch beziehen will. Das ist enorm nützlich, um über Bücher zu sprechen, aber es ist nicht so nützlich, für den Informationsinhalt eines individuellen Buches, oder der Sprache im Allgemeinen zu charakterisieren: es ist nicht möglich, das Buch von seinem Bezeichner wieder aufzubauen, ohne den Wahrscheinlichkeitsvertrieb, d. h. den ganzen Text aller Bücher zu wissen. Die Schlüsselidee besteht darin, dass die Kompliziertheit des probabilistic Modells betrachtet werden muss. Kompliziertheit von Kolmogorov ist eine theoretische Generalisation dieser Idee, die die Rücksicht des Informationsinhalts einer jedes besonderen Wahrscheinlichkeitsmodells unabhängigen Folge erlaubt; es betrachtet das kürzeste Programm für einen universalen Computer als das Produktionen die Folge. Ein Code, der die Wärmegewicht-Rate einer Folge für ein gegebenes Modell, plus der codebook (d. h. das probabilistic Modell) erreicht, ist ein solches Programm, aber es kann nicht am kürzesten sein.

Zum Beispiel ist die Folge von Fibonacci 1, 1, 2, 3, 5, 8, 13.... Wenn es die Folge als eine Nachricht und jede Zahl als ein Symbol behandelt, gibt es fast so viele Symbole, wie es Charaktere in der Nachricht gibt, ein Wärmegewicht ungefähr des Klotzes (n) gebend. So die ersten 128 Symbole der Folge von Fibonacci hat ein Wärmegewicht von etwa 7 Bit/Symbol. Jedoch kann die Folge mit einer Formel [F (n) = F (n-1) + F (n-2) für n = {3,4,5 ausgedrückt werden...}, F (1) =1, F (2) =1] und diese Formel hat ein viel niedrigeres Wärmegewicht und gilt für jede Länge der Folge von Fibonacci.

Beschränkungen des Wärmegewichtes als ein Maß der Unvorhersehbarkeit

In cryptanalysis wird Wärmegewicht häufig als ein Maß der Unvorhersehbarkeit eines kryptografischen Schlüssels grob verwendet. Zum Beispiel hat ein 128-Bit-Schlüssel, der zufällig erzeugt wird, 128 Bit des Wärmegewichtes. Es nimmt (durchschnittlich) Annahmen, um mit roher Gewalt zu brechen. Wenn die erste Ziffer des Schlüssels 0, und zufällige andere ist, dann ist das Wärmegewicht 127 Bit, und es nimmt (durchschnittlich) Annahmen.

Jedoch scheitert dieses Maß, wenn die möglichen Schlüssel nicht von der gleichen Wahrscheinlichkeit sind. Wenn der Schlüssel Hälfte der Zeit "Kennwort" und Hälfte der Zeit ein wahrer zufälliger 128-Bit-Schlüssel ist, dann ist das Wärmegewicht etwa 65 Bit. Und doch Hälfte der Zeit der Schlüssel kann auf dem ersten Versuch erraten werden, wenn Ihre erste Annahme "Kennwort", und durchschnittlich ist, nimmt es um Annahmen, um dieses Kennwort (nicht) zu brechen.

Denken Sie ähnlich ein 1000000-stelliges binäres ehemaliges Polster. Wenn das Polster 1000000 Bit des Wärmegewichtes hat, ist es vollkommen. Wenn das Polster 999999 Bit des Wärmegewichtes hat, gleichmäßig verteilt (jedes individuelle Bit des Polsters, das 0.999999 Bit des Wärmegewichtes hat), kann es noch sehr gut betrachtet werden. Aber wenn das Polster 999999 Bit des Wärmegewichtes hat, wo die erste Ziffer befestigt wird und das restliche 999999, sind Ziffern dann vollkommen zufällig die erste Ziffer des ciphertext wird nicht encrypted überhaupt sein.

Daten als ein Prozess von Markov

Eine allgemeine Weise, Wärmegewicht für den Text zu definieren, basiert auf dem Modell von Markov des Textes. Für eine Quelle des Auftrags 0 (wird jeder Charakter unabhängig der letzten Charaktere ausgewählt), ist das binäre Wärmegewicht:

:

wo p die Wahrscheinlichkeit von mir ist. Für eine erste Ordnung Quelle von Markov (diejenige, in der die Wahrscheinlichkeit, einen Charakter auszuwählen, nur vom sofort vorhergehenden Charakter abhängig ist) ist die Wärmegewicht-Rate:

:

wo ich ein Staat (bestimmte vorhergehende Charaktere) bin und die Wahrscheinlichkeit von gegebenen als der vorherige Charakter bin.

Für eine zweite Ordnung Quelle von Markov ist die Wärmegewicht-Rate

:

B-Ary-Wärmegewicht

Im Allgemeinen wird das b-ary Wärmegewicht' einer Quelle = (S, P) mit dem Quellalphabet S = {a...,} und getrennter Wahrscheinlichkeitsvertrieb P = {p..., p}, wo p die Wahrscheinlichkeit ist (sagen p = p (a)), definiert durch:

:

Zeichen: Der b in "b-ary Wärmegewicht" ist die Zahl von verschiedenen Symbolen des "idealen Alphabetes", das als der Standardmaßstab verwendet wird, um Quellalphabete zu messen. In der Informationstheorie sind zwei Symbole notwendig und für ein Alphabet genügend, um im Stande zu sein, Information zu verschlüsseln, deshalb soll der Verzug b = 2 ("binäres Wärmegewicht") lassen. So ist das Wärmegewicht des Quellalphabetes, mit seinem gegebenen empirischen Wahrscheinlichkeitsvertrieb, eine Zahl, die der Zahl (vielleicht gleich ist, unbedeutend) Symbole des "idealen Alphabetes", mit einem optimalen Wahrscheinlichkeitsvertrieb, notwendig, um für jedes Symbol des Quellalphabetes zu verschlüsseln. Bemerken Sie auch, dass "optimaler Wahrscheinlichkeitsvertrieb" hier eine Rechteckverteilung bedeutet: Ein Quellalphabet mit n Symbolen hat das höchstmögliche Wärmegewicht (für ein Alphabet mit n Symbolen), wenn der Wahrscheinlichkeitsvertrieb des Alphabetes gleichförmig ist. Dieses optimale Wärmegewicht erweist sich zu sein.

Leistungsfähigkeit

Ein Quellalphabet mit dem ungleichförmigen Vertrieb wird weniger Wärmegewicht haben, als wenn jene Symbole Rechteckverteilung (d. h. das "optimierte Alphabet") hatten. Dieser Mangel im Wärmegewicht kann als ein Verhältnis ausgedrückt werden:

:

Leistungsfähigkeit hat Dienstprogramm in der Quantitätsbestimmung des wirksamen Gebrauches eines Kommunikationskanals.

Charakterisierung

Wärmegewicht von Shannon wird durch eine kleine Zahl von Kriterien charakterisiert, die unten verzeichnet sind. Jede Definition des Wärmegewichtes, das diese Annahmen befriedigt, hat die Form

:

wo K eine Konstante entsprechend einer Wahl von Maß-Einheiten ist.

Im folgenden, und.

Kontinuität

Das Maß sollte dauernd sein, so dass das Ändern der Werte der Wahrscheinlichkeiten durch einen sehr kleinen Betrag nur das Wärmegewicht durch einen kleinen Betrag ändern sollte.

Symmetrie

Das Maß sollte unverändert sein, wenn die Ergebnisse x wiederbestellt werden.

:

H_n\left (p_1, p_2, \ldots \right) = H_n\left (p_2, p_1, \ldots \right)

</Mathematik> usw.

Maximum

Das Maß sollte maximal sein, wenn alle Ergebnisse ebenso wahrscheinlich sind (Unklarheit ist am höchsten, wenn alle möglichen Ereignisse gleich wahrscheinlich sind).

:

H_n (p_1, \ldots, p_n) \le H_n\left (\frac {1} {n}, \ldots, \frac {1} {n }\\Recht).

</Mathematik>

Für gleich wahrscheinliche Ereignisse sollte das Wärmegewicht mit der Zahl von Ergebnissen zunehmen.

:

H_n\bigg (\underbrace {\\frac {1} {n}, \ldots, \frac {1} {n}} _ {n }\\bigg)

Additivität

Der Betrag des Wärmegewichtes sollte dessen unabhängig sein, wie der Prozess als betrachtet wird, in Teile geteilt werden.

Diese letzte funktionelle Beziehung charakterisiert das Wärmegewicht eines Systems mit Subsystemen. Es fordert, dass das Wärmegewicht eines Systems von den Wärmegewichten seiner Subsysteme berechnet werden kann, wenn die Wechselwirkungen zwischen den Subsystemen bekannt sind.

In Anbetracht eines Ensembles von n hat gleichförmig Elemente verteilt, die in k Kästen (Subsysteme) mit b, b..., b Elemente jeder geteilt werden, sollte das Wärmegewicht des ganzen Ensembles der Summe des Wärmegewichtes des Systems von Kästen und der individuellen Wärmegewichte der Kästen, jeder gleich sein, der mit der Wahrscheinlichkeit beschwert ist, in diesem besonderen Kasten zu sein.

Für positive ganze Zahlen b wo b +... + b = n,

:

H_n\left (\frac {1} {n}, \ldots, \frac {1} {n }\\Recht) = H_k\left (\frac {b_1} {n}, \ldots, \frac {b_k} {n }\\Recht) + \sum_ {i=1} ^k \frac {b_i} {n} \, H_ {b_i }\\ist (\frac {1} {b_i}, \ldots, \frac {1} {b_i }\\Recht) abgereist.

</Mathematik>

k = n b =... = b = 1 wählend, deutet das an, dass das Wärmegewicht eines bestimmten Ergebnisses Null ist:

:

H_1\left (1\right) = 0 \,

</Mathematik>

Das deutet an, dass die Leistungsfähigkeit eines Quellalphabetes mit n Symbolen definiert werden kann einfach als, gleich seinem n-stufigen Wärmegewicht zu sein. Siehe auch Überfülle (Informationstheorie).

Weitere Eigenschaften

Das Wärmegewicht von Shannon befriedigt die folgenden Eigenschaften, für von dem etwas es nützlich ist, Wärmegewicht als der Betrag der Information erfahren (oder Unklarheit beseitigt) durch die Aufdeckung des Werts einer zufälligen Variable X zu interpretieren:

• Das Hinzufügen oder das Entfernen eines Ereignisses mit der Wahrscheinlichkeitsnull tragen zum Wärmegewicht nicht bei:

:.

• Es kann mit der Ungleichheit von Jensen das bestätigt werden

:

\leq \log_b \left [\operatorname {E }\\ist (\frac {1} {p (X)} \right) \right] abgereist

\log_b (n) </Mathematik>.

Dieses maximale Wärmegewicht dessen wird durch ein Quellalphabet effektiv erreicht, das einen gleichförmigen Wahrscheinlichkeitsvertrieb hat: Unklarheit ist maximal, wenn alle möglichen Ereignisse gleich wahrscheinlich sind.

• Das Wärmegewicht oder der Betrag der offenbarten Information durch das Auswerten (X, Y) (d. h. das Auswerten X und Y gleichzeitig) sind der offenbarten Information durch das Durchführen von zwei Konsekutivexperimenten gleich: Zuerst den Wert von Y bewertend, dann den Wert von X offenbarend vorausgesetzt, dass Sie den Wert von Y wissen. Das kann als geschrieben werden

:

• Wenn Y=f (X), wo f, dann deterministisch ist, die vorherige Formel auf Erträge anwendend

: so,

so kann das Wärmegewicht einer Variable nur abnehmen, wenn der Letztere durch eine deterministische Funktion passiert wird.

• Wenn X und Y zwei unabhängige Experimente sind, dann beeinflusst das Wissen des Werts von Y unsere Kenntnisse des Werts von X nicht (da die zwei einander durch die Unabhängigkeit nicht beeinflussen):

:

• Das Wärmegewicht von zwei gleichzeitigen Ereignissen ist nicht mehr als die Summe der Wärmegewichte jedes individuellen Ereignisses und ist gleich, wenn die zwei Ereignisse unabhängig sind. Mehr spezifisch, wenn X und Y zwei zufällige Variablen auf demselben Wahrscheinlichkeitsraum sind, und (X, Y) zeigt ihr Kartesianisches Produkt, dann an

:

Beweis davon folgt mathematisch leicht von den vorherigen zwei Eigenschaften des Wärmegewichtes.

Das Verlängern getrennten Wärmegewichtes zum dauernden Fall: Differenzialwärmegewicht

Das Wärmegewicht von Shannon wird auf zufällige Variablen eingeschränkt, die getrennte Werte nehmen. Die entsprechende Formel für eine dauernde zufällige Variable mit der Wahrscheinlichkeitsdichte-Funktion f (x) auf der echten Linie wird analog mit der obengenannten Form des Wärmegewichtes als eine Erwartung definiert:

:

Diese Formel wird gewöhnlich das dauernde Wärmegewicht oder Differenzialwärmegewicht genannt. Ein Vorgänger des dauernden Wärmegewichtes ist der Ausdruck für das funktionelle im H-Lehrsatz von Boltzmann.

Obwohl die Analogie zwischen beiden Funktionen andeutend ist, muss die folgende Frage gesetzt werden: Ist das Differenzialwärmegewicht eine gültige Erweiterung des Shannons getrenntes Wärmegewicht? Differenzialwärmegewicht hat an mehreren Eigenschaften Mangel, dass der Shannon, den getrenntes Wärmegewicht hat - es kann sogar negativ sein - und so sind Korrekturen angedeutet worden, namentlich Dichte von getrennten Punkten beschränkend.

Um auf diese Frage zu antworten, müssen wir eine Verbindung zwischen den zwei Funktionen herstellen:

Wir möchten ein allgemein begrenztes Maß erhalten, als die Behälter-Größe zur Null geht. Im getrennten Fall ist die Behälter-Größe die (implizite) Breite von jedem der n (begrenzt oder unendlich) Behälter, deren Wahrscheinlichkeiten durch p angezeigt werden. Da wir zum dauernden Gebiet verallgemeinern, müssen wir diese Breite ausführlich machen.

Um das zu tun, fangen Sie mit einer dauernden Funktion f discretized, wie gezeigt, in der Zahl an.

Wie die Zahl anzeigt, durch den Mittelwert-Lehrsatz dort besteht ein Wert x in jedem solchem Behälter dass

:

und so kann dem Integral der Funktion f (im Sinn von Riemannian) durch näher gekommen werden

:

wohin diese Grenze und "Behälter-Größe zur Null gehen", sind gleichwertig.

Wir werden anzeigen

:

und den Logarithmus ausbreitend, haben wir

:\begin {richten }\aus

H^ {\\Delta} &= - \sum_ {ich =-\infty} ^ {\\infty} \Delta f (x_i) \log \Delta f (x_i) \\

&= - \sum_ {ich =-\infty} ^ {\\infty} \Delta f (x_i) \log f (x_i)-\sum_ {ich =-\infty} ^ {\\infty} f (x_i) \Delta \log \Delta.

\end {richten }\aus</Mathematik>

Als haben wir

:

und auch

:

Aber bemerken Sie, dass als deshalb wir eine spezielle Definition des unterschiedlichen oder dauernden Wärmegewichtes brauchen:

:

der, so gesagt vorher, gekennzeichnet ist wie das Differenzialwärmegewicht. Das bedeutet, dass das Differenzialwärmegewicht nicht eine Grenze des Wärmegewichtes von Shannon dafür ist. Eher unterscheidet es sich von der Grenze des Wärmegewichtes von Shannon durch einen unendlichen Ausgleich.

Es stellt sich infolgedessen heraus, dass, verschieden vom Wärmegewicht von Shannon, das Differenzialwärmegewicht nicht im Allgemeinen ein gutes Maß der Unklarheit oder Information ist. Zum Beispiel kann das Differenzialwärmegewicht negativ sein; auch es ist nicht invariant unter dauernden Koordinatentransformationen.

Ein anderes nützliches Maß des Wärmegewichtes für den dauernden Fall ist das Verhältniswärmegewicht eines Vertriebs, der als die Kullback-Leibler Abschweifung vom Vertrieb bis ein Bezugsmaß M (x), definiert ist

:

Das Verhältniswärmegewicht trägt direkt vom getrennten bis dauernden Vertrieb vor, ist immer positiv oder Null, und ist invariant unter der Koordinate reparameterizations.

Verwenden Sie in combinatorics

Wärmegewicht ist eine nützliche Menge in combinatorics geworden.

Ungleichheit von Loomis-Whitney

Ein einfaches Beispiel davon ist ein abwechselnder Beweis der Ungleichheit von Loomis-Whitney: Für jede Teilmenge haben wir

:

wo d. h. der orthogonale Vorsprung in der Ith-Koordinate ist.

Der Beweis folgt als eine einfache Folgeerscheinung der Ungleichheit von Shearer: Wenn zufällige Variablen sind und Teilmengen von solchen sind, dass jede ganze Zahl zwischen 1 und d in genau r dieser Teilmengen, dann liegt

:

wo das Kartesianische Produkt von zufälligen Variablen mit Indizes j in ist (so ist die Dimension dieses Vektoren der Größe gleich).

Wir machen eine Skizze, wie Loomis-Whitney daraus folgt: Lassen Sie tatsächlich X eine gleichförmig verteilte zufällige Variable mit Werten in A sein, und so dass jeder Punkt in A mit der gleichen Wahrscheinlichkeit vorkommt. Dann (durch die weiteren Eigenschaften des Wärmegewichtes, das oben erwähnt ist), wo A den cardinality von A anzeigt. Lassen. Die Reihe dessen wird in und folglich enthalten. Verwenden Sie jetzt das am bestimmten die richtige Seite der Ungleichheit und exponentiate von Shearer die Gegenseiten der resultierenden Ungleichheit, die Sie erhalten.

Annäherung an den binomischen Koeffizienten

Für ganze Zahlen

:

\tfrac {2^ {nH (q)}} {n+1} \leq \tbinom nk \leq 2^ {nH (q)}, </Mathematik>

wo.

Hier ist ein Skizze-Beweis. Bemerken Sie, dass das ein Begriff des Ausdrucks ist

. Umordnen gibt das gebundene obere. Für tiefer bestimmten erste Shows, mit einer Algebra, dass es der größte Begriff in der Summierung ist. Aber dann,

:

da es Begriffe in der Summierung gibt. Umordnen gibt tiefer bestimmt.

Eine nette Interpretation davon ist, dass die Zahl von binären Schnuren der Länge mit genau vielen 1's ungefähr ist.

Siehe auch

• Bedingtes Wärmegewicht
• Böses Wärmegewicht - ist ein Maß der durchschnittlichen Zahl von Bit musste ein Ereignis von einer Reihe von Möglichkeiten zwischen zwei Wahrscheinlichkeitsvertrieb identifizieren
• Wärmegewicht (Pfeil der Zeit)
• Wärmegewicht-Verschlüsselung - ein Codierschema, das Codes Symbolen zuteilt, um Codelängen mit den Wahrscheinlichkeiten der Symbole zu vergleichen.
• Wärmegewicht-Bewertung
• Wärmegewicht-Macht-Ungleichheit
• Wärmegewicht-Rate
• Fischer-Information
• Entfernung von Hamming
• Geschichte des Wärmegewichtes
• Geschichte der Informationstheorie
• Gemeinsames Wärmegewicht - ist das Maß, wie viel Wärmegewicht in einem gemeinsamen System von zwei zufälligen Variablen enthalten wird.
• Kolmogorov-Sinai Wärmegewicht in dynamischen Systemen
• Entfernung von Levenshtein
• Gegenseitige Information
• Negentropy
• Komplikation
• Qualitative Schwankung - andere Maßnahmen der statistischen Streuung für den nominellen Vertrieb
• Quant-Verhältniswärmegewicht - ein Maß von distinguishability zwischen zwei Quant-Staaten.
• Wärmegewicht von Rényi - eine Verallgemeinerung des Wärmegewichtes von Shannon; es ist eine einer Familie von functionals, für die Ungleichheit, Unklarheit oder Zufälligkeit eines Systems zu messen.
• Index von Shannon
• Index von Theil
• Belastetes Wärmegewicht

Weiterführende Literatur

Links

• Einführung ins Wärmegewicht und die Information im Principia Cybernetica Web
• Wärmegewicht eine zwischendisziplinarische Zeitschrift auf dem ganzen Aspekt des Wärmegewicht-Konzepts. Offener Zugang.
• Information ist nicht Wärmegewicht, Information ist nicht Unklarheit! - eine Diskussion des Gebrauches der Begriffe "Information" und "Wärmegewicht".
• Ich bin Verwirrt: Wie konnte Information Wärmegewicht Gleichkommen? - eine ähnliche Diskussion über die häufig gestellten Bionet.info-Theorie-Fragen.
• Beschreibung des Informationswärmegewichtes von "Werkzeugen für den Gedanken" durch Howard Rheingold
• Java applet das Darstellen des Experimentes von Shannon, um das Wärmegewicht von englischem Zu berechnen
• Gleiten auf dem Informationsgewinn und Wärmegewicht
• Ein Intuitives Handbuch zum Konzept des Wärmegewichtes, das in Verschiedenen Sektoren der Wissenschaft - ein wikibook auf der Interpretation des Konzepts des Wärmegewichtes Entsteht.
• Rechenmaschine für die Wärmegewicht-Bewertung von Shannon und Interpretation