Informationstheorie ist ein Zweig der angewandten Mathematik und Elektrotechnik, die mit der Quantifizierung der Information verbunden ist. Informationstheorie wurde von Claude E. Shannon entwickelt, um grundsätzliche Grenzen auf Signalverarbeitungsoperationen wie das Zusammendrücken von Daten und bei der zuverlässigen Speicherung und dem Kommunizieren von Daten zu finden. Seit seinem Beginn hat es sich verbreitert, um Anwendungen in vielen anderen Gebieten, einschließlich der statistischen Schlussfolgerung, Verarbeitung der natürlichen Sprache, Geheimschrift allgemein, Netze außer Nachrichtennetzen — als in der Neurobiologie, der Evolution und Funktion von molekularen Codes, Musterauswahl in Ökologie, Thermalphysik, Quant-Computerwissenschaft, Plagiat-Entdeckung und anderen Formen der Datenanalyse zu finden.

Ein Schlüsselmaß der Information ist als Wärmegewicht bekannt, das gewöhnlich durch die durchschnittliche Zahl von Bit ausgedrückt wird, musste versorgen oder ein Symbol in einer Nachricht mitteilen. Wärmegewicht misst die Unklarheit, die am Voraussagen des Werts einer zufälligen Variable beteiligt ist. Zum Beispiel gibt das Spezifizieren des Ergebnisses eines schönen Münzflips (zwei ebenso wahrscheinliche Ergebnisse) weniger Auskunft (niedrigeres Wärmegewicht) als das Spezifizieren des Ergebnisses von einer Rolle (sechs ebenso wahrscheinliche Ergebnisse).

Anwendungen grundsätzlicher Themen der Informationstheorie schließen lossless Datenkompression (z.B Schwirren-Dateien), lossy Datenkompression ein (z.B. MP3s und JPGs), und das Kanalcodieren (z.B für Digital Subscriber Line (DSL)). Das Feld ist an der Kreuzung von Mathematik, Statistik, Informatik, Physik, Neurobiologie und Elektrotechnik. Sein Einfluss ist für den Erfolg der Reisender-Missionen zum tiefen Raum, der Erfindung der CD, der Durchführbarkeit von Mobiltelefonen, der Entwicklung des Internets, der Studie der Linguistik und der menschlichen Wahrnehmung, des Verstehens von schwarzen Löchern und vielen anderen Feldern entscheidend gewesen. Wichtige Teilfelder der Informationstheorie sind das Quellcodieren, das Kanalcodieren, die algorithmische Kompliziertheitstheorie, die algorithmische Informationstheorie, die mit der Information theoretische Sicherheit und die Maßnahmen der Information.

Übersicht

Die Hauptkonzepte der Informationstheorie können durch das Betrachten der weit verbreitetsten Mittel der menschlichen Kommunikation ergriffen werden: Sprache. Zwei wichtige Aspekte einer kurzen Sprache sind wie folgt: Erstens sollten die allgemeinsten Wörter (z.B, "ich") kürzer als weniger allgemeine Wörter (z.B, "Vorteil", "Generation", "mittelmäßig" sein), so dass Sätze nicht zu lang sein werden. Solch ein Umtausch in der Wortlänge ist der Datenkompression analog und ist der wesentliche Aspekt des Quellcodierens. Zweitens, wenn Satzteil ungehört oder wegen des Geräusches — z.B, ein vorübergehendes Auto falsch gehört ist — sollte der Zuhörer noch im Stande sein, die Bedeutung der zu Grunde liegenden Nachricht nachzulesen. Solche Robustheit ist so für ein elektronisches Nachrichtensystem notwendig, wie es für eine Sprache ist; richtig wird das Einbauen solcher Robustheit in Kommunikationen durch das Kanalcodieren getan. Das Quellcodieren und Kanalcodieren sind die grundsätzlichen Sorgen der Informationstheorie.

Bemerken Sie, dass diese Sorgen nichts haben, um mit der Wichtigkeit von Nachrichten zu tun. Zum Beispiel, ein Gemeinplatz wie "Danke; kommen Sie wieder" nimmt fast so lange, um zu sagen oder zu schreiben, wie die dringende Entschuldigung, "Nennen Sie ein Krankenwagen!" während die Letzteren wichtiger und in vielen Zusammenhängen bedeutungsvoller sein können. Informationstheorie denkt jedoch Nachrichtenwichtigkeit oder Bedeutung nicht, weil das Sachen der Qualität von Daten aber nicht der Menge und Lesbarkeit von Daten sind, von denen der Letztere allein durch Wahrscheinlichkeiten bestimmt wird.

Wie man

allgemein betrachtet, ist Informationstheorie 1948 von Claude Shannon in seiner Samenarbeit, "Eine Mathematische Theorie der Kommunikation gegründet worden". Das Hauptparadigma der klassischen Informationstheorie ist das Technikproblem der Übertragung der Information über einen lauten Kanal. Die grundsätzlichsten Ergebnisse dieser Theorie sind die Quelle von Shannon, die Lehrsatz codiert, der feststellt, dass, durchschnittlich, die Zahl von Bit das Ergebnis eines unsicheren Ereignisses vertreten musste, wird durch sein Wärmegewicht gegeben; und der Codierlehrsatz des lauten Kanals von Shannon, der feststellt, dass zuverlässige Kommunikation über laute Kanäle möglich ist vorausgesetzt, dass die Rate der Kommunikation unter einer bestimmten Schwelle, genannt die Kanalkapazität ist. Der Kanalkapazität kann in der Praxis durch das Verwenden passender Verschlüsselung und Entzifferung von Systemen genähert werden.

Informationstheorie wird mit einer Sammlung von reinen und angewandten Disziplinen nah vereinigt, die untersucht und auf die Technikpraxis unter einer Vielfalt von Titelköpfen weltweit im Laufe der vorigen Hälfte des Jahrhunderts oder mehr reduziert worden sind: anpassungsfähige Systeme, vorwegnehmende Systeme, künstliche Intelligenz, komplizierte Systeme, Kompliziertheitswissenschaft, Kybernetik, Informatik, das Maschinenlernen, zusammen mit Systemwissenschaften von vielen Beschreibungen. Informationstheorie ist eine breite und tiefe mathematische Theorie mit ebenso breiten und tiefen Anwendungen, unter denen das Lebensfeld ist, Theorie zu codieren.

Das Codieren der Theorie ist mit Entdeckung ausführlicher Methoden beschäftigt, genannt Codes, die Leistungsfähigkeit zu vergrößern und die Nettofehlerrate der Datenkommunikation über einen lauten Kanal zur Nähe zu reduzieren, ist die Grenze, die Shannon bewiesen hat, das für diesen Kanal mögliche Maximum. Diese Codes können in die Datenkompression (das Quellcodieren) und Fehlerkorrektur (das Kanalcodieren) Techniken grob unterteilt werden. Im letzten Fall hat man viele Jahre gebraucht, um zu finden, dass sich die Methode-Arbeit von Shannon erwiesen hat, waren möglich. Eine dritte Klasse von Informationstheorie-Codes ist kryptografische Algorithmen (sowohl Codes als auch Ziffern). Konzepte, Methoden und Ergebnisse vom Codieren der Theorie und Informationstheorie werden in der Geheimschrift und cryptanalysis weit verwendet. Sieh das Artikel-Verbot (Information) für eine historische Anwendung.

Informationstheorie wird auch in Informationsgewinnung, dem Nachrichtendienstsammeln, dem Spielen, der Statistik, und sogar in der Musikzusammensetzung verwendet.

Historischer Hintergrund

Das merkliche Ereignis, das die Disziplin der Informationstheorie gegründet hat, und es zur unmittelbaren Weltaufmerksamkeit gebracht hat, war die Veröffentlichung von klassischem Papier von Claude E. Shannon "Eine Mathematische Theorie der Kommunikation" in der Glockensystemfachzeitschrift im Juli und Oktober 1948.

Vor diesem Papier waren beschränkte mit der Information theoretische Ideen an Glockenlaboratorien, allen implizit annehmenden Ereignissen der gleichen Wahrscheinlichkeit entwickelt worden. Das 1924-Papier von Harry Nyquist, Geschwindigkeit von Certain Factors Affecting Telegraph, enthält eine theoretische Abteilungsquantitätsbestimmung "Intelligenz" und die "Liniengeschwindigkeit", mit der es durch ein Nachrichtensystem übersandt werden kann, die Beziehung gebend, wo W die Geschwindigkeit der Übertragung der Intelligenz ist, ist M die Zahl von verschiedenen Spannungspegeln, um von jedes Mal dem Schritt zu wählen, und K ist eine Konstante. Das 1928-Papier von Ralph Hartley, Übertragung der Information, verwendet die Wortinformation als eine messbare Menge, die Fähigkeit des Empfängers widerspiegelnd, eine Folge von Symbolen von irgendwelchem anderer zu unterscheiden, so Information als messend, wo S die Zahl von möglichen Symbolen und n die Zahl von Symbolen in einer Übertragung war. Die natürliche Einheit der Information war deshalb die dezimale Ziffer, viel später hat den hartley in seiner Ehre als eine Einheit oder Skala oder Maß der Information umbenannt. Alan Turing 1940 hat ähnliche Ideen als ein Teil der statistischen Analyse des Brechens der deutschen zweiten Weltkrieg-Mysterium-Ziffern verwendet.

Viel von der Mathematik hinter der Informationstheorie mit Ereignissen von verschiedenen Wahrscheinlichkeiten wurde für das Feld der Thermodynamik von Ludwig Boltzmann und J. Willard Gibbs entwickelt. Verbindungen zwischen mit der Information theoretischem Wärmegewicht und thermodynamischem Wärmegewicht, einschließlich der wichtigen Beiträge durch Rolf Landauer in den 1960er Jahren, werden im Wärmegewicht in der Thermodynamik und Informationstheorie erforscht.

Im Revolutionär von Shannon und groundbreaking Papier hat die Arbeit, für die an Glockenlaboratorien am Ende von 1944, Shannon zum ersten Mal wesentlich vollendet worden war, das qualitative und quantitative Modell der Kommunikation als ein statistischer Prozess eingeführt, der Informationstheorie unterliegt, sich mit der Behauptung das öffnend

: "Das grundsätzliche Problem der Kommunikation ist das des Reproduzierens einmal, entweder genau oder ungefähr, eine an einem anderen Punkt ausgewählte Nachricht."

Damit ist die Ideen von gekommen

• das Informationswärmegewicht und die Überfülle einer Quelle und seine Relevanz durch die Quelle, die Lehrsatz codiert;
• die gegenseitige Information und die Kanalkapazität eines lauten Kanals, einschließlich der Versprechung der vollkommenen durch den Codierlehrsatz des lauten Kanals gegebenen Kommunikation ohne Verluste;
• das praktische Ergebnis des Gesetzes von Shannon-Hartley für die Kanalkapazität eines Kanals von Gaussian; sowie
• das Bit — eine neue Weise, die grundsätzlichste Einheit der Information zu sehen.

Mengen der Information

Informationstheorie basiert auf der Wahrscheinlichkeitstheorie und Statistik. Die wichtigsten Mengen der Information sind Wärmegewicht, die Information in einer zufälligen Variable, und gegenseitige Information, der Betrag der Information gemeinsam zwischen zwei zufälligen Variablen. Die ehemalige Menge zeigt an, wie leicht Nachrichtendaten zusammengepresst werden können, während die Letzteren verwendet werden können, um die Nachrichtenrate über einen Kanal zu finden.

Die Wahl der logarithmischen Basis in den folgenden Formeln bestimmt die Einheit des Informationswärmegewichtes, das verwendet wird. Die allgemeinste Einheit der Information ist das Bit, das auf dem binären Logarithmus gestützt ist. Andere Einheiten schließen den nat ein, der auf dem natürlichen Logarithmus und dem hartley basiert, der auf dem allgemeinen Logarithmus basiert.

Worin folgt, wird ein Ausdruck der Form durch die Tagung betrachtet, der Null gleich zu sein, wann auch immer Das weil für jede logarithmische Basis gerechtfertigt wird.

Wärmegewicht

Das Wärmegewicht, einer getrennten zufälligen Variable ist ein Maß des Betrags der Unklarheit, die mit dem Wert dessen vereinigt ist.

Nehmen Sie an, dass man 1000 Bit (0s und 1s) übersendet. Wenn diese Bit vor der Übertragung bekannt sind (um ein bestimmter Wert mit der absoluten Wahrscheinlichkeit zu sein), diktiert Logik, dass keine Information übersandt worden ist. Wenn, jedoch, jeder unabhängig wahrscheinlich 0 oder 1 ebenso und sein wird, sind 1000 Bit (in der Information theoretischer Sinn) übersandt worden. Zwischen diesen zwei Extremen kann Information wie folgt gemessen werden. Wenn der Satz aller Nachrichten ist, die sein konnten, und die Wahrscheinlichkeit von gegebenen einige sind, dann wird das Wärmegewicht dessen definiert:

:

(Hier, ist die Selbstinformation, die der Wärmegewicht-Beitrag einer individuellen Nachricht ist, und der erwartete Wert ist.) Besteht ein wichtiges Eigentum des Wärmegewichtes darin, dass es maximiert wird, wenn alle Nachrichten im Nachrichtenraum gleich wahrscheinlich — d. h. — in welchem Fall am unvorhersehbarsten sind.

Der spezielle Fall des Informationswärmegewichtes für eine zufällige Variable mit zwei Ergebnissen ist die binäre Wärmegewicht-Funktion, die gewöhnlich in die logarithmische Basis 2 gebracht ist:

:

Gemeinsames Wärmegewicht

Das gemeinsame Wärmegewicht von zwei getrennten zufälligen Variablen und ist bloß das Wärmegewicht ihrer Paarung:. Das deutet dass an, wenn und unabhängig sind, dann ist ihr gemeinsames Wärmegewicht die Summe ihrer individuellen Wärmegewichte.

Zum Beispiel, wenn die Position einer Schachfigur - die Reihe und die Säule vertritt, dann wird das gemeinsame Wärmegewicht der Reihe des Stückes und der Säule des Stückes das Wärmegewicht der Position des Stückes sein.

:

Trotz der ähnlichen Notation sollte gemeinsames Wärmegewicht nicht mit dem bösen Wärmegewicht verwirrt sein.

Bedingtes Wärmegewicht (Zweideutigkeit)

Das bedingte Wärmegewicht oder die bedingte Unklarheit der gegebenen zufälligen Variable (hat auch die Zweideutigkeit genannt ungefähr), sind das durchschnittliche bedingte zu Ende Wärmegewicht:

:

Weil Wärmegewicht auf einer zufälligen Variable oder auf dieser zufälligen Variable bedingt werden kann, die ein bestimmter Wert ist, sollte Sorge genommen werden, um diese zwei Definitionen des bedingten Wärmegewichtes nicht zu verwechseln, von denen die ehemaligen in mehr üblicher Anwendung sind. Ein grundlegendes Eigentum dieser Form des bedingten Wärmegewichtes besteht dass darin:

:

Gegenseitige Information (übertragene Information)

Gegenseitige Information misst den Betrag der Information, die über eine zufällige Variable durch das Beobachten von einem anderen erhalten werden kann. Es ist in der Kommunikation wichtig, wo es verwendet werden kann, um den Betrag der Information zu maximieren, die zwischen gesandtem und empfangenen Signalen geteilt ist. Durch die gegenseitige Information hinsichtlich wird gegeben:

:

wo (Spezifische gegenseitige Information) die pointwise gegenseitige Information ist.

Ein grundlegendes Eigentum der gegenseitigen Information ist das

:

D. h. Y wissend, können wir einen Durchschnitt von Bit in der Verschlüsselung X im Vergleich zum nicht Wissen Y sparen.

Gegenseitige Information ist symmetrisch:

:

Gegenseitige Information kann als die Kullback-Leibler durchschnittliche Abschweifung (Informationsgewinn) vom späteren Wahrscheinlichkeitsvertrieb X gegeben der Wert von Y zum vorherigen Vertrieb auf X ausgedrückt werden:

:

Mit anderen Worten ist das ein Maß dessen, wie viel, im Durchschnitt, der Wahrscheinlichkeitsvertrieb auf X ändern wird, wenn uns der Wert von Y gegeben wird. Das wird häufig als die Abschweifung vom Produkt des Randvertriebs zum wirklichen gemeinsamen Vertrieb wiederberechnet:

:

Gegenseitige Information ist nah mit dem Verhältnis-Test der Klotz-Wahrscheinlichkeit im Zusammenhang von Kontingenztabellen und dem multinomial Vertrieb und zum χ-Test von Pearson verbunden: Gegenseitige Information kann als ein statistischer betrachtet werden, um Unabhängigkeit zwischen einem Paar von Variablen zu bewerten, und hat einen gut angegebenen asymptotischen Vertrieb.

Kullback-Leibler Abschweifung (Informationsgewinn)

Die Kullback-Leibler Abschweifung (oder die Informationsabschweifung, der Informationsgewinn oder das Verhältniswärmegewicht) sind eine Weise, zwei Vertrieb zu vergleichen: ein "wahrer" Wahrscheinlichkeitsvertrieb p (X) und ein willkürlicher Wahrscheinlichkeitsvertrieb q (X). Wenn wir Daten gewissermaßen zusammenpressen, der annimmt, dass q (X) der Vertrieb ist, der einigen Daten unterliegt, wenn, in Wirklichkeit, p (X) der richtige Vertrieb ist, ist die Kullback-Leibler Abschweifung die Zahl von durchschnittlichen zusätzlichen Bit pro für die Kompression notwendige Gegebenheit. Es wird so definiert

:

Obwohl es manchmal als eine 'metrische Entfernung' verwendet wird, ist KL Abschweifung nicht ein wahrer metrischer, da es nicht symmetrisch ist und die Dreieck-Ungleichheit nicht befriedigt (es ein halbquasimetrischer machend).

Kullback-Leibler Abschweifung eines vorherigen von der Wahrheit

Eine andere Interpretation der KL Abschweifung ist das: Nehmen Sie an, dass eine Nummer X im Begriff ist, zufällig von einem getrennten Satz mit dem Wahrscheinlichkeitsvertrieb p (x) gezogen zu werden. Wenn Alice den wahren Vertrieb p (x) weiß, während Bob glaubt (hat einen vorherigen), dass der Vertrieb q (x) ist, dann wird Bob mehr überrascht sein als Alice, durchschnittlich, nach dem Sehen des Werts von X. Die KL Abschweifung ist erwarteter Wert (des Ziels) Bobs (subjektiven) surprisal minus der surprisal von Alice, der in Bit gemessen ist, wenn der Klotz in der Basis 2 ist. Auf diese Weise kann das Ausmaß, in dem sich vorheriger Bob irrt, in Bezug darauf gemessen werden, wie "unnötigerweise überrascht", wie man erwartet, es ihn macht.

Andere Mengen

Andere wichtige Information theoretische Mengen schließt Wärmegewicht von Rényi (eine Generalisation des Wärmegewichtes), Differenzialwärmegewicht (eine Generalisation von Mengen der Information zum dauernden Vertrieb) und der bedingten gegenseitigen Information ein.

Das Codieren der Theorie

Das Codieren der Theorie ist eine der wichtigsten und direkten Anwendungen der Informationstheorie. Es kann in die Quelle unterteilt werden, die Theorie und Kanalcodiertheorie codiert. Mit einer statistischen Beschreibung für Daten misst Informationstheorie die Zahl von Bit musste die Daten beschreiben, der das Informationswärmegewicht der Quelle ist.

• Datenkompression (das Quellcodieren): Es gibt zwei Formulierungen für das Kompressionsproblem:

1. Lossless-Datenkompression: Die Daten müssen genau wieder aufgebaut werden;
2. Lossy-Datenkompression: Teilt Bit zu musste die Daten innerhalb eines angegebenen durch eine Verzerrungsfunktion gemessenen Treue-Niveaus wieder aufbauen. Diese Teilmenge der Informationstheorie wird Theorie der Rate-Verzerrung genannt.

• Fehlerkorrekturcodes (das Kanalcodieren): Während Datenkompression so viel Überfülle wie möglich entfernt, fügt ein Fehler, Code korrigierend, gerade hinzu, dass die richtige Art der Überfülle (d. h., Fehlerkorrektur) die Daten effizient und treu über einen lauten Kanal übersenden musste.

Diese Abteilung, Theorie in die Kompression und Übertragung zu codieren, wird durch die Informationsübertragungslehrsätze oder Quellkanal-Trennungslehrsätze gerechtfertigt, die den Gebrauch von Bit als die universale Währung für die Information in vielen Zusammenhängen rechtfertigen. Jedoch halten diese Lehrsätze nur in der Situation, wo ein Sendebenutzer einem Empfang-Benutzer kommunizieren möchte. In Drehbüchern mit mehr als einem Sender (der Kanal des vielfachen Zugangs), mehr als ein Empfänger (der Sendungskanal) oder intermediäre "Helfer" (der Relaiskanal), oder allgemeinere Netze, kann von der Übertragung gefolgte Kompression nicht mehr optimal sein. Netzinformationstheorie bezieht sich auf diese Mehrreagenz-Nachrichtenmodelle.

Quelltheorie

Jeder Prozess, der aufeinander folgende Nachrichten erzeugt, kann als eine Informationsquelle betrachtet werden. Eine memoryless Quelle ist diejenige, in der jede Nachricht eine unabhängige identisch verteilte zufällige Variable ist, wohingegen die Eigenschaften von ergodicity und stationarity allgemeinere Einschränkungen auferlegen. Alle diese Quellen sind stochastisch. Diese Begriffe werden in ihrer eigenen rechten äußeren Informationstheorie gut studiert.

Rate

Informationsrate ist das durchschnittliche Wärmegewicht pro Symbol. Für memoryless Quellen ist das bloß das Wärmegewicht jedes Symbols, während, im Fall von einem stationären stochastischen Prozess, es ist

:

d. h. das bedingte Wärmegewicht eines Symbols gegeben alle vorherigen Symbole erzeugt. Für den allgemeineren Fall eines Prozesses, der nicht notwendigerweise stationär ist, ist die durchschnittliche Rate

:

d. h. die Grenze des gemeinsamen Wärmegewichtes pro Symbol. Für stationäre Quellen geben diese zwei Ausdrücke dasselbe Ergebnis.

Es ist in der Informationstheorie üblich, von der "Rate" oder "dem Wärmegewicht" einer Sprache zu sprechen. Das ist zum Beispiel passend, wenn die Informationsquelle englische Prosa ist. Die Rate einer Informationsquelle ist mit seiner Überfülle verbunden, und wie gut sie, das Thema des Quellcodierens zusammengepresst werden kann.

Kanalkapazität

Kommunikationen über einen Kanal — wie ein ethernet Kabel — sind die primäre Motivation der Informationstheorie. Wie jeder, der jemals ein Telefon verwendet hat (beweglich oder landline) jedoch weiß, scheitern solche Kanäle häufig, genaue Rekonstruktion eines Signals zu erzeugen; Geräusch, Perioden des Schweigens und andere Formen der Signalbestechung erniedrigt häufig Qualität. Wie viel Information kann man hoffen, über einen lauten (oder sonst unvollständig) Kanal mitzuteilen?

Denken Sie den Kommunikationsprozess über einen getrennten Kanal. Ein einfaches Modell des Prozesses wird unten gezeigt:

Hier X vertritt den Raum von Nachrichten übersandt, und Y der Raum von Nachrichten, die während einer Einheitszeit über unseren Kanal erhalten sind. Lassen Sie, die bedingte Wahrscheinlichkeitsvertriebsfunktion von Y gegeben X zu sein. Wir werden in Betracht ziehen, um ein innewohnendes festes Eigentum unseres Kommunikationskanals zu sein (die Natur des Geräusches unseres Kanals vertretend). Dann wird der gemeinsame Vertrieb X und Y durch unseren Kanal und durch unsere Wahl, der Randvertrieb von Nachrichten völlig bestimmt, die wir beschließen, über den Kanal zu senden. Unter diesen Einschränkungen würden wir gern die Rate der Information oder das Signal maximieren, wir können über den Kanal kommunizieren. Das passende Maß dafür ist die gegenseitige Information, und diese maximale gegenseitige Information wird die Kanalkapazität genannt und wird gegeben durch:

:

Diese Kapazität ließ das folgende Eigentum mit dem Kommunizieren an der Informationsrate R verbinden (wo R gewöhnlich Bit pro Symbol ist). Für jede Informationsrate R

Das Kanalcodieren ist mit Entdeckung solcher fast optimalen Codes beschäftigt, die verwendet werden können, um Daten über einen lauten Kanal mit einem kleinen Codierfehler an einer Rate in der Nähe von der Kanalkapazität zu übersenden.

Kapazität von besonderen Kanalmodellen

• Ein dauernd-maliges analoges Kommunikationskanalthema dem Geräusch von Gaussian — sieht Lehrsatz von Shannon-Hartley.
• Ein binärer symmetrischer Kanal (BSC) mit der Überkreuzungswahrscheinlichkeit p ist ein binärer Eingang, binärer Produktionskanal, der das Eingangsbit mit der Wahrscheinlichkeit p schnipst. Der BSC hat eine Kapazität von Bit pro Kanalgebrauch, wo die binäre Wärmegewicht-Funktion zur Basis 2 Logarithmen ist:

::

• Ein binärer Ausradierungskanal (BEC) mit der Ausradierungswahrscheinlichkeit p ist ein binärer Eingang, dreifältiger Produktionskanal. Die möglichen Kanalproduktionen sind 0, 1, und ein drittes Symbol 'e' hat eine Ausradierung genannt. Die Ausradierung vertritt ganzen Verlust der Information über ein Eingangsbit. Die Kapazität des BEC ist 1 - p Bit pro Kanalgebrauch.

::

Anwendungen auf andere Felder

Nachrichtendienstgebrauch und Geheimhaltungsanwendungen

Information theoretische Konzepte gilt für die Geheimschrift und cryptanalysis. Die Informationseinheit von Turing, das Verbot, wurde im Extremen Projekt verwendet, den deutschen Mysterium-Maschinencode brechend und das Ende von WWII in Europa beschleunigend. Shannon selbst hat ein wichtiges Konzept definiert jetzt hat die unicity Entfernung genannt. Gestützt auf der Überfülle des plaintext versucht es, einen minimalen Betrag von ciphertext zu geben, der notwendig ist, um einzigartigen decipherability zu sichern.

Informationstheorie bringt uns dazu zu glauben, dass es viel schwieriger ist, Geheimnisse zu behalten, als es zuerst erscheinen könnte. Ein Angriff der rohen Gewalt kann Systeme brechen, die auf asymmetrischen Schlüsselalgorithmen oder auf meistens verwendeten Methoden von symmetrischen Schlüsselalgorithmen (manchmal gestützt sind, genannt heimliche Schlüsselalgorithmen), wie Block-Ziffern. Die Sicherheit aller dieser Methoden kommt zurzeit aus der Annahme, dass kein bekannter Angriff sie in einer praktischen Zeitdauer brechen kann.

Theoretische Sicherheit der Information bezieht sich auf Methoden wie das ehemalige Polster, die für solche Angriffe der rohen Gewalt nicht verwundbar sind. In solchen Fällen kann die positive bedingte gegenseitige Information zwischen dem plaintext und ciphertext (bedingt auf dem Schlüssel) richtige Übertragung sichern, während die vorbehaltlose gegenseitige Information zwischen dem plaintext und ciphertext Null bleibt, auf absolut sichere Kommunikationen hinauslaufend. Mit anderen Worten würde ein Lauscher nicht im Stande sein, seine oder ihre Annahme des plaintext zu verbessern, indem er Kenntnisse des ciphertext, aber nicht des Schlüssels gewinnt. Jedoch, als in jedem anderen kryptografischen System, muss Sorge verwendet werden, um sogar Information theoretisch sichere Methoden richtig anzuwenden; das Projekt von Venona ist im Stande gewesen, die ehemaligen Polster der Sowjetunion wegen ihres unpassenden Wiedergebrauchs des Schlüsselmaterials zu knacken.

Pseudozufallszahl-Generation

Pseudozufallszahlengeneratoren sind in Computersprachbibliotheken und Anwendungsprogrammen weit verfügbar. Sie sind fast zum kryptografischen Gebrauch, allgemein, unpassend, weil sie der deterministischen Natur der modernen Computerausrüstung und Software nicht ausweichen. Eine Klasse von verbesserten Zufallszahlengeneratoren wird kryptografisch sichere Pseudozufallszahlengeneratoren genannt, aber sogar sie verlangen äußerlich zur Software zufällige Samen, wie beabsichtigt, zu arbeiten. Diese können über Ex-Traktoren, wenn getan, sorgfältig erhalten werden. Das Maß der genügend Zufälligkeit in Ex-Traktoren ist Minute-Wärmegewicht, ein Wert, der mit dem Wärmegewicht von Shannon durch das Wärmegewicht von Rényi verbunden ist; Wärmegewicht von Rényi wird auch im Auswerten der Zufälligkeit in kryptografischen Systemen verwendet. Obwohl verbunden, bedeuten die Unterscheidungen unter diesen Maßnahmen, dass eine zufällige Variable mit dem hohen Wärmegewicht von Shannon für den Gebrauch in einem Ex-Traktor und so für den Geheimschrift-Gebrauch nicht notwendigerweise befriedigend ist.

Seismische Erforschung

Eine frühe kommerzielle Anwendung der Informationstheorie war in der seismischen Feldölerforschung. Die Arbeit in diesem Feld hat es möglich gemacht, das unerwünschte Geräusch vom gewünschten seismischen Signal auszuziehen und zu trennen. Informationstheorie und Digitalsignalverarbeitung bieten eine Hauptverbesserung der Entschlossenheit und Bildklarheit über vorherige analoge Methoden an.

Verschiedene Anwendungen

Informationstheorie hat auch Anwendungen im Spielen und der Investierung, den schwarzen Löchern, bioinformatics, und der Musik.

Siehe auch

• Nachrichtentheorie
• Liste von wichtigen Veröffentlichungen
• Philosophie der Information

Anwendungen

• Cryptanalysis
• Geheimschrift
• Kybernetik
• Wärmegewicht in der Thermodynamik und Informationstheorie
• Das Spielen
• Intelligenz (Sammeln von Informationen)
• Seismische Erforschung

Geschichte

• Hartley, R.V.L.
• Geschichte der Informationstheorie
• Shannon, C.E.
• Zeitachse der Informationstheorie
• Yockey, H.P.

Theorie

• Das Codieren der Theorie
• Entdeckungstheorie
• Bewertungstheorie
• Fischer-Information
• Informationsalgebra
• Informationsasymmetrie
• Informationsgeometrie
• Informationstheorie und Maß-Theorie
• Kompliziertheit von Kolmogorov
• Logik der Information
• Netz, das codiert
• Philosophie der Information
• Quant-Informationswissenschaft
• Semiotische Informationstheorie
• Quelle, die codiert

Konzepte

• Verbot (Information)
• Kanalkapazität
• Kanal (Kommunikationen)
• Nachrichtenquelle
• Bedingtes Wärmegewicht
• Versteckter Kanal
• Decoder
• Differenzialwärmegewicht
• Encoder
• Informationswärmegewicht
• Gemeinsames Wärmegewicht
• Kullback-Leibler Abschweifung
• Gegenseitige Information
• Pointwise Mutual Information (PMI)
• Empfänger (Informationstheorie)
• Überfülle
• Wärmegewicht von Rényi
• Selbstinformation
• Entfernung von Unicity
• Vielfalt

Die klassische Arbeit

• Shannon, C.E. (1948), "Eine Mathematische Theorie der Kommunikation", Glockensystemfachzeitschrift, 27, Seiten 379-423 & 623-656, Juli & Oktober 1948. PDF. Zeichen und andere Formate.
• R.V.L. Hartley, "Übertragung der Information", Glockensystemfachzeitschrift, Juli 1928
• Andrey Kolmogorov (1968), "Drei Annäherungen an die quantitative Definition der Information" in der Internationalen Zeitschrift der Computermathematik.

Andere Zeitschriftenartikel

• J. L. Kelly der Jüngere. Saratoga.ny.us, "Eine Neue Interpretation der Information Rate" Glockensystemfachzeitschrift, Vol. 35, Juli 1956, Seiten 917-26.
• R. Landauer, IEEE.org, "Ist Information Physischer" Proc. Werkstatt auf der Physik und Berechnung PhysComp '92 (IEEE Setzer. Sci. Presse, Los Alamitos, 1993) Seiten 1-4.
• R. Landauer, IBM.com, "Nichtumkehrbarkeit und Hitzegeneration im Rechenprozess" IBM J. Res. Sich entwickeln. Vol. 5, Nr. 3, 1961

Lehrbücher auf der Informationstheorie

• Claude E. Shannon, Warren Weaver. Die Mathematische Theorie der Kommunikation. Univ der Presse von Illinois, 1949. Internationale Standardbuchnummer 0-252-72548-4
• Robert Gallager. Informationstheorie und Zuverlässige Kommunikation. New York: John Wiley and Sons, 1968. Internationale Standardbuchnummer 0-471-29048-3
• Robert B. Ash. Informationstheorie. New York: Zwischenwissenschaft, 1965. Internationale Standardbuchnummer 0-470-03445-9. New York: Dover 1990. Internationale Standardbuchnummer 0-486-66521-6
• Thomas M. Cover, Joy A. Thomas. Elemente der Informationstheorie, 1. Ausgabe. New York: Wiley-Zwischenwissenschaft, 1991. Internationale Standardbuchnummer 0-471-06259-6.

:2nd-Ausgabe. New York: Wiley-Zwischenwissenschaft, 2006. Internationale Standardbuchnummer 0-471-24195-4.

• Imre Csiszar, Janos Korner. Informationstheorie: Das Codieren von Lehrsätzen für Getrennte Memoryless Systeme Akademiai Kiado: 2. Ausgabe, 1997. Internationale Standardbuchnummer 963-05-7440-3
• Raymond W. Yeung. Eine Vorspeise in der Informationstheorie Kluwer Akademische Herausgeber / Plenum-Herausgeber, 2002. Internationale Standardbuchnummer 0-306-46791-7
• David J. C. MacKay. Informationstheorie, Schlussfolgerung und das Lernen von Algorithmen Cambridge: Universität von Cambridge Presse, 2003. Internationale Standardbuchnummer 0-521-64298-1
• Raymond W. Yeung. Informationstheorie und Netz, das Springer 2008, 2002 Codiert. Internationale Standardbuchnummer 978-0-387-79233-0
• Stanford Goldman. Informationstheorie. New York: Prentice Hall, 1953. New York: Internationale 1968-Standardbuchnummer von Dover 0-486-62209-6, 2005 internationale Standardbuchnummer 0-486-44271-3
• Fazlollah Reza. Eine Einführung in die Informationstheorie. New York: McGraw-Hügel 1961. New York: Dover 1994. Internationale Standardbuchnummer 0-486-68210-2
• Masud Mansuripur. Einführung in die Informationstheorie. New York: Prentice Hall, 1987. Internationale Standardbuchnummer 0-13-484668-0
• Christoph Arndt: Informationsmaßnahmen, Information und seine Beschreibung in der Wissenschaft und Technik (Springer-Reihe: Signale und Nachrichtentechnologie), 2004, internationale Standardbuchnummer 978-3-540-40855-0

Andere Bücher

• Leon Brillouin, Wissenschaft und Informationstheorie, Mineola, New York: Dover, [1956, 1962] 2004. Internationale Standardbuchnummer 0-486-43918-6
• James Gleick, New York: Pantheon, 2011. Internationale Standardbuchnummer 978-0375423727
• A. Ich. Khinchin, Mathematische Fundamente der Informationstheorie, New York: Dover, 1957. Internationale Standardbuchnummer 0-486-60434-9
• H. S. Leff und A. F. Rex, Redakteure, der Dämon von Maxwell: Wärmegewicht, Information, Computerwissenschaft, Universität von Princeton Presse, Princeton, New Jersey (1990). Internationale Standardbuchnummer 0 691 08727 X
• Tom Siegfried, Das Bit und das Pendel, Wiley, 2000. Internationale Standardbuchnummer 0-471-32174-5
• Charles Seife, Das Weltall, den Wikinger, 2006 Decodierend. Internationale Standardbuchnummer 0 670 03441 X
• Jeremy Campbell, Grammatical Man, Touchstone/Simon & Schuster, 1982, internationale Standardbuchnummer 0-671-44062-4
• Henri Theil, Volkswirtschaft und Information Theory, Rand McNally & Company - Chicago, 1967.

Links

• alum.mit.edu, Eprint, Schneider, T. D., "Informationstheorie-Zündvorrichtung"
• ND.edu, Srinivasa, S. "Eine Rezension auf der Multivariate gegenseitigen Information"
• Chem.wisc.edu, Zeitschrift von chemischer Ausbildung, hergeschobenen Karten, unordentlichen Schreibtischen und unordentlichen Schlafsaal-Zimmern - Beispiele der Wärmegewicht-Zunahme? Quatsch!
• ITsoc.org, IEEE Informationstheorie-Gesellschaft und ITsoc.org Übersichtsartikel
• Cam.ac.uk, Online-Lehrbuch: "Informationstheorie, Schlussfolgerung und das Lernen von Algorithmen" durch David MacKay - das Geben einer unterhaltenden und gründlichen Einführung in die Theorie von Shannon, einschließlich der modernsten Methoden davon, Theorie, wie das arithmetische Codieren, die Paritätskontrolle-Codes der niedrigen Dichte und die Turbocodes zu codieren.
• UMBC.edu, Eprint, Erill, I., "Eine sanfte Einführung in den Informationsinhalt im Abschrift-Faktor verbindliche Seiten"