In der Informationstheorie ist der typische Satz eine Reihe von Folgen, deren Wahrscheinlichkeit zwei erhobenen zur negativen Macht des Wärmegewichtes ihres Quellvertriebs nah ist. Dass dieser Satz Gesamtwahrscheinlichkeit in der Nähe davon hat, ist man eine Folge des asymptotischen equipartition Eigentums (AEP), das eine Art Gesetz der großen Anzahl ist. Der Begriff von typicality ist nur mit der Wahrscheinlichkeit einer Folge und nicht der wirklichen Folge selbst beschäftigt.

Das hat großen Nutzen in der Kompressionstheorie, weil es ein theoretisches Mittel zur Verfügung stellt, um Daten zusammenzupressen, uns erlaubend, jede Folge das X Verwenden nH (X) Bit durchschnittlich zu vertreten, und folglich den Gebrauch des Wärmegewichtes als ein Maß der Information von einer Quelle rechtfertigend.

Der AEP kann auch für eine große Klasse von stationären ergodischen Prozessen bewiesen werden, typischem Satz erlaubend, in allgemeineren Fällen definiert zu werden.

(Schwach) typische Folgen (schwacher typicality, Wärmegewicht typicality)

Wenn eine Folge x..., x von einem i.i.d. Vertrieb X definiert über ein begrenztes Alphabet gezogen wird, dann wird der typische Satz, A als jene Folgen definiert, die befriedigen:

:

2^ {-n (H (X) + \varepsilon)} \leqslant p (x_1, x_2, \dots, x_n) \leqslant 2^ {-n (H (X)-\varepsilon) }\

</Mathematik>

Wo

:

ist das Informationswärmegewicht X. Die Wahrscheinlichkeit muss nur oben innerhalb eines Faktors 2 sein

Es hat die folgenden Eigenschaften, wenn n genug groß ist, kann ε willkürlich klein so dass gewählt werden:

1. Die Wahrscheinlichkeit einer Folge von X, von A gezogen werden, ist größer als 1 &minus; ε\

Für einen allgemeinen stochastischen Prozess {X (t)} mit AEP kann der (schwach) typische Satz ähnlich mit p (x, x..., x) ersetzt durch p (x) (d. h. die Wahrscheinlichkeit der Probe definiert werden, die auf den Zeitabstand [0, τ] beschränkt ist), n der Grad der Freiheit des Prozesses im Zeitabstand und H (X) zu sein, die Wärmegewicht-Rate seiend. Wenn der Prozess dauernd geschätzt wird, wird Differenzialwärmegewicht stattdessen verwendet.

Stark typische Folgen (starker typicality, Brief typicality)

Wenn eine Folge x..., x von etwas angegebenem gemeinsamem Vertrieb gezogen wird, der über einen begrenzten oder ein unendliches Alphabet definiert ist, dann wird der stark typische Satz, A als der Satz von Folgen definiert, die befriedigen

:

\left |\frac {N (x^n)} {n}-p (X^n) \right |

wo die Zahl von Ereignissen eines spezifischen Symbols in der Folge ist.

Es kann gezeigt werden, dass stark typische Folgen auch (mit einem verschiedenen unveränderlichen ε), und folglich der Name schwach typisch sind. Die zwei Formen sind jedoch nicht gleichwertig. Starker typicality ist häufig leichter, mit im Beweis von Lehrsätzen für memoryless Kanäle zu arbeiten. Jedoch, wie aus der Definition offenbar ist, wird diese Form von typicality nur für zufällige Variablen definiert, die begrenzte Unterstützung haben.

Gemeinsam typische Folgen

Zwei Folgen und sind gemeinsam ε-typical, wenn das Paar ε-typical in Bezug auf den gemeinsamen Vertrieb und beide ist und ε-typical in Bezug auf ihren Randvertrieb ist und. Der Satz aller dieser Paare von Folgen wird dadurch angezeigt. Gemeinsam werden ε-Typical-N-Tupel-Folgen ähnlich definiert.

Lassen Sie und seien Sie zwei unabhängige Folgen von zufälligen Variablen mit demselben Randvertrieb und. Dann hat der Satz gemeinsam typischer Folgen die folgenden Eigenschaften:

Anwendungen von typicality

Typische Satz-Verschlüsselung

In der Kommunikation verschlüsselt typische Satz-Verschlüsselung nur den typischen Satz einer stochastischen Quelle mit festen Länge-Block-Codes. Asymptotisch ist es, durch den AEP, lossless und erreicht die minimale der Wärmegewicht-Rate der Quelle gleiche Rate.

Typische Satz-Entzifferung

In der Kommunikation wird typische Satz-Entzifferung in Verbindung mit dem zufälligen Codieren verwendet, um die übersandte Nachricht als diejenige mit einem Kennwort zu schätzen, das gemeinsam ε-typical mit der Beobachtung ist. d. h.

:

wo die Nachrichtenschätzung, das Kennwort der Nachricht und der Beobachtung beziehungsweise sind. wird in Bezug auf den gemeinsamen Vertrieb definiert, wo die Übergangswahrscheinlichkeit ist, die die Kanalstatistik charakterisiert, und etwas Eingangsvertrieb ist, der verwendet ist, um die Kennwörter im zufälligen codebook zu erzeugen.

Universale Prüfung der ungültigen Hypothese

Universaler Kanalcode

Siehe auch

• Asymptotisches equipartition Eigentum

Quelle, die Lehrsatz codiert Codierlehrsatz des lauten Kanals

• C. E. Shannon, "Eine Mathematische Theorie der Kommunikation", Glockensystemfachzeitschrift, vol. 27, Seiten 379-423, 623-656, Juli, Oktober 1948

David J. C. MacKay. Informationstheorie, Schlussfolgerung und das Lernen von Algorithmen Cambridge: Universität von Cambridge Presse, 2003. Internationale Standardbuchnummer 0-521-64298-1