In der Informationstheorie ist das asymptotische equipartition Eigentum (AEP) ein allgemeines Eigentum der Produktionsproben einer stochastischen Quelle. Es ist für das Konzept des typischen in Theorien der Kompression verwendeten Satzes grundsätzlich.

Grob sprechend, stellt der Lehrsatz fest, dass, obwohl es viele Reihen von Ergebnissen gibt, die durch einen Zufallsprozess erzeugt werden können, wirklich erzeugter derjenige am wahrscheinlichsten von einem lose definierten Satz von Ergebnissen ist, dass alle ungefähr dieselbe Chance haben, wirklich begriffener derjenige zu sein. (Das ist eine Folge des Gesetzes der großen Anzahl und der ergodic Theorie.), Obwohl es individuelle Ergebnisse gibt, die eine höhere Wahrscheinlichkeit haben als jedes Ergebnis in diesem Satz, versichert die riesengroße Zahl von Ergebnissen im Satz fast, dass das Ergebnis aus dem Satz kommen wird.

Im Feld der Pseudozufallszahl-Generation wird ein Kandidat-Generator der unentschiedenen Qualität, deren Produktionsfolge zu weit außerhalb des typischen Satzes durch einige statistische Kriterien liegt, als ungenügend zufällig zurückgewiesen. So, obwohl der typische Satz lose definiert wird, entstehen praktische Begriffe bezüglich genügend typicality.

Definition

In Anbetracht einer diskreten Zeit stationärer ergodic stochastischer Prozess auf dem Wahrscheinlichkeitsraum ist AEP eine Behauptung das

:

wo den Prozess anzeigt, der auf die Dauer beschränkt ist, und oder einfach die Wärmegewicht-Rate dessen anzeigt, der für die ganze diskrete Zeit stationäre Prozesse einschließlich der ergodic bestehen muss. AEP wird für den begrenzt geschätzten bewiesen (d. h.

AEP für die diskrete Zeit i.i.d. Quellen

Gegeben ist eine i.i.d. Quelle, seine Zeitreihe

X..., X ist i.i.d. mit dem Wärmegewicht H (X) im getrennt geschätzten Fall und Differenzialwärmegewicht im dauernd geschätzten Fall. Das schwache Gesetz der großen Anzahl gibt den AEP mit der Konvergenz in der Wahrscheinlichkeit,

:

\lim_ {n\to\infty }\\Pr\left [\left |-\frac {1} {n} \log p (X_1, X_2..., X_n) - H (X) \right |> \epsilon\right] =0 \qquad \forall \epsilon> 0.

</Mathematik>

da das Wärmegewicht der Erwartung dessen gleich ist.

Das starke Gesetz der Vielzahl behauptet die stärkere fast sichere Konvergenz,

:

\Pr\left [\lim_ {n\to\infty} - \frac {1} {n} \log p (X_1, X_2..., X_n) = H (X) \right] =1

</Mathematik>

der das Ergebnis vom schwachen Gesetz der großen Anzahl einbezieht.

AEP für die diskrete Zeit begrenzt geschätzte stationäre ergodic Quellen

Denken Sie einen begrenzt geschätzten Beispielraum, d. h.

• Lassen Sie zeigen eine messbare Menge für einen an
• Parametrisieren Sie die gemeinsame Wahrscheinlichkeit durch und x als
• Parametrisieren Sie die bedingte Wahrscheinlichkeit durch und als.
• Nehmen Sie die Grenze der bedingten Wahrscheinlichkeit als und zeigen Sie es als an
• Diskutieren Sie die zwei Begriffe der Wärmegewicht-Rate und bestehen Sie, und sind für jeden stationären Prozess einschließlich des stationären ergodischen Prozesses gleich. Zeigen Sie es als an.
• Behaupten Sie, dass beide und, wo der Zeitindex ist, stationäre ergodische Prozesse sind, deren Beispielmittel fast sicher zu einigen Werten zusammenlaufen, die durch und beziehungsweise angezeigt sind.
• Definieren Sie die-Th-Ordnungsannäherung von Markov an die Wahrscheinlichkeit als

:

• Behaupten Sie, dass das von der Annahme des begrenzten Werts begrenzt ist.
• Der Schnellzug in Bezug auf die Probe, die und Show bösartig ist, dass es fast sicher zu zusammenläuft
• Definieren Sie, der ein Wahrscheinlichkeitsmaß ist.

Der Schnellzug in Bezug auf die Probe, die und Show bösartig ist, dass es fast sicher zu zusammenläuft

• Behaupten Sie dass als das Verwenden des stationarity des Prozesses.
• Behaupten Sie dass mit dem Martingal-Konvergenz-Lehrsatz von Lévy und der Annahme des begrenzten Werts.
• Zeigen Sie das, das, wie diskutiert, vorher begrenzt ist.
• Zeigen Sie das, indem Sie auf der unendlichen Vergangenheit bedingen und die Erwartung wiederholen.
• Zeigen Sie dass mit der Ungleichheit von Markov und der Erwartung abgeleitet vorher.
• Zeigen Sie ähnlich das, das dazu gleichwertig ist.
• Zeigen Sie diesem von beiden, und sind fast sicher durch das Setzen für irgendwelchen und die Verwendung des Lemmas von Borel-Cantelli nichtpositiv.
• Zeigen Sie, dass und dessen niedriger sind und ober begrenzt fast sicher durch und beziehungsweise dadurch, die Logarithmen im vorherigen Ergebnis zu zerbrechen.
• Vollenden Sie den Beweis, indem Sie darauf hinweisen, dass, wie man zeigt, sich die oberen und niedrigeren Grenzen vorher als nähern.

AEP für die nichtstationäre Quelle der diskreten Zeit, die unabhängige Symbole erzeugt

Die Annahmen des stationarity/ergodicity/identical Vertriebs von zufälligen Variablen sind für den AEP nicht notwendig, um zu halten. Tatsächlich, wie intuitiv ziemlich klar ist, verlangt der AEP, dass nur eine Form des Gesetzes der großen Anzahl hält, der ziemlich allgemein ist. Jedoch muss der Ausdruck angemessen verallgemeinert werden, und die Bedingungen müssen genau formuliert werden.

Wir nehmen an, dass die Quelle unabhängige Symbole mit vielleicht der verschiedenen Produktionsstatistik in jedem Moment erzeugt. Wir nehmen an, dass die Statistiken des Prozesses völlig, d. h. der Randvertrieb des Prozesses gesehen jedes Mal bekannt sind, ist Moment bekannt. Der gemeinsame Vertrieb ist gerade das Produkt von marginals. Dann, unter der Bedingung (der entspannt werden kann), das

\lim_ {n\to\infty }\\Pr\left [\left |-\frac {1} {n} \log p (X_1, X_2..., X_n) - \bar {H_n} (X) \right |

</Mathematik>

wo,

• Beweis

Der Beweis folgt aus einer einfachen Anwendung der Ungleichheit von Markov (angewandt auf den zweiten Moment dessen.

\Pr\left [\left |-\frac {1} {n} \log p (X_1, X_2..., X_n) - \bar {H} (X) \right |> \epsilon\right] \leq \frac {E [\sum_ {i=1} ^n [Klotz (p (X_i)] ^2]} {n^2\times \epsilon^2 }\\leq \frac {M} {n\times \epsilon^2} \rightarrow 0 \; \; \; \mbox {als }\\; \; \; n\rightarrow\infty

</Mathematik>

Es ist offensichtlich, dass der Beweis hält, ob jeden Moment für (wieder durch die Ungleichheit von Markov gleichförmig begrenzt wird, die auf den rth Moment angewandt ist).

Sogar diese Bedingung ist nicht notwendig, aber ein nichtstationärer Zufallsprozess gegeben, es sollte nicht schwierig sein zu prüfen, ob der AEP das Verwenden der obengenannten Methode hält.

Anwendungen für AEP für die nichtstationäre Quelle, die unabhängige Symbole erzeugt

Der AEP für die nichtstationäre diskrete Zeit unabhängiger Prozess führt uns zu (unter anderen Ergebnissen) Quelle, die Lehrsatz für die nichtstationäre Quelle (mit unabhängigen Produktionssymbolen) und Kanalcodierlehrsatz für nichtstationäre memoryless Kanäle codiert.

Quelle, die Lehrsatz codiert

Die Quelle, die Lehrsatz für die diskrete Zeit nichtstationäre unabhängige Quellen codiert, kann hier gefunden werden: Quelle, die Lehrsatz codiert

Kanalcodierlehrsatz

Der Kanalcodierlehrsatz für die diskrete Zeit nichtstationäre memoryless Kanäle kann hier gefunden werden: lauter Kanalcodierlehrsatz

AEP für bestimmte dauernd-malige stationäre ergodic Quellen

Funktionen der diskreten Zeit können zu dauernd-maligen Funktionen interpoliert werden. Wenn solche Interpolation messbar ist, können wir den dauernd-maligen stationären Prozess entsprechend als definieren. Wenn AEP für den Prozess der diskreten Zeit, als im i.i.d. oder den begrenzt geschätzten stationären ergodic Fällen gezeigt oben hält, hält es automatisch für den dauernd-maligen stationären Prozess ist darauf durch eine messbare Interpolation zurückzuführen gewesen. d. h.

- \frac {1} {n} \log p (\tilde {X} _0^\\tau) \to H (X)

</Mathematik>

wo dem Grad der Freiheit rechtzeitig entspricht. und sind das Wärmegewicht pro Einheitszeit und pro Grad der Freiheit beziehungsweise, definiert von Shannon.

Eine wichtige Klasse solchen dauernd-maligen stationären Prozesses ist der bandlimited stationäre ergodische Prozess mit dem Beispielraum, der eine Teilmenge der dauernden Funktionen ist. AEP hält, ob der Prozess weiß ist, in welchem Fall die Zeitproben i.i.d sind. oder dort besteht, wo die nominelle Bandbreite, solch ist, dass - Zeitproben unter Drogeneinfluss Werte in einem begrenzten Satz nehmen, in welchem Fall wir die diskrete Zeit begrenzt geschätzter stationärer ergodischer Prozess haben.

Irgendwelche Zeit-Invariant Operationen bewahren auch AEP, stationarity und ergodicity, und wir können einen stationären Prozess zum nichtstationären leicht drehen, ohne AEP durch nulling eine begrenzte Zahl von Zeitproben im Prozess zu verlieren.

Siehe auch

• Typischer Satz
• Quelle, die Lehrsatz codiert
• Codierlehrsatz des lauten Kanals

Das klassische Papier

• Claude E. Shannon. Eine Mathematische Theorie der Kommunikation. Glockensystemfachzeitschrift, Juli/Oktober 1948.

Andere Zeitschriftenartikel

• Paul H. Algoet und Thomas M. Cover. Ein Beweis des Belegten Butterbrots des Lehrsatzes von Shannon-McMillan-Breiman. Die Annalen der Wahrscheinlichkeit, 16 (2): 899-909, 1988.
• Sergio Verdu und Sonne von Te Han. Die Rolle des Asymptotischen Equipartition Eigentums im Geräuschlosen Quellcodieren. IEEE Transaktionen auf der Informationstheorie, 43 (3): 847-857, 1997.

Lehrbücher auf der Informationstheorie

• Thomas M. Cover, Joy A. Thomas. Elemente der Informationstheorie New York: Wiley, 1991. Internationale Standardbuchnummer 0-471-06259-6
• David J. C. MacKay. Informationstheorie, Schlussfolgerung und das Lernen von Algorithmen Cambridge: Universität von Cambridge Presse, 2003. Internationale Standardbuchnummer 0-521-64298-1