In der Wahrscheinlichkeitstheorie und Statistik sind eine Kovarianz-Matrix (auch bekannt als Streuungsmatrix oder Abweichungskovarianz-Matrix) eine Matrix, deren Element in mir, j Position die Kovarianz zwischen mir und j Elementen eines zufälligen Vektoren (d. h. von einem Vektoren von zufälligen Variablen) ist. Jedes Element des Vektoren ist eine zufällige Skalarvariable, entweder mit einer begrenzten Zahl von beobachteten empirischen Werten oder mit einem begrenzten oder unendlicher Zahl von potenziellen durch einen theoretischen gemeinsamen Wahrscheinlichkeitsvertrieb aller zufälligen Variablen angegebenen Werten.

Intuitiv verallgemeinert die Kovarianz-Matrix den Begriff der Abweichung zu vielfachen Dimensionen. Als ein Beispiel kann die Schwankung in einer Sammlung von zufälligen Punkten im zweidimensionalen Raum nicht völlig durch eine einzelne Zahl charakterisiert werden, noch würde die Abweichungen im x und den y Richtungen enthalten die ganze notwendige Information; 2×2 würde Matrix notwendig sein, um die zweidimensionale Schwankung völlig zu charakterisieren.

Analog der Tatsache, dass es notwendig ist, eine Jute-Matrix zu bauen, um die Konkavität einer Multivariate-Funktion völlig zu beschreiben, ist eine Kovarianz-Matrix notwendig, die Schwankung in einem Vertrieb völlig zu beschreiben.

Definition

Überall in diesem Artikel werden fetter unsubscripted X und Y verwendet, um sich auf zufällige Vektoren zu beziehen, und unfetter subscripted X und Y werden verwendet, um sich auf zufällige Skalare zu beziehen. Wenn die Einträge im Spaltenvektor

:

sind zufällige Variablen, jeder mit der begrenzten Abweichung, dann ist die Kovarianz-Matrix Σ die Matrix, deren (ich j) Zugang die Kovarianz ist

:

\Sigma_ {ij }\

\mathrm {cov} (X_i, X_j)

\mathrm {E }\\beginnen {bmatrix }\

(X_i - \mu_i) (X_j - \mu_j)

\end {bmatrix }\

</Mathematik>

wo

:

\mu_i = \mathrm {E} (X_i) \,

</Mathematik>

ist der erwartete Wert des ith Zugangs im Vektoren X. Mit anderen Worten haben wir

:

\Sigma

\begin {bmatrix }\

\mathrm {E} [(X_1 - \mu_1) (X_1 - \mu_1)] & \mathrm {E} [(X_1 - \mu_1) (X_2 - \mu_2)] & \cdots & \mathrm {E} [(X_1 - \mu_1) (X_n - \mu_n)] \\\\

\mathrm {E} [(X_2 - \mu_2) (X_1 - \mu_1)] & \mathrm {E} [(X_2 - \mu_2) (X_2 - \mu_2)] & \cdots & \mathrm {E} [(X_2 - \mu_2) (X_n - \mu_n)] \\\\

\vdots & \vdots & \ddots & \vdots \\\\

\mathrm {E} [(X_n - \mu_n) (X_1 - \mu_1)] & \mathrm {E} [(X_n - \mu_n) (X_2 - \mu_2)] & \cdots & \mathrm {E} [(X_n - \mu_n) (X_n - \mu_n)]

\end {bmatrix}.

</Mathematik>

Das Gegenteil dieser Matrix ist die umgekehrte Kovarianz-Matrix, auch bekannt als die Konzentrationsmatrix oder Präzisionsmatrix; sieh Präzision (Statistik). Die Elemente der Präzisionsmatrix haben eine Interpretation in Bezug auf teilweise Korrelationen und teilweise Abweichungen.

Generalisation der Abweichung

Die Definition ist oben zur Matrixgleichheit gleichwertig

:

\Sigma =\mathrm {E }\

\left [

\left (

\textbf {X} - \mathrm {E} [\textbf {X}]

\right)

\left (\textbf {X} - \mathrm {E} [\textbf {X}]

\right) ^ {\\rm T }\

\right]

</Mathematik>

Diese Form kann als eine Generalisation der skalargeschätzten Abweichung zu höheren Dimensionen gesehen werden. Rufen Sie das für eine skalargeschätzte zufällige Variable X zurück

:

\sigma^2 = \mathrm {var} (X)

\mathrm {E} [(X-\mathrm {E} (X)) ^2]

\mathrm {E} [(X-\mathrm {E} (X)) \cdot (X-\mathrm {E} (X))]. \,

</Mathematik>

Widerstreitende Nomenklaturen und Notationen

Nomenklaturen unterscheiden sich. Einige Statistiker, im Anschluss an den probabilist William Feller, nennen diese Matrix die Abweichung des zufälligen Vektoren, weil es die natürliche Generalisation zu höheren Dimensionen der 1-dimensionalen Abweichung ist. Andere nennen es die Kovarianz-Matrix, weil es die Matrix von Kovarianzen zwischen den Skalarbestandteilen des Vektoren ist. So

:

\operatorname {var} (\textbf {X})

\operatorname {cov} (\textbf {X})

\mathrm {E }\

\left [

(\textbf {X} - \mathrm {E} [\textbf {X}])

(\textbf {X} - \mathrm {E} [\textbf {X}]) ^ {\\rm T }\

\right].

</Mathematik>

Jedoch ist die Notation für die Quer-Kovarianz zwischen zwei Vektoren normal:

:

\operatorname {cov} (\textbf {X}, \textbf {Y})

\mathrm {E }\\left [

(\textbf {X} - \mathrm {E} [\textbf {X}])

(\textbf {Y} - \mathrm {E} [\textbf {Y}]) ^ {\\rm T }\

\right].</Mathematik>

Die var Notation wird im zweibändigen Buch von William Feller Eine Einführung in die Wahrscheinlichkeitstheorie und Seine Anwendungen gefunden, aber beide Formen sind ziemlich normal, und es gibt keine Zweideutigkeit zwischen ihnen.

Die Matrix wird auch häufig die Abweichungskovarianz-Matrix genannt, da die diagonalen Begriffe tatsächlich Abweichungen sind.

Eigenschaften

Für und, wo X eine zufällige p-dimensional Variable und Y eine zufällige q-dimensional Variable ist, gelten die folgenden grundlegenden Eigenschaften:

ist

1. positiv-halbbestimmt und symmetrisch.
2. Wenn p = q, dann
3. Wenn und, dann unabhängig

sind

wo und zufällige p×1 Vektoren sind, ist ein zufälliger q×1 Vektor, ist q×1 Vektor, und sind q×p matrices.

Diese Kovarianz-Matrix ist ein nützliches Werkzeug in vielen verschiedenen Gebieten. Davon kann eine Transformationsmatrix abgeleitet werden, der demjenigen völlig decorrelate die Daten oder aus einem verschiedenen Gesichtspunkt erlaubt, eine optimale Basis zu finden, für die Daten auf eine Kompaktweise zu vertreten (sieh Quotienten von Rayleigh für einen formellen Beweis und zusätzliche Eigenschaften der Kovarianz matrices).

Das wird Hauptteilanalyse (PCA) genannt, und die Karhunen-Loève verwandeln sich (KL-transform).

Als ein geradliniger Maschinenbediener

Angewandt auf einen Vektoren stellt die Kovarianz-Matrix eine geradlinige Kombination, c, von den zufälligen Variablen, X, auf einen Vektoren von Kovarianzen mit jenen Variablen kartografisch dar:. Behandelt als eine bilineare Form gibt es die Kovarianz zwischen den zwei geradlinigen Kombinationen nach:. Die Abweichung einer geradlinigen Kombination ist dann, seine Kovarianz mit sich.

Ähnlich (pseudo-) stellt umgekehrte Kovarianz-Matrix ein Skalarprodukt zur Verfügung, das die Entfernung von Mahalanobis, ein Maß der "Unwahrscheinlichkeit" von c veranlasst.

Welche matrices sind Kovarianz matrices?

Von der Identität gerade oben (lassen, ein reellwertiger Vektor zu sein)

:

die Tatsache, dass die Abweichung jeder reellwertigen zufälligen Variable, und die Symmetrie der Kovarianz-Matrixdefinition nichtnegativ ist, hieraus folgt dass nur eine positiv-halbbestimmte Matrix eine Kovarianz-Matrix sein kann. Die Antwort auf die gegenteilige Frage, ob jede symmetrische positive halbbestimmte Matrix eine Kovarianz-Matrix ist, ist "ja". Um das zu sehen, nehmen Sie an, dass M p&times;p positiv-halbbestimmte Matrix ist. Vom endlich-dimensionalen Fall des geisterhaften Lehrsatzes, hieraus folgt dass M eine nichtnegative symmetrische Quadratwurzel hat, die durch die M angezeigt werden kann. Lassen Sie, irgendwelcher p&times;1 Spaltenvektor-geschätzte zufällige Variable zu sein, deren Kovarianz-Matrix p&times;p Identitätsmatrix ist. Dann

:

Wie man eine gültige Kovarianz-Matrix findet

In einigen Anwendungen (z.B Datenmodelle von nur teilweise beobachteten Daten bauend), will man die "nächste" Kovarianz-Matrix zu einer gegebenen symmetrischen Matrix (z.B beobachteter Kovarianzen) finden. 2002 hat Higham den Begriff der Nähe mit einer belasteten Norm von Frobenius formalisiert und hat eine Methode zur Verfügung gestellt, für die nächste Kovarianz-Matrix zu schätzen.

Komplizierte zufällige Vektoren

Die Abweichung eines Komplexes skalargeschätzte zufällige Variable mit dem erwarteten Wert μ wird mit der komplizierten Konjugation herkömmlich definiert:

:

\operatorname {var} (z)

\operatorname {E }\

\left [

(z-\mu) (z-\mu) ^ {* }\

\right]</Mathematik>

wo der einer komplexen Zahl verbundene Komplex angezeigt wird; so ist die Abweichung einer komplexen Zahl eine reelle Zahl.

Wenn ein Spaltenvektor Komplex-geschätzter zufälliger Variablen ist, dann stellen die verbundenen um wird sowohl durch das Umstellen als auch durch Konjugieren gebildet. Im folgenden Ausdruck stellt das Produkt eines Vektoren mit seinem verbundenen um läuft auf eine Quadratmatrix als sein expecation hinaus:

:\operatorname {E }\\left [

(Z-\mu) (Z-\mu) ^ {H }\

\right],

</Mathematik>

wo anzeigt, dass die verbundenen umstellen, der auf den Skalarfall anwendbar ist, da das Umstellen eines Skalars noch ein Skalar ist. Die so erhaltene Matrix wird Hermitian positiv-halbbestimmt mit reellen Zahlen in den wichtigen diagonalen und außerdiagonalen komplexen Zahlen sein.

Bewertung

Sieh Bewertung der Kovarianz matrices und Beispielkovarianz-Matrix.

Als ein Parameter eines Vertriebs

Wenn ein Vektor von n vielleicht entsprochen hat, zufällige Variablen wird gemeinsam normalerweise verteilt, oder mehr allgemein elliptisch verteilt, dann kann seine Wahrscheinlichkeitsdichte-Funktion in Bezug auf die Kovarianz-Matrix ausgedrückt werden.

Siehe auch

• Statistik von Multivariate
• Matrix von Gramian
• Zergliederung von Eigenvalue
• Quadratische Form (Statistik)

Weiterführende Literatur