Die Methode von kleinsten Quadraten ist eine Standardannäherung an die ungefähre Lösung überentschlossener Systeme, d. h., Sätze von Gleichungen, in denen es mehr Gleichungen gibt als unknowns. "Kleinste Quadrate" bedeuten, dass die gesamte Lösung die Summe der Quadrate der in den Ergebnissen jeder einzelnen Gleichung gemachten Fehler minimiert.

Die wichtigste Anwendung ist in der Datenanprobe. Die besten fügen den Am-Wenigsten-Quadratsinn ein minimiert die Summe von kariertem residuals, ein restliches Wesen der Unterschied zwischen einem beobachteten Wert und dem taillierten durch ein Modell zur Verfügung gestellten Wert. Wenn das Problem wesentliche Unklarheiten in der unabhängigen Variable hat (die 'x' Variable), dann haben einfaches rückwärts Gehen und kleinste Quadratmethoden Probleme; in solchen Fällen kann die Methodik, die erforderlich ist, um Modelle der Fehler in den Variablen zu passen, statt dessen für kleinste Quadrate betrachtet werden.

Kleinste Quadratprobleme fallen in zwei Kategorien: Geradlinig oder gewöhnlich kleinste Quadrate und nichtlinear kleinste Quadrate, je nachdem ob die residuals im ganzen unknowns geradlinig sind. Das geradlinige Am-Wenigsten-Quadratproblem kommt in der statistischen Regressionsanalyse vor; es hat eine Lösung der geschlossenen Form. Eine Lösung der geschlossenen Form (oder Ausdruck der geschlossenen Form) ist jede Formel, die in einer begrenzten Zahl von Standardoperationen bewertet werden kann. Das nichtlineare Problem hat keine Lösung der geschlossenen Form und wird gewöhnlich durch die wiederholende Verbesserung behoben; bei jeder Wiederholung wird dem System durch ein geradliniges näher gekommen, so ist die Kernberechnung in beiden Fällen ähnlich.

Die Am-Wenigsten-Quadratmethode wurde zuerst von Carl Friedrich Gauss 1794 beschrieben. Kleinste Quadrate entsprechen dem maximalen Wahrscheinlichkeitskriterium, wenn die experimentellen Fehler eine Normalverteilung haben und auch als eine Methode des Moment-Vorkalkulatoren abgeleitet werden können.

Die folgende Diskussion wird größtenteils in Bezug auf geradlinige Funktionen präsentiert, aber der Gebrauch von Am-Wenigsten-Quadraten ist gültig und für allgemeinere Familien von Funktionen praktisch. Außerdem durch die wiederholende Verwendung lokaler quadratischer Annäherung an die Wahrscheinlichkeit (durch die Information von Fisher) kann die Am-Wenigsten-Quadratmethode verwendet werden, um ein verallgemeinertes geradliniges Modell zu passen.

Für das Thema, einer Funktion durch eine Summe von anderen mit einer objektiven auf karierten Entfernungen gestützten Funktion näher zu kommen, sieh kleinste Quadrate (Funktionsannäherung).

Geschichte

Zusammenhang

Die Methode von kleinsten Quadraten ist aus den Feldern der Astronomie und Erdmessung als Wissenschaftler gewachsen, und Mathematiker haben sich bemüht, Lösungen der Herausforderungen zur Verfügung zu stellen, die Ozeane der Erde während des Alters der Erforschung zu befahren. Die genaue Beschreibung des Verhaltens von Himmelskörpern war Schlüssel zum Ermöglichen von Schiffe, in offenen Meeren zu segeln, wo bevor sich Matrosen auf das Landzielen verlassen hatten, um die Positionen ihrer Schiffe zu bestimmen.

Die Methode war der Höhepunkt von mehreren Fortschritten, die während des Kurses des achtzehnten Jahrhunderts stattgefunden haben:

• Die Kombination von verschiedenen Beobachtungen, die unter denselben Bedingungen gegen das einfache Tun von jemandes Bestes genommen sind, eine einzelne Beobachtung genau zu beobachten und zu registrieren. Diese Annäherung wurde namentlich von Tobias Mayer verwendet, während man den librations des Monds studiert hat.
• Die Kombination von verschiedenen Beobachtungen als seiend die beste Schätzung des wahren Werts; Fehler nehmen mit der Ansammlung aber nicht Zunahme ab, die vielleicht zuerst von Roger Cotes ausgedrückt ist.
• Die Kombination von verschiedenen unter verschiedenen Bedingungen genommenen Beobachtungen, wie namentlich durchgeführt, durch Roger Joseph Boscovich in seiner Arbeit an der Gestalt der Erde und Pierre-Simon Laplaces in seiner Arbeit im Erklären der Unterschiede in der Bewegung Jupiters und Saturns.
• Die Entwicklung eines Kriteriums, das bewertet werden kann, um zu bestimmen, als die Lösung mit dem minimalen Fehler erreicht, von Laplace in seiner Methode von Kleinsten Quadraten entwickelt worden ist.

Die Methode

Carl Friedrich Gauss wird das Entwickeln der Grundlagen der Basis für die Am-Wenigsten-Quadratanalyse 1795 im Alter von achtzehn Jahren zugeschrieben. Legendre war erst, um die Methode jedoch zu veröffentlichen.

Eine frühe Demonstration der Kraft der Methode von Gauss ist gekommen, als es verwendet wurde, um die zukünftige Position des kürzlich entdeckten Asteroiden Ceres vorauszusagen. Am 1. Januar 1801 hat der italienische Astronom Giuseppe Piazzi Ceres entdeckt und ist im Stande gewesen, seinen Pfad seit 40 Tagen zu verfolgen, bevor er im grellen Schein der Sonne verloren wurde. Gestützt darauf Daten haben Astronomen gewünscht, die Position von Ceres zu bestimmen, nachdem es von hinter der Sonne erschienen ist, ohne die nichtlinearen Gleichungen des komplizierten Keplers der planetarischen Bewegung zu lösen. Die einzigen Vorhersagen, die erfolgreich ungarischem Astronomen Franz Xaver von Zach erlaubt haben, Ceres umzusiedeln, waren diejenigen, die vom 24-jährigen Gauss durchgeführt sind, der Am-Wenigsten-Quadratanalyse verwendet.

Gauss hat die Methode bis 1809 nicht veröffentlicht, als es im Volumen zwei seiner Arbeit an der himmlischen Mechanik, Theoria Motus Corporum Coelestium in sectionibus conicis solem ambientium erschienen ist.

1822 ist Gauss im Stande gewesen festzustellen, dass die Am-Wenigsten-Quadratannäherung an die Regressionsanalyse im Sinn optimal ist, die in einem geradlinigen Modell, wo die Fehler eine bösartige von der Null haben, unkorreliert sind, und gleiche Abweichungen haben, ist der beste geradlinige unvoreingenommene Vorkalkulator der Koeffizienten der Am-Wenigsten-Quadratvorkalkulator. Dieses Ergebnis ist als der Lehrsatz von Gauss-Markov bekannt.

Die Idee von der Am-Wenigsten-Quadratanalyse wurde auch vom Franzosen Adrien-Marie Legendre 1805 und dem Amerikaner Robert Adrain 1808 unabhängig formuliert. In den nächsten zwei Jahrhunderten haben Arbeiter in der Theorie von Fehlern und in der Statistik viele verschiedene Weisen gefunden, kleinste Quadrate durchzuführen.

Problem-Behauptung

Das Ziel besteht daraus, die Rahmen einer Musterfunktion anzupassen, am besten eine Datei zu passen. Eine einfache Datei besteht aus N-Punkten (Datenpaare), ich = 1..., n, wo eine unabhängige Variable ist und eine abhängige Variable ist, deren Wert durch die Beobachtung gefunden wird. Die Musterfunktion hat die Form, wo die M regulierbare Rahmen im Vektoren gehalten wird. Die Absicht ist, die Parameter-Werte für das Modell zu finden, das "am besten" die Daten passt. Kleinste Quadratmethode findet sein Optimum wenn die Summe, S, karierten residuals

:

ist ein Minimum. Ein restlicher wird als der Unterschied zwischen dem Ist-Wert der abhängigen Variable und dem durch das Modell vorausgesagten Wert definiert.

:.

Ein Beispiel eines Modells ist das der Gerade. Den Abschnitt als und der Hang als anzeigend, wird durch die Musterfunktion gegeben. Sieh geradlinig kleinste Quadrate dafür haben völlig Beispiel dieses Modells ausgearbeitet.

Ein Datenpunkt kann aus mehr als einer unabhängiger Variable bestehen. Für ein Beispiel, wenn es ein Flugzeug an eine Reihe von Höhe-Maßen passt, ist das Flugzeug eine Funktion von zwei unabhängigen Variablen, x und z, sagen. Im allgemeinsten Fall kann es ein oder unabhängigere Variablen und ein oder abhängigere Variablen an jedem Datenpunkt geben.

Beschränkungen

Diese Formulierung des rückwärts Gehens zieht nur residuals in der abhängigen Variable in Betracht. Es gibt zwei ziemlich verschiedene Zusammenhänge, in denen verschiedene Implikationen gelten:

• Rückwärts Gehen für die Vorhersage. Hier wird ein Modell geeignet, um eine Vorhersageregel für die Anwendung in einer ähnlichen Situation zur Verfügung zu stellen, für die die für die Anprobe verwendeten Daten gelten. Hier würden die abhängigen Variablen entsprechend solcher zukünftiger Anwendung denselben Typen des Fehlers in Beobachtung wie diejenigen in den für die Anprobe verwendeten Daten unterworfen sein. Es entspricht deshalb logisch, um die Am-Wenigsten-Quadratvorhersageregel für solche Daten zu verwenden.
• Rückwärts Gehen, für eine "wahre Beziehung" zu passen. In der Standardregressionsanalyse, die zu Anprobe durch kleinste Quadrate führt, gibt es eine implizite Annahme, dass Fehler in der unabhängigen Variable Null oder ausschließlich kontrolliert sind, um unwesentlich zu sein. Wenn Fehler in der unabhängigen Variable nichtunwesentlich sind, können Modelle des Maß-Fehlers verwendet werden; solche Methoden können zu Parameter-Schätzungen, Hypothese-Prüfung und Vertrauensintervallen führen, die die Anwesenheit von Fehlern in Beobachtung in den unabhängigen Variablen in Betracht ziehen. Eine alternative Annäherung soll ein Modell durch die Summe kleinste Quadrate passen; das kann als das Bringen einer pragmatischen Annäherung an das Ausgleichen der Effekten der verschiedenen Quellen des Fehlers in der Formulierung einer objektiven Funktion für den Gebrauch in der Musteranprobe angesehen werden.

Das Lösen kleinsten Quadratproblems

Das Minimum der Summe von Quadraten wird durch das Setzen des Anstiegs auf die Null gefunden. Da das Modell M Rahmen enthält, gibt es M Anstieg-Gleichungen.

:

und da die Anstieg-Gleichungen werden

:.

Die Anstieg-Gleichungen wenden auf alle kleinste Quadratprobleme an. Jedes besondere Problem verlangt besondere Ausdrücke für das Modell und seine partiellen Ableitungen.

Geradlinig kleinste Quadrate

Ein Modell des rückwärts Gehens ist ein geradliniges, wenn das Modell eine geradlinige Kombination der Rahmen, d. h., umfasst

:

wo die Koeffizienten Funktionen dessen sind.

Das Lassen

:

wir können dann sehen, dass in diesem Fall die am wenigsten Quadratschätzung (oder Vorkalkulator, im Zusammenhang einer zufälligen Probe), wird durch gegeben

:

Weil eine Abstammung dieser Schätzung Geradlinig kleinste Quadrate (Mathematik) sieht.

Nichtlinear kleinste Quadrate

Es gibt keine Lösung der geschlossenen Form eines nichtlinearen kleinstes Quadratproblem. Statt dessen werden numerische Algorithmen verwendet, um den Wert der Rahmen zu finden, die das Ziel minimieren. Die meisten Algorithmen schließen Auswahl-Anfangswerte für die Rahmen ein. Dann werden die Rahmen wiederholend raffiniert, d. h. die Werte werden durch die aufeinander folgende Annäherung erhalten.

:

k ist eine Wiederholungszahl und der Vektor der Zunahme, ist als der Verschiebungsvektor bekannt. In einigen allgemein verwendeten Algorithmen bei jeder Wiederholung kann das Modell linearized durch die Annäherung an eine erste Ordnung Reihenentwicklung von Taylor über sein

:\begin {richten }\aus

f (x_i, \boldsymbol \beta) & = f^k (x_i, \boldsymbol \beta) + \sum_j \frac {\\teilweiser f (x_i, \boldsymbol \beta)} {\\teilweiser \beta_j} \left (\beta_j-{\\beta_j} ^k \right) \\

& = f^k (x_i, \boldsymbol \beta) + \sum_j J_ {ij} \Delta\beta_j.

\end {richten }\aus</Mathematik>

Der Jacobian, J, ist eine Funktion von Konstanten, der unabhängigen Variable und den Rahmen, so ändert es sich von einer Wiederholung bis das folgende. Die residuals werden durch gegeben

:.

Um die Summe von Quadraten zu minimieren, wird die Anstieg-Gleichung auf die Null gesetzt und für gelöst

:

der, auf der Neuordnung, M gleichzeitige geradlinige Gleichungen, die normalen Gleichungen werden.

:

Die normalen Gleichungen werden in der Matrixnotation als geschrieben

:

Das sind die Definieren-Gleichungen des Gauss-Newton-Algorithmus.

Unterschiede zwischen geradlinigem und nichtlinearem kleinste Quadrate

• Die Musterfunktion, f, in LLSQ (geradlinig kleinste Quadrate) ist eine geradlinige Kombination von Rahmen der Form Das Modell kann eine Gerade, eine Parabel oder jede andere geradlinige Kombination von Funktionen vertreten. In NLLSQ (nichtlinear kleinste Quadrate) erscheinen die Rahmen als Funktionen, solcher als und so weiter. Wenn die Ableitungen entweder unveränderlich sind oder nur von den Werten der unabhängigen Variable abhängen, ist das Modell in den Rahmen geradlinig. Sonst ist das Modell nichtlinear.
• Algorithmen, für die Lösung eines NLLSQ Problems zu finden, verlangen Anfangswerte für die Rahmen, LLSQ tut nicht.
• Wie LLSQ verlangen Lösungsalgorithmen für NLLSQ häufig, dass Jacobian berechnet werden. Analytische Ausdrücke für die partiellen Ableitungen können kompliziert werden. Wenn analytische Ausdrücke unmöglich sind, entweder die partiellen Ableitungen zu erhalten, muss durch die numerische Annäherung oder eine Schätzung berechnet werden muss aus Jacobian gemacht werden.
• In der NLLSQ Nichtkonvergenz (Misserfolg des Algorithmus, ein Minimum zu finden), ist ein allgemeines Phänomen, wohingegen der LLSQ allgemein konkav ist, so ist Nichtkonvergenz nicht ein Problem.
• NLLSQ ist gewöhnlich ein wiederholender Prozess. Der wiederholende Prozess muss begrenzt werden, wenn ein Konvergenz-Kriterium zufrieden ist. LLSQ Lösungen können mit direkten Methoden geschätzt werden, obwohl Probleme mit der großen Anzahl von Rahmen normalerweise mit wiederholenden Methoden wie die Methode von Gauss-Seidel behoben werden.
• In LLSQ ist die Lösung einzigartig, aber in NLLSQ kann es vielfache Minima in der Summe von Quadraten geben.
• Unter der Bedingung, dass die Fehler mit den Prophet-Variablen unkorreliert sind, gibt LLSQ unvoreingenommene Schätzungen nach, aber sogar unter dieser Bedingung werden NLLSQ Schätzungen allgemein beeinflusst.

Diese Unterschiede müssen betrachtet werden, wann auch immer die Lösung eines nichtlinearen kleinstes Quadratproblem gesucht wird.

Kleinste Quadrate, Regressionsanalyse und Statistik

Die Methoden von kleinsten Quadraten und Regressionsanalyse sind begrifflich verschieden. Jedoch wird die Methode von kleinsten Quadraten häufig verwendet, um Vorkalkulatoren und andere Statistik in der Regressionsanalyse zu erzeugen.

Betrachten Sie ein einfaches Beispiel als gezogen von der Physik. Ein Frühling sollte dem Gesetz von Hooke folgen, das feststellt, dass die Erweiterung eines Frühlings zur Kraft, F, angewandt darauf proportional ist.

:

setzt das Modell ein, wo F die unabhängige Variable ist. Um die Kraft unveränderlich, k zu schätzen, wird eine Reihe von n Maßen mit verschiedenen Kräften eine Reihe von Daten erzeugen, wo y eine gemessene Frühlingserweiterung ist. Jede experimentelle Beobachtung wird etwas Fehler enthalten. Wenn wir diesen Fehler anzeigen, können wir ein empirisches Modell für unsere Beobachtungen, angeben

:

Es gibt viele Methoden, die wir verwenden könnten, um den unbekannten Parameter k zu schätzen. Wenn wir bemerken, dass die n Gleichungen in der M Variablen in unseren Daten ein überentschlossenes System mit unbekannten und n Gleichungen umfassen, können wir beschließen, k zu schätzen, der kleinste Quadrate verwendet. Die Summe von zu minimierenden Quadraten ist

:

Kleinste Quadratschätzung der Kraft unveränderlich, k, wird durch gegeben

:

Hier wird es angenommen, dass die Anwendung der Kraft den Frühling veranlasst, sich auszubreiten und, die um kleinste Quadratanprobe unveränderliche Kraft abgeleitet, kann die Erweiterung aus dem Gesetz von Hooke vorausgesagt werden.

In der Regressionsanalyse gibt der Forscher ein empirisches Modell an. Zum Beispiel ist ein sehr allgemeines Modell das Modell der Gerade, das verwendet wird, um zu prüfen, wenn es eine geradlinige Beziehung zwischen der abhängigen und unabhängigen Variable gibt. Wenn, wie man findet, eine geradlinige Beziehung besteht, wie man sagt, werden die Variablen aufeinander bezogen. Jedoch beweist Korrelation Verursachung nicht, weil beide Variablen mit anderem aufeinander bezogen, Variablen verborgen werden können, oder die abhängige Variable "umkehren" kann, verursachen die unabhängigen Variablen, oder die Variablen können sonst unecht aufeinander bezogen werden. Nehmen Sie zum Beispiel an, dass es eine Korrelation zwischen Todesfällen durch das Ertrinken und dem Volumen von Eis-Verkäufen an einem besonderen Strand gibt. Und doch werden sowohl die Anzahl der Leute schwimmen gehend als auch das Volumen der Eis-Umsatzsteigerung als das Wetter heißer, und vermutlich wird die Zahl von Todesfällen durch das Ertrinken mit der schwimmen gehenden Anzahl der Leute aufeinander bezogen. Vielleicht veranlasst eine Zunahme in Schwimmern beide die anderen Variablen zuzunehmen.

Um statistische Tests auf den Ergebnissen zu machen, ist es notwendig, Annahmen über die Natur der experimentellen Fehler zu machen. Ein allgemeiner (aber nicht notwendig) Annahme ist, dass die Fehler einer Normalverteilung gehören. Der Hauptgrenzwertsatz unterstützt die Idee, dass das eine gute Annäherung in vielen Fällen ist.

• Der Lehrsatz von Gauss-Markov. In einem geradlinigen Modell, in dem die Fehler durch die unabhängigen Variablen bedingte Erwartungsnull haben, sind unkorreliert und haben gleiche Abweichungen, den besten geradlinigen unvoreingenommenen Vorkalkulatoren jeder geradlinigen Kombination der Beobachtungen, ist sein Am-Wenigsten-Quadratvorkalkulator. "Am besten" bedeutet, dass kleinste Quadratvorkalkulatoren der Rahmen minimale Abweichung haben. Die Annahme der gleichen Abweichung ist gültig, wenn die Fehler alle demselben Vertrieb gehören.
• In einem geradlinigen Modell, wenn die Fehler einer Normalverteilung gehören, sind kleinste Quadratvorkalkulatoren auch die maximalen Wahrscheinlichkeitsvorkalkulatoren.

Jedoch, wenn die Fehler nicht normalerweise verteilt werden, deutet ein Hauptgrenzwertsatz häufig dennoch an, dass die Parameter-Schätzungen ungefähr normalerweise verteilt werden, so lange die Probe vernünftig groß ist. Deshalb in Anbetracht des wichtigen Eigentums, dass der bösartige Fehler der unabhängigen Variablen unabhängig ist, ist der Vertrieb des Fehlerbegriffes nicht ein wichtiges Problem in der Regressionsanalyse. Spezifisch ist es nicht normalerweise wichtig, ob der Fehlerbegriff einer Normalverteilung folgt.

In kleinster Quadratberechnung mit Einheitsgewichten, oder im geradlinigen rückwärts Gehen, der Abweichung auf dem jth Parameter,

angezeigt, wird gewöhnlich mit geschätzt

:

wo die wahre restliche Abweichung σ durch eine Schätzung ersetzt wird, die auf dem minimierten Wert der Summe der Quadratziel-Funktion S gestützt ist. Der Nenner, n-m, ist die statistischen Grade der Freiheit; sieh wirksame Grade der Freiheit für Generalisationen.

Vertrauensgrenzen können gefunden werden, ob der Wahrscheinlichkeitsvertrieb der Rahmen bekannt ist, oder eine asymptotische Annäherung gemacht oder angenommen wird. Ebenfalls können statistische Tests auf dem residuals gemacht werden, wenn der Wahrscheinlichkeitsvertrieb des residuals bekannt oder angenommen ist. Der Wahrscheinlichkeitsvertrieb jeder geradlinigen Kombination der abhängigen Variablen kann abgeleitet werden, wenn der Wahrscheinlichkeitsvertrieb von experimentellen Fehlern bekannt oder angenommen ist. Schlussfolgerung ist besonders aufrichtig, wenn, wie man annimmt, die Fehler einer Normalverteilung folgen, die andeutet, dass die Parameter-Schätzungen und residuals auch normalerweise bedingt durch die Werte der unabhängigen Variablen verteilt werden.

Beschwert kleinste Quadrate

Die Ausdrücke, die oben gegeben sind, basieren auf der impliziten Annahme, dass die Fehler mit einander und mit den unabhängigen Variablen unkorreliert sind und gleiche Abweichung haben. Der Lehrsatz von Gauss-Markov zeigt, dass wenn das so ist, ein am besten geradliniger unvoreingenommener Vorkalkulator (BLUE) ist. Wenn, jedoch, die Maße unkorreliert sind, aber verschiedene Unklarheiten haben, könnte eine modifizierte Annäherung angenommen werden. Aitken hat gezeigt, dass, wenn eine belastete Summe von kariertem residuals minimiert wird, BLAU ist, wenn jedes Gewicht dem Gegenstück der Abweichung des Maßes gleich ist.

: