Das Aufladen ist ein Maschinenlernmeta-Algorithmus, um das beaufsichtigte Lernen durchzuführen. Das Aufladen basiert auf der von Kearns gestellten Frage: Kann eine Reihe schwacher Anfänger einen einzelnen starken Anfänger schaffen? Ein schwacher Anfänger wird definiert, um ein classifier zu sein, der nur mit der wahren Klassifikation ein bisschen aufeinander bezogen wird (sie kann Beispiele besser etikettieren als das zufällige Schätzen). Im Gegensatz ist ein starker Anfänger ein classifier, der mit der wahren Klassifikation willkürlich gut aufeinander bezogen wird.

Die bejahende Antwort von Schapire auf die Frage von Kearns hat bedeutende Implikationen im Maschinenlernen und der Statistik gehabt, am meisten namentlich zur Entwicklung des Aufladens führend.

Als zuerst eingeführt sich die Hypothese, die Problem einfach erhöht, auf den Prozess bezogen hat, einen schwachen Anfänger in einen starken Anfänger zu verwandeln. "Informell [das Hypothese-Aufladen] fragt Problem, ob ein effizienter Lernalgorithmus […], dass Produktionen eine Hypothese, deren Leistung nur ein bisschen besser ist als das zufällige Schätzen [d. h. ein schwacher Anfänger], die Existenz eines effizienten Algorithmus dass Produktionen eine Hypothese der willkürlichen Genauigkeit [d. h. ein starker Anfänger] einbeziehen." Algorithmen, die Hypothese erreichen, die schnell erhöht, sind einfach bekannt als "das Aufladen" geworden. Freunds Funken und Schapires (Passen [an] ive Wiederstichprobenerhebung und das Kombinieren An), als eine allgemeine Technik, ist mit dem Aufladen mehr oder weniger synonymisch.

Das Aufladen von Algorithmen

Während das Aufladen nicht algorithmisch beschränkt wird, bestehen die meisten erhöhenden Algorithmen daraus, wiederholend schwachen classifiers in Bezug auf einen Vertrieb zu erfahren und sie zu einem endgültigen starken classifier hinzuzufügen. Wenn sie hinzugefügt werden, werden sie normalerweise irgendwie beschwert, der gewöhnlich mit der Genauigkeit der schwachen Anfänger verbunden ist. Nachdem ein schwacher Anfänger hinzugefügt wird, die Daten wird wiederbeschwert: Beispiele, die Gewinn-Gewicht und Beispiele falsch klassifiziert werden, die richtig klassifiziert werden, verlieren Gewicht (einige erhöhende Algorithmen vermindern wirklich das Gewicht wiederholt falsch klassifizierter Beispiele, z.B, Zunahme durch die Mehrheit und BrownBoost). So konzentrieren sich zukünftige schwache Anfänger mehr auf die Beispiele, die vorherige schwache Anfänger falsch klassifiziert haben.

Es gibt viele erhöhende Algorithmen. Die ursprünglichen, die von Robert Schapire (eine rekursive Majoritätstor-Formulierung) und Yoav Freund (Zunahme durch die Mehrheit) vorgeschlagen sind, waren nicht anpassungsfähig und konnten vollen Vorteil der schwachen Anfänger nicht nehmen.

Nur Algorithmen, die nachweisbare erhöhende Algorithmen in wahrscheinlich ungefähr richtig sind, Formulierung erfahrend, werden genannt, Algorithmen erhöhend. Andere Algorithmen, die im Geist dem Aufladen von Algorithmen ähnlich sind, werden manchmal genannt, "Algorithmen stärkend", obwohl sie auch manchmal falsch genannt werden, Algorithmen erhöhend.

Beispiele, Algorithmen zu erhöhen

Die Hauptschwankung zwischen vielen erhöhenden Algorithmen ist ihre Methode, Lehrdatenpunkte und Hypothesen zu beschweren. AdaBoost ist sehr populär und vielleicht historisch am bedeutendsten, weil es der erste Algorithmus war, der sich an die schwachen Anfänger anpassen konnte. Jedoch gibt es viele neuere Algorithmen wie LPBoost, TotalBoost, BrownBoost, MadaBoost, LogitBoost und andere. Viele erhöhende Algorithmen bauen das Fachwerk von AnyBoost ein, das zeigt, dass das Aufladen Anstieg-Abstieg im Funktionsraum das Verwenden einer konvexen Kostenfunktion durchführt. 2008 hat Phillip Long (an Google) und Rocco A. Servedio (Universität von Columbia) eine Zeitung auf der 25. Internationalen Konferenz für das Maschinenlernen veröffentlicht, das darauf hinweist, dass diese Algorithmen in dieser "konvexe potenzielle Boosterraketen nachweisbar rissig gemacht werden, kann zufälliger Klassifikation nicht widerstehen

Geräusch," so das Bilden der Anwendbarkeit solcher Algorithmen für die echte Welt, laute zweifelhafte Dateien.

Siehe auch

Durchführungen

• Orange, freie Daten, die Softwaregefolge, Modul orngEnsemble abbauen
• Weka ist ein Maschinenlerninstrumentarium, das variate Durchführungen anbietet, Algorithmen wie AdaBoost und LogitBoost zu erhöhen
• R Paket führt GBM (Verallgemeinerte Erhöhte Modelle des Rückwärts Gehens) Erweiterungen auf Freunds Algorithmus von AdaBoost und Schapires und die Anstieg-Aufladen-Maschine von Friedman durch.

Kommentare

Notationen

• Yoav Freund und Robert E. Schapire (1997); eine mit der Entscheidung theoretische Generalisation des Online-Lernens und einer Anwendung auf das Aufladen, der Zeitschrift von Computer- und Systemwissenschaften, 55 (1):119-139
• Robert E. Schapire und Yoram Singer (1999); verbesserte Erhöhende Algorithmen mit Vertrauenssteuerpflichtigen Propheten, dem Maschinenlernen, 37 (3):297-336

Außenverbindungen

• Robert E. Schapire (2002); die erhöhende Annäherung an die Maschine, die erfährt: Eine Übersicht, MSRI (mathematisches Wissenschaftsforschungsinstitut) Werkstatt auf der nichtlinearen Bewertung und Klassifikation
• Eine aktuelle Sammlung von Papieren auf dem Aufladen