Eine Unterstützungsvektor-Maschine (SVM) ist ein Konzept in der Statistik und Informatik für eine Reihe verwandter beaufsichtigter Lernmethoden, die Daten analysieren und Muster anerkennen, die für die Klassifikation und Regressionsanalyse verwendet sind. Der normale SVM nimmt eine Reihe von Eingangsdaten und sagt für jeden gegebenen Eingang voraus, der zwei möglicher Klassen den Eingang bildet, den SVM einen non-probabilistic binären geradlinigen classifier machend. Angeführt eine Reihe von Lehrbeispielen, jeder, der als das Gehören einer von zwei Kategorien, ein SVM Lehralgorithmus gekennzeichnet ist, baut ein Modell, das neue Beispiele in eine Kategorie oder den anderen zuteilt. Ein SVM Modell ist eine Darstellung der Beispiele als Punkte im Raum, kartografisch dargestellt, so dass die Beispiele der getrennten Kategorien durch eine klare Lücke geteilt werden, die so breit ist wie möglich. Neue Beispiele werden dann in diesen denselben Raum kartografisch dargestellt und vorausgesagt, um einer gestützten Kategorie zu gehören, auf der Seite der Lücke sie darauf fallen.

Formelle Definition

Mehr formell baut eine Unterstützungsvektor-Maschine ein Hyperflugzeug oder Satz von Hyperflugzeugen in einem hohen - oder unendlich-dimensionaler Raum, der für die Klassifikation, das rückwärts Gehen oder die anderen Aufgaben verwendet werden kann. Intuitiv wird eine gute Trennung durch das Hyperflugzeug erreicht, das die größte Entfernung zum nächsten Lehrdatenpunkt jeder Klasse (so genannter funktioneller Rand), seitdem im Allgemeinen das größere der Rand tiefer der Generalisationsfehler des classifier hat.

Wohingegen das ursprüngliche Problem in einem begrenzten dimensionalen Raum festgesetzt werden kann, geschieht es häufig, dass die Sätze, um zu unterscheiden, in diesem Raum nicht linear trennbar sind. Deshalb wurde es vorgeschlagen, dass der ursprüngliche endlich-dimensionale Raum in viel hoch-dimensionalen Raum kartografisch dargestellt wird, vermutlich die in diesem Raum leichtere Trennung machend. Um die rechenbetonte Last angemessen zu halten, werden die durch SVM Schemas verwendeten mappings entworfen, um sicherzustellen, dass Punktprodukte leicht in Bezug auf die Variablen im ursprünglichen Raum, durch das Definieren von ihnen in Bezug auf eine Kernfunktion geschätzt werden können, die ausgewählt ist, um dem Problem anzupassen. Die Hyperflugzeuge im hoch-dimensionalen Raum werden als der Satz von Punkten definiert, deren Skalarprodukt mit einem Vektoren in diesem Raum unveränderlich ist. Die Vektoren, die die Hyperflugzeuge definieren, können gewählt werden, um geradlinige Kombinationen mit Rahmen von Images von Eigenschaft-Vektoren zu sein, die in der Datenbasis vorkommen. Mit dieser Wahl eines Hyperflugzeugs werden die Punkte im Eigenschaft-Raum, die ins Hyperflugzeug kartografisch dargestellt werden, durch die Beziehung definiert: Bemerken Sie, dass, wenn klein wird, wie weiter weg davon wächst, jedes Element in der Summe den Grad der Nähe des Testpunkts zum entsprechenden Datengrundpunkt misst. Auf diese Weise kann die Summe von Kernen oben verwendet werden, um zu messen, die Verhältnisnähe jedes Tests weisen zu den Datenpunkten hin, die in einem oder den anderen der zu unterscheidenden Sätze entstehen. Bemerken Sie die Tatsache, dass der Satz von in jedes Hyperflugzeug kartografisch dargestellten Punkten infolgedessen ziemlich spiralig sein kann, viel komplizierteres Urteilsvermögen zwischen Sätzen erlaubend, die überhaupt im ursprünglichen Raum nicht konvex sind.

Geschichte

Der ursprüngliche SVM Algorithmus wurde von Vladimir N. Vapnik erfunden, und die aktuelle Standardverkörperung (weicher Rand) wurde von Vapnik und Corinna Cortes 1995 vorgeschlagen.

Motivation

Das Klassifizieren von Daten ist eine allgemeine Aufgabe im Maschinenlernen.

Nehmen Sie an, dass einige gegebene Daten anspitzen, dass jeder einer von zwei Klassen gehört, und die Absicht ist zu entscheiden, die einen neuen Datenpunkt klassifizieren, wird darin sein. Im Fall von Unterstützungsvektor-Maschinen wird ein Datenpunkt als ein p-dimensional Vektor (eine Liste von p Zahlen) angesehen, und wir wollen wissen, ob wir solche Punkte mit trennen können (p − 1) - dimensionales Hyperflugzeug. Das wird einen geradlinigen classifier genannt. Es gibt viele Hyperflugzeuge, die die Daten klassifizieren könnten. Eine angemessene Wahl als das beste Hyperflugzeug ist diejenige, die die größte Trennung oder Rand zwischen den zwei Klassen vertritt. So wählen wir das Hyperflugzeug, so dass die Entfernung davon bis den nächsten Datenpunkt auf jeder Seite maximiert wird. Wenn solch ein Hyperflugzeug besteht, ist es als das Hyperflugzeug des maximalen Randes und der geradlinige classifier bekannt, den es definiert, ist als ein maximaler Rand classifier bekannt; oder gleichwertig, der perceptron der optimalen Stabilität.

Geradliniger SVM

Uns werden einige Lehrdaten, eine Reihe von n Punkten der Form gegeben

:

wo der y entweder 1 oder 1 ist, die Klasse anzeigend, der der Punkt gehört. Jeder ist ein p-dimensional echter Vektor. Wir wollen das Hyperflugzeug des maximalen Randes finden, das die Punkte teilt, die von denjenigen haben, die haben. Jedes Hyperflugzeug kann als der Satz von Punkten geschrieben werden, die befriedigen

:

wo das Punktprodukt und den normalen Vektoren zum Hyperflugzeug anzeigt. Der Parameter bestimmt den Ausgleich des Hyperflugzeugs vom Ursprung entlang dem normalen Vektoren.

Wir wollen wählen und den Rand oder Entfernung zwischen den parallelen Hyperflugzeugen maximieren, die so einzeln weit sind wie möglich, während sie noch die Daten trennen. Diese Hyperflugzeuge können durch die Gleichungen beschrieben werden

:und:

Bemerken Sie, dass, wenn die Lehrdaten linear trennbar sind, wir die zwei Hyperflugzeuge des Randes in einer Weise auswählen können, wie es keine Punkte zwischen ihnen gibt und dann versucht, ihre Entfernung zu maximieren. Indem wir Geometrie verwenden, finden wir, dass die Entfernung zwischen diesen zwei Hyperflugzeugen ist, so wollen wir minimieren. Da wir auch Datenpunkte davon abhalten müssen, in den Rand zu fallen, fügen wir die folgende Einschränkung hinzu: für jeden irgendein

: der ersten Klasse

oder

: des zweiten.

Das kann als umgeschrieben werden:

:

Wir können das zusammenstellen, um das Optimierungsproblem zu bekommen:

Minimieren Sie (in)

:

unterwerfen Sie (für irgendwelchen)

:

Ursprüngliche Form

Das in der vorhergehenden Abteilung präsentierte Optimierungsproblem ist schwierig zu lösen, weil es || w, die Norm von w abhängt, der eine Quadratwurzel einschließt.

Glücklich ist es möglich, die Gleichung durch das Ersetzen || w mit (der Faktor von 1/2 zu verändern, der für die mathematische Bequemlichkeit wird verwendet), ohne die Lösung zu ändern (das Minimum des Originals, und die modifizierte Gleichung haben denselben w und b). Das ist ein quadratisches Programmieroptimierungsproblem. Klarer:

Minimieren Sie (in):unterwerfen Sie (für irgendwelchen):

Durch das Einführen von Vermehrern von Lagrange kann das vorherige gezwungene Problem als ausgedrückt werden

:

das ist wir suchen nach einem Sattel-Punkt. Dabei alle Punkte, die getrennt werden können, wie nicht von Bedeutung sind, da wir entsprechend der Null untergehen müssen.

Dieses Problem kann jetzt durch quadratische Standardprogrammiertechniken und Programme behoben werden. Die "stationäre" Karush-Kuhn-Tucker Bedingung deutet an, dass die Lösung als eine geradlinige Kombination der Lehrvektoren ausgedrückt werden kann

:

Nur einige werden größer sein als Null. Das Entsprechen ist genau die Unterstützungsvektoren, die auf dem Rand liegen und befriedigen. Von diesem kann das ableiten die Unterstützungsvektoren befriedigen auch

:

der erlaubt, den Ausgleich zu definieren. In der Praxis ist es zum Durchschnitt über alle Unterstützungsvektoren robuster:

:

Doppelform

Das Schreiben der Klassifikationsregel in seiner zwanglosen Doppelform offenbart, dass das maximale Rand-Hyperflugzeug und deshalb die Klassifikationsaufgabe nur eine Funktion der Unterstützungsvektoren, die Lehrdaten ist, die auf dem Rand liegen.

Mit der Tatsache, dass und das Ersetzen, man zeigen kann, dass der Doppel-vom SVM zum folgenden Optimierungsproblem abnimmt:

Maximieren Sie (in)

:unterwerfen Sie (für irgendwelchen):

und zur Einschränkung von der Minimierung in

:

Hier wird der Kern dadurch definiert.

kann dank der Begriffe geschätzt werden:

:

Beeinflusste und unvoreingenommene Hyperflugzeuge

Aus Einfachheitsgründen manchmal ist es erforderlich, dass das Hyperflugzeug den Ursprung des Koordinatensystems durchführt. Solche Hyperflugzeuge werden unvoreingenommen genannt, wohingegen allgemeine Hyperflugzeuge nicht notwendigerweise das Durchführen des Ursprungs voreingenommen genannt werden. Ein unvoreingenommenes Hyperflugzeug kann durch das Setzen im ursprünglichen Optimierungsproblem beachtet werden. Das Doppel-Entsprechen ist zum Doppel-identisch, der oben ohne die Gleichheitseinschränkung gegeben ist

:

Weicher Rand

1995 haben Corinna Cortes und Vladimir N. Vapnik eine modifizierte maximale Rand-Idee vorgeschlagen, die mislabeled Beispiele berücksichtigt. Wenn dort kein Hyperflugzeug besteht, das "ja" und Nein-Beispiele spalten kann, wird die Weiche Rand-Methode ein Hyperflugzeug wählen, das die Beispiele so sauber spaltet wie möglich, während es noch die Entfernung zum nächsten sauber Spalt-Beispiele maximiert. Die Methode führt lockere Variablen ein, die den Grad der falschen Klassifizierung der Daten messen

:

Die objektive Funktion wird dann durch eine Funktion vergrößert, die Nichtnull bestraft, und die Optimierung ein Handel von zwischen einem großen Rand und einer kleinen Fehlerstrafe wird. Wenn die Straffunktion geradlinig ist, wird das Optimierungsproblem:

:unterwerfen Sie (für irgendwelchen):

Diese Einschränkung in (2) zusammen mit dem Ziel der Minderung kann mit Vermehrern von Lagrange, wie getan, oben gelöst werden. Man muss dann das folgende Problem beheben:

:

\left \{\frac {1} {2 }\\| \mathbf {w }\\| ^2

+C \sum_ {i=1} ^n \xi_i

- \sum_ {i=1} ^ {n} {\\alpha_i [y_i (\mathbf {w }\\cdot \mathbf {x_i} - b)-1 + \xi_i]}

- \sum_ {i=1} ^ {n} \beta_i \xi_i \right \} </Mathematik>

damit.

Doppelform

Maximieren Sie (in):unterwerfen Sie (für irgendwelchen):und:

Der Schlüsselvorteil einer geradlinigen Straffunktion besteht darin, dass die lockeren Variablen vom Doppelproblem, mit dem unveränderlichen C das Erscheinen nur als eine zusätzliche Einschränkung auf die Vermehrer von Lagrange verschwinden. Für die obengenannte Formulierung und seinen riesigen Einfluss in der Praxis haben Cortes und Vapnik den 2008-ACM Paris Kanellakis Preis erhalten. Nichtlineare Straffunktionen sind verwendet worden, um besonders die Wirkung von outliers auf dem classifier zu reduzieren, aber wenn Sorge nicht genommen wird, wird das Problem nichtkonvex, und so ist es beträchtlich schwieriger, eine globale Lösung zu finden.

Nichtlineare Klassifikation

Der ursprüngliche optimale Hyperflugzeug-Algorithmus, der von Vapnik 1963 vorgeschlagen ist, war ein geradliniger classifier. Jedoch, 1992, haben Bernhard E. Boser, Isabelle M. Guyon und Vladimir N. Vapnik eine Weise vorgeschlagen, nichtlinearen classifiers zu schaffen, indem sie den Kerntrick angewandt haben (ursprünglich vorgeschlagen von Aizerman u. a.) zu Hyperflugzeugen des maximalen Randes. Der resultierende Algorithmus ist formell ähnlich, außer dass jedes Punktprodukt durch eine nichtlineare Kernfunktion ersetzt wird. Das erlaubt dem Algorithmus, das Hyperflugzeug des maximalen Randes in einem umgestalteten Eigenschaft-Raum zu passen. Die Transformation kann nichtlinear sein und der umgestaltete hoch dimensionale Raum; so, obwohl der classifier ein Hyperflugzeug im hoch-dimensionalen Eigenschaft-Raum ist, kann es im ursprünglichen Eingangsraum nichtlinear sein.

Wenn der verwendete Kern Gaussian radiale Basisfunktion ist, ist der entsprechende Eigenschaft-Raum ein Raum von Hilbert von unendlichen Dimensionen. Maximaler Rand classifiers wird gut normalisiert, so verderben die unendlichen Dimensionen die Ergebnisse nicht. Einige allgemeine Kerne schließen ein:

• (Homogenes) Polynom:
• Polynom (inhomogeneous):
• Gaussian radiale Basisfunktion: für Manchmal das parametrisierte Verwenden
• Tangens hyperbolicus: für einige (nicht jeder) und

Der Kern ist mit dem Umgestalten durch die Gleichung verbunden. Der Wert w ist auch im umgestalteten Raum, mit Produkten von Dot mit w für die Klassifikation kann wieder durch den Kerntrick geschätzt werden, d. h. Jedoch, dort besteht kein Wert w' solch dass im Allgemeinen

Eigenschaften

SVMs gehören einer Familie von verallgemeinertem geradlinigem classifiers und können als eine Erweiterung des perceptron interpretiert werden. Sie können auch ein spezieller Fall von Tikhonov regularization in Betracht gezogen werden. Ein spezielles Eigentum besteht darin, dass sie gleichzeitig den empirischen Klassifikationsfehler minimieren und den geometrischen Rand maximieren; folglich sind sie auch bekannt als maximaler Rand classifiers.

Ein Vergleich des SVM zu anderem classifiers ist von Meyer, Leisch und Hornik gemacht worden.

Parameter-Auswahl

Die Wirksamkeit von SVM hängt von der Auswahl am Kern, den Rahmen des Kerns und dem weichen Rand-Parameter C ab.

Eine allgemeine Wahl ist ein Kern von Gaussian, der einen einzelnen Parameter γ hat. Die beste Kombination von C und γ wird häufig durch eine Bratrost-Suche mit exponential wachsenden Folgen von C und γ zum Beispiel ausgewählt;. gewöhnlich wird jede Kombination von Parameter-Wahlen mit der bösen Gültigkeitserklärung überprüft, und die Rahmen mit der besten Quer-Gültigkeitserklärungsgenauigkeit werden aufgepickt. Das Endmodell, das für die Prüfung verwendet wird und um neue Daten zu klassifizieren, wird dann auf dem ganzen Lehrsatz mit den ausgewählten Rahmen erzogen.

Probleme

Potenzielle Nachteile des SVM sind die folgenden drei Aspekte:

• Unkalibrierte Klassenmitgliedschaft-Wahrscheinlichkeiten
• Der SVM ist nur für Zwei-Klassen-Aufgaben direkt anwendbar. Deshalb müssen Algorithmen, die die Mehrklassenaufgabe auf mehrere binäre Probleme reduzieren, angewandt werden; sieh die Mehrklasse SVM Abteilung.
• Rahmen eines gelösten Modells sind schwierig zu dolmetschen.

Erweiterungen

Mehrklasse SVM

Mehrklassen-SVM hat zum Ziel, Etiketten Beispielen durch das Verwenden von Unterstützungsvektor-Maschinen zuzuteilen, wo die Etiketten von einem begrenzten Satz von mehreren Elementen gezogen werden.

Die dominierende Annäherung, um so zu tun, soll das einzelne Mehrklassenproblem in vielfache binäre Klassifikationsprobleme reduzieren. Die übliche Methodik für solche Verminderung schließt ein:

• Das Gebäude binärer classifiers, die zwischen (i) eines der Etiketten und dem Rest (one-all) oder (ii) zwischen jedem Paar von Klassen (ein gegen einen) unterscheiden. Die Klassifikation von neuen Beispielen für den one-all Fall wird durch eine Strategie "Sieger getan nimmt alle", in denen der classifier mit der höchsten Produktionsfunktion die Klasse zuteilt (es ist wichtig, dass die Produktion fungiert kalibriert werden, um vergleichbare Hunderte zu erzeugen). Für ein gegen einen Annäherung wird Klassifikation durch Max-Gewinne getan, die Strategie wählen, in der jeder classifier das Beispiel einer der zwei Klassen zuteilt, dann wird die Stimme für die zugeteilte Klasse durch eine Stimme vergrößert, und schließlich bestimmt die Klasse mit den meisten Stimmen die Beispiel-Klassifikation.
• Geleiteter Acyclic Graph SVM (DAGSVM)
• fehlerkorrigierende Produktion codiert

Pauker und Sänger haben eine Mehrklasse SVM Methode vorgeschlagen, die das Mehrklassenklassifikationsproblem in ein einzelnes Optimierungsproblem wirft, anstatt sie in vielfache binäre Klassifikationsprobleme zu zersetzen.

Transductive unterstützen Vektor-Maschinen

Unterstützungsvektor-Maschinen von Transductive erweitern SVMs, in dem sie auch teilweise etikettierte Daten im halbbeaufsichtigten Lernen durch den folgenden die Grundsätze von transduction behandeln konnten. Hier, zusätzlich zum Lehrsatz, wird dem Anfänger auch ein Satz gegeben

:

zu klassifizierender Testbeispiele. Formell wird eine Transductive-Unterstützungsvektor-Maschine durch das folgende ursprüngliche Optimierungsproblem definiert:

Minimieren Sie (in):

unterwerfen Sie (für irgendwelchen und irgendwelchen)

::und:

Unterstützungsvektor-Maschinen von Transductive wurden von Vladimir N. Vapnik 1998 eingeführt.

Strukturierter SVM

SVMs sind zu strukturiertem SVMs verallgemeinert worden, wo der Etikett-Raum strukturiert wird und vielleicht der unendlichen Größe.

Rückwärts Gehen

Eine Version von SVM für das rückwärts Gehen wurde 1996 von Vladimir N. Vapnik, Harris Drucker, Christopher J. C. Burges, Linda Kaufman und Alexander J. Smola vorgeschlagen. Diese Methode wird Unterstützungsvektor-Rückwärts Gehen (SVR) genannt. Das Modell, das durch die Unterstützungsvektor-Klassifikation (wie beschrieben, oben) erzeugt ist, hängt nur von einer Teilmenge der Lehrdaten ab, weil sich die Kostenfunktion, für das Modell zu bauen, über Lehrpunkte nicht sorgt, die außer dem Rand liegen. Analog hängt das durch SVR erzeugte Modell nur von einer Teilmenge der Lehrdaten ab, weil die Kostenfunktion, für das Modell zu bauen, irgendwelche Lehrdaten in der Nähe von der Mustervorhersage (innerhalb einer Schwelle) ignoriert. Eine andere SVM als kleinste Quadrate bekannte Version unterstützt Vektor-Maschine (LS-SVM) ist von Suykens und Vandewalle vorgeschlagen worden.

Durchführung

Die Rahmen des Hyperflugzeugs des maximalen Randes werden durch das Lösen der Optimierung abgeleitet. Dort bestehen Sie mehrere Spezialalgorithmen, für das QP Problem schnell zu beheben, das aus SVMs entsteht, größtenteils sich auf die Heuristik verlassend, für das Problem in den kleineren, mehr - lenksame Klötze zu brechen.

Eine übliche Methodik ist der Algorithmus von Sequential Minimal Optimization (SMO) von Platt, der das Problem unten in 2-dimensionale Teilprobleme zerbricht, die analytisch gelöst werden können, das Bedürfnis nach einem numerischen Optimierungsalgorithmus beseitigend.

Eine andere Annäherung soll eine Innenpunkt-Methode verwenden, die einem Newton ähnliche Wiederholungen verwendet, um eine Lösung der Karush-Kuhn-Tucker Bedingungen der ursprünglichen und Doppelprobleme zu finden.

Anstatt eine Folge von gebrochenen Problemen zu lösen, behebt diese Annäherung direkt das Problem als Ganzes. Um zu vermeiden, ein geradliniges System zu lösen, das die große Kernmatrix einschließt, wird eine niedrige Reihe-Annäherung an die Matrix häufig im Kerntrick verwendet.

Siehe auch

• In der situ anpassungsfähigen Tabellarisierung
• Kernmaschinen
• Prophetische Analytik
• Relevanz-Vektor-Maschine, ein probabilistic spärliches Kernmodell, das in der funktionellen Form zu SVM identisch

ist

• Folgende minimale Optimierung

Außenverbindungen

• Burges, Christopher J. C.; ein Tutorenkurs auf Unterstützungsvektor-Maschinen für die Muster-Anerkennung, das Datenbergwerk und die Kenntnisse-Entdeckung 2:121-167, 1998
• www.kernel-machines.org (allgemeine Information und Sammlung von Forschungsarbeiten)
• www.support-vector-machines.org (Literatur, Rezension, Software, haben sich Verbindungen auf Unterstützungsvektor-Maschinen — Akademische Seite bezogen)
• videolectures.net (SVM-zusammenhängende Videovorträge)
• Zeichentrickfilm-Büroklammer: SVM mit der polynomischen Kernvergegenwärtigung.
• Pfeilmacher, Tristan; ein sehr grundlegender SVM Tutorenkurs für ganze Anfänger
• Shogun (Werkzeugkasten) enthält ungefähr 20 verschiedene Durchführungen von SVMs
• libsvm libsvm ist eine Bibliothek von SVMs, der aktiv geflickt wird
• liblinear liblinear ist eine Bibliothek für die große geradlinige Klassifikation einschließlich eines SVMs
• flssvm flssvm ist kleinste Quadrate svm Durchführung, die in fortran geschrieben ist
• Hai-Hai ist ein C ++ Maschinenlernbibliothek, die verschiedene Typen von SVMs durchführt
• dlib dlib ist ein C ++ Bibliothek, um mit Kernmethoden und SVMs zu arbeiten
• SVM Licht ist eine Sammlung von Softwarewerkzeugen für das Lernen und die Klassifikation mit SVM.

Bibliografie

• Theodoridis, Sergios; und Koutroumbas, Konstantinos; "Muster-Anerkennung", 4. Ausgabe, Akademische Presse, 2009, internationale Standardbuchnummer 978-1-59749-272-0
• Cristianini, Nello; und Shawe-Taylor, John; eine Einführung, um Vektor-Maschinen und andere kernbasierte Lernmethoden, Universität von Cambridge Presse, 2000 Zu unterstützen. Internationale Standardbuchnummer 0-521-78019-5 (http://www.support-vector.net SVM Buch)
• Huang, Te-Ming; Kecman, Vojislav; und Kopriva, Ivica (2006); basierte Kernalgorithmen, um Riesige Dateien, im Beaufsichtigten, Halbbeaufsichtigten und Unbeaufsichtigten Lernen, Springer-Verlag, Berlin, Heidelberg, 260 Seiten 96 illus Abzubauen. Gebundene Ausgabe, internationale Standardbuchnummer 3-540-31681-7 http://learning-from-data.com
• Kecman, Vojislav; erfahrend und Weiche Computerwissenschaft — Unterstützungsvektor-Maschinen, Nervennetze, Fuzzy-Logik-Systeme, Die MIT-Presse, Cambridge, Massachusetts, 2001.http://www.support-vector.ws
• Schölkopf, Bernhard; und Smola, Alexander J.; mit Kernen, MIT Presse, Cambridge, Massachusetts, 2002 erfahrend. (Teilweise verfügbar online: http://www.learning-with-kernels.org.) internationale Standardbuchnummer 0-262-19475-9
• Schölkopf, Bernhard; Burges, Christopher J. C.; und Smola, Alexander J. (Redakteure); Fortschritte in Kernmethoden: Das Unterstützungsvektor-Lernen, die MIT Presse, Cambridge, Massachusetts, 1999. Internationale Standardbuchnummer 0-262-19416-3.

http://www.kernel-machines.org/nips97/book.html

• Shawe-Taylor, John; und Cristianini, Nello; Kernmethoden für die Muster-Analyse, Universität von Cambridge Presse, 2004. Internationale Standardbuchnummer 0-521-81397-2 (http://www.kernel-methods.net Kernmethode-Buch)
• Steinwart, Ingo; und Christmann, Andreas; Unterstützungsvektor-Maschinen, Springer-Verlag, New York, 2008. Internationale Standardbuchnummer 978-0-387-77241-7 (http://www.staff.uni-bayreuth.de/~btms01/svm.html SVM Buch)
• Lohe, Peter Jing; und Dowe, David L. (2004); MML Schlussfolgerung von Schiefen Entscheidungsbäumen, Vortrag-Zeichen in der Künstlichen Intelligenz (LNAI) 3339, Springer-Verlag, pp1082-1088. (Dieses Papier verwendet minimale Nachrichtenlänge (MML) und vereinigt wirklich Probabilistic-Unterstützungsvektor-Maschinen in den Blättern von Entscheidungsbäumen.)
• Vapnik, Vladimir N.; die Natur des Statistischen Lernens der Theorie, des Springers-Verlag, 1995. Internationale Standardbuchnummer 0-387-98780-0
• Vapnik, Vladimir N.; und Kotz, Samuel; Bewertung von Abhängigkeiten, die auf Empirischen Daten, Springer, 2006 basiert sind. Internationale Standardbuchnummer 0-387-30865-2 510 Seiten [ist das ein Nachdruck des frühen Buches von Vapnik, das Philosophie hinter der SVM-Annäherung beschreibt. Der 2006-Anhang beschreibt neue Entwicklung].
• Fradkin, Dmitriy; und Muchnik, Ilya; Unterstützungsvektor-Maschinen für die Klassifikation in Abello, J.; und Carmode, G. (Hrsg.); getrennte Methoden in der Epidemiologie, DIMACS Reihe in der Getrennten Mathematik und der Theoretischen Informatik, dem Band 70, Seiten 13-20, 2006. http://paul.rutgers.edu/~dfradkin/papers/svm.pdf. Kurz und bündig beschreibt theoretische Ideen hinter SVM.
• Bennett, Kristin P.; und Campbell, Colin; Unterstützungsvektor-Maschinen: Trick oder Halleluja? SIGKDD Erforschungen, 2, 2, 2000, 1-13. http://www.acm.org/sigs/sigkdd/explorations/issue2-2/bennett.pdf. Ausgezeichnete Einführung in SVMs mit nützlichen Zahlen.
• Ivanciuc, Ovidiu; Anwendungen von Unterstützungsvektor-Maschinen in der Chemie, in Rezensionen in der Rechenbetonten Chemie, dem Band 23, 2007, den Seiten 291-400. Verfügbarer Nachdruck:

http://www.ivanciuc.org/Files/Reprint/Ivanciuc_SVM_CCR_2007_23_291.pdf

• Catanzaro, Bryan; Sundaram, Narayanan; und Keutzer, Kurt; schnelle Unterstützungsvektor-Maschinenausbildung und Klassifikation auf Grafikverarbeitern, in der Internationalen Konferenz für das Maschinenlernen, 2008

http://www.eecs.berkeley.edu/~catanzar/icml2008.pdf

• Campbell, Colin; und Ying, Yiming; mit Unterstützungsvektor-Maschinen, 2011, Morgan und Claypool erfahrend. Internationale Standardbuchnummer 978-1-60845-616-1.

http://www.morganclaypool.com/doi/abs/10.2200/S00324ED1V01Y201102AIM010