Das Maschinenlernen, ein Zweig der künstlichen Intelligenz, ist eine wissenschaftliche Disziplin, die mit dem Design und der Entwicklung von Algorithmen betroffen ist, die Computern erlauben, Handlungsweisen zu entwickeln, die auf empirischen Daten, solcher als von Sensordaten oder Datenbanken gestützt sind. Ein Anfänger kann Beispiele (Daten) ausnutzen, um Eigenschaften von Interesse ihres unbekannten zu Grunde liegenden Wahrscheinlichkeitsvertriebs zu gewinnen. Daten können als Beispiele gesehen werden, die Beziehungen zwischen beobachteten Variablen illustrieren. Ein Hauptfokus der Maschinenlernforschung soll automatisch lernen, komplizierte Muster anzuerkennen und intelligente auf Daten gestützte Entscheidungen zu treffen; die Schwierigkeit liegt in der Tatsache, dass der Satz aller möglichen Handlungsweisen gegeben alle möglichen Eingänge zu groß ist, um durch den Satz von beobachteten Beispielen (Lehrdaten) bedeckt zu werden. Folglich muss der Anfänger von den angeführten Beispielen verallgemeinern, um im Stande zu sein, eine nützliche Produktion in neuen Fällen zu erzeugen.

Definition

Tom M. Mitchell hat eine weit angesetzte Definition zur Verfügung gestellt: Wie man sagt, erfährt ein Computerprogramm von der Erfahrung E in Bezug auf eine Klasse von Aufgaben T, und Leistung messen P, wenn sich seine Leistung an Aufgaben in T, wie gemessen, durch P, mit der Erfahrung E verbessert.

Generalisation

Generalisation ist die Fähigkeit eines Maschinenlernalgorithmus, genau auf neuen, ungesehenen Beispielen nach der Ausbildung auf einer begrenzten Datei zu leisten. Das Kernziel eines Anfängers ist, von seiner Erfahrung zu verallgemeinern. Die Lehrbeispiele von seiner Erfahrung kommen aus etwas allgemein unbekanntem Wahrscheinlichkeitsvertrieb, und der Anfänger muss aus ihnen etwas Allgemeineres, etwas über diesen Vertrieb herausziehen, der ihm erlaubt, nützliche Antworten in neuen Fällen zu erzeugen.

Das Maschinenlernen, die Kenntnisse-Entdeckung in Datenbanken (KDD) und Datenbergwerk

Diese drei Begriffe sind allgemein verwirrt, weil sie häufig dieselben Methoden und Übergreifen stark verwenden. Sie können wie folgt grob getrennt werden:

• Maschine, die erfährt, konzentriert sich auf die Vorhersage, die auf bekannten Eigenschaften gestützt ist, die von den Lehrdaten erfahren sind
• Datenbergwerk (der der Analyse-Schritt der Kenntnisse-Entdeckung in Datenbanken ist) konzentriert sich auf die Entdeckung (vorher) unbekannter Eigenschaften auf den Daten

Jedoch überlappen diese zwei Gebiete auf viele Weisen: Daten, die abbauen, verwenden viele Maschinenlernmethoden, aber häufig mit einer ein bisschen verschiedenen Absicht im Sinn. Andererseits verwendet Maschine, die auch erfährt, Datenbergwerksmethoden als "das unbeaufsichtigte Lernen" oder als ein Aufbereitungsschritt, Anfänger-Genauigkeit zu verbessern. Viel von der Verwirrung zwischen diesen zwei Forschungsgemeinschaften (die wirklich häufig getrennte Konferenzen haben und Zeitschriften, ECML PKDD trennen eine Hauptausnahme zu sein) kommt aus den grundlegenden Annahmen, mit denen sie arbeiten: Im Maschinenlernen wird die Leistung gewöhnlich in Bezug auf die Fähigkeit bewertet, bekannte Kenntnisse wieder hervorzubringen, während in KDD die Schlüsselaufgabe die Entdeckung vorher unbekannter Kenntnisse ist. Bewertet in Bezug auf bekannte Kenntnisse wird eine uninformierte (unbeaufsichtigte) Methode um beaufsichtigte Methoden leicht überboten, während in einer typischen KDD Aufgabe beaufsichtigte Methoden wegen der Nichtverfügbarkeit von Lehrdaten nicht verwendet werden können.

Menschliche Wechselwirkung

Einige Maschinenlernsysteme versuchen, das Bedürfnis nach der menschlichen Intuition in der Datenanalyse zu beseitigen, während andere eine zusammenarbeitende Annäherung zwischen Menschen und Maschine annehmen. Menschliche Intuition kann jedoch nicht völlig beseitigt werden, da der Entwerfer des Systems angeben muss, wie die Daten vertreten werden sollen, und welche Mechanismen verwendet werden, um nach einer Charakterisierung der Daten zu suchen.

Algorithmus-Typen

Maschinenlernalgorithmen können in eine auf dem gewünschten Ergebnis des Algorithmus gestützte Taxonomie organisiert werden.

• Das beaufsichtigte Lernen erzeugt eine Funktion, die Eingänge zu gewünschten Produktionen kartografisch darstellt (auch genannt Etiketten, weil sie häufig von menschlichen Experten zur Verfügung gestellt werden, die die Lehrbeispiele etikettieren). Zum Beispiel, in einem Klassifikationsproblem, kommt der Anfänger einer Funktion näher, die einen Vektoren in Klassen kartografisch darstellt, indem er auf Eingangsproduktionsbeispiele der Funktion schaut.
• Unbeaufsichtigte Lernmodelle eine Reihe von Eingängen, wie das Sammeln. Siehe auch Datenbergwerk und Kenntnisse-Entdeckung.
• Das halbbeaufsichtigte Lernen verbindet sowohl etikettierte als auch unetikettierte Beispiele, um eine passende Funktion oder classifier zu erzeugen.
• Verstärkung, die erfährt, erfährt, wie man gegeben eine Beobachtung der Welt handelt. Jede Handlung hat etwas Einfluss in der Umgebung, und die Umgebung stellt Feed-Back in der Form von Belohnungen zur Verfügung, die den Lernalgorithmus führt.
• Transduction oder transductive Schlussfolgerung, versucht, neue Produktionen auf dem spezifischen und festen (Test) Fälle von beobachteten, spezifischen (lehr)-Fällen vorauszusagen.
• Das Lernen zu erfahren erfährt seine eigene induktive auf der vorherigen Erfahrung gestützte Neigung.

Theorie

Die rechenbetonte Analyse von Maschinenlernalgorithmen und ihre Leistung sind ein Zweig der theoretischen als rechenbetonte Lerntheorie bekannten Informatik. Weil Lehrsätze begrenzt sind und die Zukunft unsicher ist, erfahrend, dass Theorie gewöhnlich Garantien der Leistung von Algorithmen nicht nachgibt. Statt dessen sind Probabilistic-Grenzen auf der Leistung ziemlich üblich.

Zusätzlich zu Leistungsgrenzen studieren rechenbetonte Lerntheoretiker die Zeitkompliziertheit und Durchführbarkeit des Lernens. In der rechenbetonten Lerntheorie wird eine Berechnung ausführbar betrachtet, wenn es in der polynomischen Zeit getan werden kann. Es gibt zwei Arten von Zeitkompliziertheitsergebnissen. Positive Ergebnisse zeigen, dass eine bestimmte Klasse von Funktionen in der polynomischen Zeit erfahren werden kann. Negative Ergebnisse zeigen, dass bestimmte Klassen in der polynomischen Zeit nicht erfahren werden können.

Es gibt viele Ähnlichkeiten zwischen Maschinenlerntheorie und Statistik, obwohl sie verschiedene Begriffe gebrauchen.

Annäherungen

Das Entscheidungsbaum-Lernen

Das Entscheidungsbaum-Lernen verwendet einen Entscheidungsbaum als ein prophetisches Modell, das Beobachtungen über einen Artikel zu Beschlüssen über den Zielwert des Artikels kartografisch darstellt.

Das Vereinigungsregel-Lernen

Vereinigungsregel, die erfährt, ist eine Methode, um interessante Beziehungen zwischen Variablen in großen Datenbanken zu entdecken.

Künstliche Nervennetze

Ein Lernalgorithmus des künstlichen Nervennetzes (ANN), gewöhnlich genannt "Nervennetz" (NN), ist ein Lernalgorithmus, der durch die Struktur und funktionellen Aspekte von biologischen Nervennetzen begeistert wird. Berechnung wird in Bezug auf eine miteinander verbundene Gruppe von künstlichen Neuronen strukturiert, Information mit einem connectionist in einer Prozession zu gehen, nähert sich der Berechnung. Moderne Nervennetze sind nichtlineare statistische modellierende Datenwerkzeuge. Sie sind gewöhnlich an komplizierte Musterbeziehungen zwischen Eingängen und Produktionen gewöhnt, um Muster in Daten zu finden, oder die statistische Struktur in einem unbekannten gemeinsamen Wahrscheinlichkeitsvertrieb unter beobachteten Variablen zu gewinnen.

Genetische Programmierung

Genetische Programmierung (GP) ist eine Algorithmus-basierte durch die biologische Evolution angeregte Entwicklungsmethodik, Computerprogramme zu finden, die eine benutzerbestimmte Aufgabe durchführen. Es ist eine Spezialisierung von genetischen Algorithmen (GA), wo jede Person ein Computerprogramm ist. Es ist eine Maschinenlerntechnik, die verwendet ist, um eine Bevölkerung von Computerprogrammen gemäß einer durch eine Fähigkeit eines Programms bestimmten Fitnesslandschaft zu optimieren, eine gegebene rechenbetonte Aufgabe durchzuführen.

Induktive Logikprogrammierung

Induktive Logikprogrammierung (ILP) ist eine Annäherung, um über das Lernen der Verwenden-Logik zu herrschen, die als eine gleichförmige Darstellung für Beispiele, Hintergrundkenntnisse und Hypothesen programmiert. In Anbetracht einer Verschlüsselung der bekannten Hintergrundkenntnisse und einer Reihe von als eine logische Datenbank von Tatsachen vertretenen Beispielen wird ein ILP System ein Hypothese aufgestelltes Logikprogramm ableiten, das das ganze positive und keines der negativen Beispiele zur Folge hat.

Unterstützungsvektor-Maschinen

Unterstützungsvektor-Maschinen (SVMs) sind eine Reihe verwandter beaufsichtigter Lernmethoden, die für die Klassifikation und das rückwärts Gehen verwendet ist. Angeführt eine Reihe von Lehrbeispielen, jeder, der als das Gehören einer von zwei Kategorien, ein SVM Lehralgorithmus gekennzeichnet ist, baut ein Modell, das voraussagt, ob ein neues Beispiel in eine Kategorie oder den anderen fällt.

Das Sammeln

Traube-Analyse ist die Anweisung von einer Reihe von Beobachtungen in Teilmengen (genannt Trauben), so dass Beobachtungen in derselben Traube in einem Sinn ähnlich sind, während Beobachtungen in verschiedenen Trauben unterschiedlich sind. Die Vielfalt von sich sammelnden Techniken macht verschiedene Annahmen auf der Struktur der Daten, die häufig durch etwas Ähnlichkeit definiert sind, metrisch und bewertet zum Beispiel durch die innere Kompaktheit (Ähnlichkeit zwischen Mitgliedern derselben Traube) und Trennung zwischen verschiedenen Trauben. Andere Methoden basieren auf der geschätzten Dichte und Graph-Konnektivität.

Das Sammeln ist eine Methode des unbeaufsichtigten Lernens und eine allgemeine Technik für die statistische Datenanalyse.

Netze von Bayesian

Ein Bayesian Netz, Glaube-Netz oder geleitetes acyclic grafisches Modell sind ein probabilistic grafisches Modell, das eine Reihe zufälliger Variablen und ihre bedingte Unabhängigkeit über einen geleiteten acyclic Graphen (DAG) vertritt. Zum Beispiel konnte ein Netz von Bayesian die probabilistic Beziehungen zwischen Krankheiten und Symptomen vertreten. Gegebene Symptome, das Netz kann verwendet werden, um die Wahrscheinlichkeiten der Anwesenheit verschiedener Krankheiten zu schätzen. Effiziente Algorithmen bestehen, die Schlussfolgerung und das Lernen durchführen.

Das Verstärkungslernen

Verstärkung, die erfährt, wird damit betroffen, wie ein Agent Handlungen in einer Umgebung nehmen sollte, um einen Begriff der langfristigen Belohnung zu maximieren. Verstärkung, die Algorithmen erfährt, versucht, eine Politik zu finden, die Staaten der Welt zu den Handlungen kartografisch darstellt, die der Agent in jenen Staaten nehmen sollte. Verstärkung, die erfährt, unterscheidet sich vom beaufsichtigten Lernproblem in diesem richtigen Eingang/Produktion Paare, werden noch suboptimale ausführlich korrigierte Handlungen nie präsentiert.

Das Darstellungslernen

Mehrere Lernalgorithmen, größtenteils unbeaufsichtigte Lernalgorithmen, zielen darauf, bessere Darstellungen der während der Ausbildung zur Verfügung gestellten Eingänge zu entdecken. Klassische Beispiele schließen Hauptteilanalyse und Traube-Analyse ein. Darstellungslernalgorithmen versuchen häufig, die Information in ihrem Eingang zu bewahren, aber es in einem Weg umzugestalten, der es nützlich, häufig als ein Aufbereitungsschritt vor der leistenden Klassifikation oder den Vorhersagen macht, erlaubend, die Eingänge wieder aufzubauen, die aus den unbekannten Daten kommen, die Vertrieb, nicht erzeugen, für Konfigurationen notwendigerweise treu seiend, die unter diesem Vertrieb unwahrscheinlich sind. Sammelleitung, die Algorithmen erfährt, versucht, so unter der Einschränkung zu tun, dass die gelehrte Darstellung niedrig-dimensional ist. Spärliche Codieralgorithmen versuchen, so unter der Einschränkung zu tun, dass die gelehrte Darstellung spärlich ist (hat viele Nullen). Tief Lernalgorithmen entdecken vielfache Niveaus der Darstellung oder eine Hierarchie von Eigenschaften, mit dem höheren Niveau, abstraktere Eigenschaften, die in Bezug auf definiert sind (oder erzeugend) Eigenschaften der niedrigeren Ebene. Es ist behauptet worden, dass eine intelligente Maschine diejenige ist, die eine Darstellung erfährt, die die zu Grunde liegenden Faktoren der Schwankung entwirrt, die die beobachteten Daten erklären.

Das spärliche Wörterbuch-Lernen

Spärliches Wörterbuch, das erfährt, ist in mehreren Lernanwendungen erfolgreich verwendet worden. In dieser Methode wird eine Gegebenheit vertreten, weil eine geradlinige Kombination der Basis fungiert, und, wie man annimmt, die Koeffizienten spärlich sind. Lassen Sie x eine d-dimensional Gegebenheit, D sein, ein d durch die n Matrix zu sein, wo jede Säule von D eine Basisfunktion vertritt. r ist der Koeffizient, um x zu vertreten, der D verwendet. Mathematisch bedeutet spärliches Wörterbuch, das erfährt, den folgenden

x\ungefähr D \times r

wo r spärlich ist. Im Allgemeinen, wie man annimmt, ist n größer als d, um die Freiheit für eine spärliche Darstellung zu erlauben.

Spärliches Wörterbuch, das erfährt, ist in mehreren Zusammenhängen angewandt worden. In der Klassifikation ist das Problem zu bestimmen, ob neue Daten der Klassen gehören. Nehmen Sie an, dass wir bereits ein Wörterbuch für jede Klasse, dann erstellen, sind neue Daten Partner zur solcher Klasse, dass es am besten durch das entsprechende Wörterbuch wenig vertreten wird. Leute haben auch spärliches Wörterbuch angewandt, das im Image denoising erfährt. Die Schlüsselidee besteht darin, dass sauberer Bildpfad durch ein Bildwörterbuch wenig vertreten werden kann, aber das Geräusch kann nicht. Benutzer kann sich auf, wenn interessiert, beziehen.

Anwendungen

Anwendungen für die Maschine, die erfährt, schließen ein:

• Maschinenwahrnehmung
• Computervision
• Verarbeitung der natürlichen Sprache
• syntaktische Muster-Anerkennung
• suchen Sie Motoren
• medizinische Diagnose
• bioinformatics
• Gehirnmaschine verbindet
• cheminformatics
• Das Ermitteln des Kreditkartenschwindels
• Aktienbörse-Analyse
• Das Klassifizieren von DNA-Folgen
• Folge, die abbaut
• Rede und Handschrift-Anerkennung
• Gegenstand-Anerkennung in der Computervision
• Spiel, spielend
• Softwaretechnik
• anpassungsfähige Websites
• Roboter-Ortsveränderung
• rechenbetonte Finanz
• Strukturgesundheitsüberwachung.
• Gefühl-Analyse (oder Meinungsbergwerk).
• Affective, rechnend
• Systeme von Recommender

2006 hat die Online-Filmgesellschaft Netflix die erste "Netflix Preis" Konkurrenz gehalten zu finden, dass ein Programm Benutzereinstellungen besser vorausgesagt und sein vorhandenes Filmempfehlungssystem von Netflix durch mindestens 10 % geschlagen hat. AT&T Forschungsmannschaft prügeln BellKor mehrere andere Mannschaften mit ihrem Maschinenlernprogramm "Pragmatische Verwirrung". Nach dem Gewinnen mehrerer geringer Preise hat es die großartige Preis-Konkurrenz 2009 für $ 1 Million gewonnen.

Software

RapidMiner, LIONsolver, KNIME, Weka, ODM, Werkzeugkasten von Shogun, Orange, Apachen-Elefantentreiber, scikit-erfahren, mlpy sind Softwaregefolge, die eine Vielfalt von Maschinenlernalgorithmen enthalten.

Zeitschriften und Konferenzen

• Das Maschinenlernen (Zeitschrift)
• Zeitschrift der Maschinenlernforschung
• Nervenberechnung (Zeitschrift)
• Zeitschrift von intelligenten Systemen (Zeitschrift)
• Internationale Konferenz für die Maschine, die (ICML) (Konferenz) erfährt
• Neural Information Processing Systems (NIPS) (Konferenz)

Siehe auch

• Anpassungsfähige Kontrolle
• Sprachmodell des geheimen Lagers
• Rechenbetonte Intelligenz
• Rechenbetonter neuroscience
• Erkenntnistheorie
• Daten, die abbauen
• Das Erklärungsbasierte Lernen
• Wichtige Veröffentlichungen in der Maschine, die erfährt
• Mehretikett-Klassifikation
• Muster-Anerkennung
• Prophetische Analytik
• Liste von Maschinenlernalgorithmen

Weiterführende Literatur

• Sergios Theodoridis, Konstantinos Koutroumbas (2009) "Muster-Anerkennung", 4. Ausgabe, Akademische Presse, internationale Standardbuchnummer 978-1-59749-272-0.
• Ethem Alpaydın (2004) Einführung in die Maschine, die (Anpassungsfähige Berechnung und Maschine Erfährt, die Erfährt), MIT Presse, internationale Standardbuchnummer 0-262-01211-1
• Bing Liu (2007), Webdatenbergwerk: Hypertext-Links, Inhalt und Gebrauch-Daten erforschend. Springer, internationale Standardbuchnummer 3-540-37881-2
• Toby Segaran, Gesammelte Intelligenz, internationale Standardbuchnummer von O'Reilly 0-596-52932-5 Programmierend
• Ray Solomonoff, "Eine Induktive Inferenzmaschine" Ein privat in Umlauf gesetzter Bericht von der Dartmouth 1956-Sommerforschungskonferenz für AI.
• Ray Solomonoff, Eine Induktive Inferenzmaschine, ZORN-Tagungsaufzeichnung, Abteilung auf der Informationstheorie, dem Teil 2, den Seiten, 56-62, 1957.
• Ryszard S. Michalski, Jaime G. Carbonell, Tom M. Mitchell (1983), Maschine, die Erfährt: Eine Annäherung der Künstlichen Intelligenz, Tioga Publishing Company, internationale Standardbuchnummer 0-935382-05-4.
• Ryszard S. Michalski, Jaime G. Carbonell, Tom M. Mitchell (1986), Maschine, die Erfährt: Eine Annäherung der Künstlichen Intelligenz, Band II, Morgan Kaufmann, internationale Standardbuchnummer 0-934613-00-1.
• Yves Kodratoff, Ryszard S. Michalski (1990), Maschine, die Erfährt: Eine Annäherung der Künstlichen Intelligenz, Band III, Morgan Kaufmann, internationale Standardbuchnummer 1-55860-119-8.
• Ryszard S. Michalski, George Tecuci (1994), Maschine, die Erfährt: Eine Mehrstrategie-Annäherung, Band IV, Morgan Kaufmann, internationale Standardbuchnummer 1-55860-251-8.
• Bischof, C.M. (1995). Nervennetze für die Muster-Anerkennung, Presse der Universität Oxford. Internationale Standardbuchnummer 0-19-853864-2.
• Richard O. Duda, Peter E. Hart, David G. Stork (2001) Muster-Klassifikation (2. Ausgabe), Wiley, New York, internationale Standardbuchnummer 0-471-05669-3.
• Huang T.-M. Kecman V., Kopriva I. (2006), Basierte Kernalgorithmen, um Riesige Dateien, das Beaufsichtigte, Halbbeaufsichtigte und Unbeaufsichtigte Lernen, den Springer-Verlag, Berlin, Heidelberg, 260 Seiten 96 illus Abzubauen. Gebundene Ausgabe, internationale Standardbuchnummer 3-540-31681-7.
• KECMAN Vojislav (2001), das Lernen und die Weiche Computerwissenschaft, die Unterstützungsvektor-Maschinen, die Nervennetze und die Fuzzy-Logik-Modelle, Die MIT-Presse, Cambridge, Massachusetts, die 608 Seiten, 268 illus. internationale Standardbuchnummer 0-262-11255-8.
• MacKay, D.J.C. (2003). Informationstheorie, Schlussfolgerung und das Lernen von Algorithmen, Universität von Cambridge Presse. Internationale Standardbuchnummer 0-521-64298-1.
• Ian H. Witten und Eibe Frank Data Mining: Praktische Maschinenlernwerkzeuge und Techniken internationale Standardbuchnummer von Morgan Kaufmann 0-12-088407-0.
• Sholom Weiss und Casimir Kulikowski (1991). Computersysteme, Die, Morgan Kaufmann Erfahren. Internationale Standardbuchnummer 1-55860-065-5.
• Mierswa, Ingo und Wurst, Michael und Klinkenberg, Ralf und Scholz, Martin und Euler, Timm: YALE: Schneller Prototyping für Komplizierte Daten, die Aufgaben, in Verhandlungen des 12. ACM SIGKDD Internationale Konferenz für die Kenntnisse-Entdeckung und Daten Abbauen, die (KDD-06), 2006 Abbauen.
• Trevor Hastie, Robert Tibshirani und Jerome Friedman (2001). Die Elemente des Statistischen Lernens, Springers. Internationale Standardbuchnummer 0-387-95284-5.
• Vladimir Vapnik (1998). Das statistische Lernen der Theorie. Wiley-Zwischenwissenschaft, internationale Standardbuchnummer 0-471-03003-1.

Links

• Internationale Maschinenlerngesellschaft
• Es gibt einen populären Online-Kurs durch Andrew Ng, an ml-class.org. Es verwendet GNU-Oktave. Der Kurs ist eine freie Version von Stanfords wirklichem Kurs der Universität, dessen Vorträge auch umsonst verfügbar sind.
• Maschine, die Video erfährt, hält Vorlesungen