Die induktive Neigung eines Lernalgorithmus ist die Menge von Annahmen, dass der Anfänger-Gebrauch, um Produktionen gegeben Eingänge vorauszusagen, auf die es (Mitchell, 1980) nicht gestoßen ist.

Im Maschinenlernen hat man zum Ziel, Algorithmen zu bauen, die im Stande sind zu lernen, eine bestimmte Zielproduktion vorauszusagen. Um das zu erreichen, wird der Lernalgorithmus einige Lehrbeispiele präsentiert, die die beabsichtigte Beziehung des Eingangs und der Produktionswerte demonstrieren. Dann soll der Anfänger der richtigen Produktion sogar für Beispiele näher kommen, die während der Ausbildung nicht gezeigt worden sind. Ohne irgendwelche zusätzlichen Annahmen kann diese Aufgabe nicht genau gelöst werden, seitdem ungesehene Situationen einen willkürlichen Produktionswert haben könnten. Die Art von notwendigen Annahmen über die Natur der Zielfunktion wird in den Begriff induktive Neigung untergeordnet (Mitchell, 1980; desJardins und Gordon, 1995).

Ein klassisches Beispiel einer induktiven Neigung ist das Rasiermesser von Occam, annehmend, dass die einfachste konsequente Hypothese über die Zielfunktion wirklich am besten ist. Hier konsequent bedeutet, dass die Hypothese des Anfängers richtige Produktionen für alle Beispiele nachgibt, die dem Algorithmus gegeben worden sind.

Annäherungen an eine mehr formelle Definition der induktiven Neigung basieren auf der mathematischen Logik. Hier ist die induktive Neigung eine logische Formel, die, zusammen mit den Lehrdaten, logisch die vom Anfänger erzeugte Hypothese zur Folge hat. Leider scheitert dieser strenge Formalismus in vielen praktischen Fällen, wo die induktive Neigung nur als eine raue Beschreibung (z.B im Fall von Nervennetzen), oder überhaupt nicht gegeben werden kann.

Typen von induktiven Neigungen

Der folgende ist eine Liste von allgemeinen induktiven Neigungen in Maschinenlernalgorithmen.

• Maximale bedingte Unabhängigkeit: Wenn die Hypothese in einem Fachwerk von Bayesian geworfen werden kann, versuchen Sie, bedingte Unabhängigkeit zu maximieren. Das ist die in Naivem Bayes classifier verwendete Neigung.
• Minimaler Quer-Gültigkeitserklärungsfehler: Wenn Sie versuchen, unter Hypothesen zu wählen, wählen Sie die Hypothese mit dem niedrigsten Quer-Gültigkeitserklärungsfehler aus. Obwohl Quer-Gültigkeitserklärung scheinen kann, frei von der Neigung zu sein, zeigen Keine Freien Mittagessen-Lehrsätze, dass Quer-Gültigkeitserklärung beeinflusst werden muss.
• Maximaler Rand: Wenn Sie eine Grenze zwischen zwei Klassen ziehen, versuchen Sie, die Breite der Grenze zu maximieren. Das ist die in Unterstützungsvektor-Maschinen verwendete Neigung. Die Annahme ist, dass verschiedene Klassen dazu neigen, durch breite Grenzen getrennt zu werden.
• Minimale Beschreibungslänge: Wenn Sie eine Hypothese bilden, versuchen Sie, die Länge der Beschreibung der Hypothese zu minimieren. Die Annahme ist, dass einfachere Hypothesen mit größerer Wahrscheinlichkeit wahr sein werden. Sieh das Rasiermesser von Occam.
• Minimale Eigenschaften: Wenn es gute Beweise nicht gibt, dass eine Eigenschaft nützlich ist, sollte sie gelöscht werden. Das ist die Annahme hinter Eigenschaft-Auswahl-Algorithmen.
• Nächste Nachbarn: Nehmen Sie an, dass die meisten Fälle in einer kleinen Nachbarschaft im Eigenschaft-Raum derselben Klasse gehören. In Anbetracht eines Falls, für den die Klasse unbekannt ist, glauben Sie, dass sie derselben Klasse wie die Mehrheit in seiner unmittelbaren Nachbarschaft gehört. Das ist die im K-Nearest-Nachbaralgorithmus verwendete Neigung. Die Annahme ist, dass Fälle, die in der Nähe von einander sind, dazu neigen, derselben Klasse zu gehören.

Verschiebung der Neigung

Obwohl die meisten Lernalgorithmen eine statische Neigung haben, werden einige Algorithmen entworfen, um ihre Neigung auszuwechseln, weil sie mehr Daten (Utgoff, 1984) erwerben. Das vermeidet Neigung nicht, da der Neigungsverschiebungsprozess selbst eine Neigung haben muss.

Siehe auch

• Neigung
• Kognitive Neigung
• Kein freies Mittagessen in der Suche und Optimierung

desJardins, M., und Gordon, D.F. (1995). Einschätzung und Auswahl an Neigungen im Maschinenlernen. Maschinenlernzeitschrift, 5:1 - 17, 1995.

Mitchell, T.M. (1980). Das Bedürfnis nach Neigungen im Lernen von Generalisationen. CBM-TR 5-110, Rutgers Universität, Neubraunschweig, New Jersey

Utgoff, P.E. (1984). Verschiebung der Neigung für das induktive Konzeptlernen. Doktorarbeit, Abteilung der Informatik, Rutgers Universität, Neubraunschweig, New Jersey