In der statistischen Lerntheorie, oder manchmal rechenbetonter Lerntheorie ist die VC Dimension (für die Vapnik-Chervonenkis Dimension) ein Maß der Kapazität eines statistischen Klassifikationsalgorithmus, definiert als der cardinality des größten Satzes von Punkten, dass der Algorithmus in Stücke brechen kann. Es ist ein Kernkonzept in der Vapnik-Chervonenkis Theorie, und wurde von Vladimir Vapnik und Alexey Chervonenkis ursprünglich definiert.

Informell ist die Kapazität eines Klassifikationsmodells damit verbunden, wie kompliziert es sein kann. Denken Sie zum Beispiel den thresholding eines Polynoms des hohen Grads: Wenn das Polynom über der Null bewertet, wird dieser Punkt als positiv, sonst als negativ klassifiziert. Ein Polynom des hohen Grads kann wackelig sein, so kann es einen gegebenen Satz von Lehrpunkten gut passen. Aber man kann erwarten, dass der classifier Fehler auf anderen Punkten machen wird, weil es zu wackelig ist. Solch ein Polynom hat eine hohe Kapazität. Eine viel einfachere Alternative ist zur Schwelle eine geradlinige Funktion. Dieses Polynom kann den Lehrsatz nicht passen so, weil es eine niedrige Kapazität hat. Wir machen diesen Begriff der Kapazität strenger unten.

Das Zerschmettern

sagt, zerschmettert ein Klassifikationsmodell mit einem Parameter-Vektoren eine Reihe von Datenpunkten, wenn, für alle Anweisungen von Etiketten zu jenen Punkten, dort ein solcher besteht, dass das Modell keine Fehler macht, wenn es diesen Satz von Datenpunkten bewertet.

Die VC Dimension eines Modells ist, wo das solches Maximum ist, dass einige Daten anspitzen, dass der Satz von cardinality dadurch zerschmettert werden kann.

Betrachten Sie zum Beispiel eine Gerade als das Klassifikationsmodell: das Modell durch einen perceptron verwendet. Die Linie sollte positive Datenpunkte von negativen Datenpunkten trennen. Dort bestehen Sie Sätze von 3 Punkten, die tatsächlich mit diesem Modell zerschmettert werden können (irgendwelche 3 Punkte, die nicht collinear sind, kann zerschmettert werden). Jedoch kann kein Satz von 4 Punkten zerschmettert werden: Durch den Lehrsatz von Radon können irgendwelche vier Punkte in zwei Teilmengen mit dem Schneiden konvexer Rümpfe verteilt werden, so ist es nicht möglich, eine dieser zwei Teilmengen vom anderen zu trennen. So ist die VC Dimension dieses besonderen classifier 3. Es ist wichtig sich zu erinnern, dass man die Einordnung von Punkten wählen kann, aber sie dann nicht ändern kann, weil die Etiketten auf den Punkten betrachtet werden., Bemerken Sie nur 3 der 2 = 8 mögliche Etikett-Anweisungen werden für die drei Punkte gezeigt.

Gebrauch

Die VC Dimension hat Dienstprogramm in der statistischen Lerntheorie, weil es voraussagen kann, dass ein probabilistic oberer zum Testfehler eines Klassifikationsmodells gebunden hat.

Das gebundene der Testfehler eines Klassifikationsmodells (auf Daten, der i.i.d. von demselben Vertrieb wie der Lehrsatz gezogen wird) wird durch gegeben

mit der Wahrscheinlichkeit, wo die VC Dimension des Klassifikationsmodells ist, und die Größe des Lehrsatzes ist (Beschränkung: Diese Formel ist wenn gültig). Ähnliche Kompliziertheitsgrenzen können mit der Kompliziertheit von Rademacher abgeleitet werden, aber Kompliziertheit von Rademacher kann manchmal mehr Einblick gewähren als VC Dimensionsberechnungen in solche statistischen Methoden wie diejenigen, die Kerne verwenden.

In der rechenbetonten Geometrie ist VC Dimension einer der kritischen Rahmen in der Größe von ε-nets, der die Kompliziertheit von auf ihnen gestützten Annäherungsalgorithmen bestimmt; erstrecken Sie sich Sätze ohne begrenzte VC Dimension können begrenzten ε-nets überhaupt nicht haben.

• Der VC Dimensionstutorenkurs von Andrew Moore
• V. Vapnik und A. Chervonenkis. "Auf der gleichförmigen Konvergenz von Verhältnisfrequenzen von Ereignissen zu ihren Wahrscheinlichkeiten." Wahrscheinlichkeitsrechnung und seine Anwendungen, 16 (2):264-280, 1971.
• A. Blumer, A. Ehrenfeucht, D. Haussler und M. K. Warmuth. "Learnability und die Vapnik-Chervonenkis Dimension." Zeitschrift des ACM, 36 (4):929-865, 1989.
• Christopher Burges Tutorial auf SVMs für die Muster-Anerkennung (Information auch für die VC Dimension enthaltend)

• Bernard Chazelle. "Die Diskrepanz-Methode."