Überwachtes Lernen

Vorlage:QS-Informatik Überwachtes Lernen ist ein Teilgebiet des maschinellen Lernens. Mit Lernen ist dabei die Fähigkeit gemeint, Gesetzmäßigkeiten nachzubilden. Die Ergebnisse sind durch Naturgesetze oder Expertenwissen bekannt und werden benutzt, um das System anzulernen.

Ein Lernalgorithmus versucht, eine Hypothese zu finden, die möglichst zielsichere Voraussagen trifft. Unter Hypothese ist dabei eine Abbildung zu verstehen, die jedem Eingabewert den vermuteten Ausgabewert zuordnet. Dazu verändert der Algorithmus die freien Parameter der gewählten Hypothesenklasse. Oft wird als Hypothesenklasse die Menge aller Hypothesen, die durch ein bestimmtes künstliches neuronales Netzwerk modelliert werden kann, verwendet. In diesem Fall sind die frei wählbaren Parameter die Gewichte der Neuronen. Beim überwachten Lernen werden diese Gewichte derart angepasst, dass die Ausgabe der Neuronen denen eines vorgegebenen Teaching Vectors (engl., Lernvektor) möglichst nahe kommt. Die Methode richtet sich also nach einer im Vorhinein festgelegten zu lernenden Ausgabe, deren Ergebnisse bekannt sind. Die Ergebnisse des Lernprozesses können mit den bekannten, richtigen Ergebnissen verglichen, also „überwacht“, werden.

Um zu wissen, wann eine Hypothese zielsicher ist, wird ein Fehlermaß eingeführt, das minimiert werden soll. Eine beliebte Wahl ist der mittlere quadratische Fehler aller Trainingsdaten. Ein Lernschritt könnte wie folgt aussehen:

Anlegen der Eingabe
Verarbeitung der Eingabe (Propagierung)
Vergleich der Ausgabe mit dem erwünschten Wert (Fehler)
Verkleinern des Fehlers durch Modifikation der Gewichte (z.B. mit Backpropagation)

Nach diesem Training bzw. Lernprozess sollte das System in der Lage sein, zu einer unbekannten, den gelernten Beispielen ähnlichen Eingabe, eine korrekte Ausgabe zu liefern.

Um diese Fähigkeit zu testen, wird das System validiert. Eine Möglichkeit ist, die verfügbaren Daten in ein Trainingsset und ein Testset zu unterteilen. Das Ziel ist es, das Fehlermaß im Testset, mit dem nicht trainiert wird, zu minimieren. Häufig kommen dafür Kreuzvalidierungsverfahren zur Anwendung.

Besitzt das Modell sehr viele Parameter (Gewichte) oder sind nur wenige Trainingsdaten vorhanden, kommt es leicht zur Überanpassung. Das zeigt sich, wenn der Fehler im Trainingsset zwar weiterhin sinkt, aber derjenige im Testset wieder zu steigen beginnt, weil die bekannten Daten einzeln gelernt werden (anstelle der allgemeinen Regel dahinter). Oft wird genau dieser Zeitpunkt abgewartet, um den Trainingsvorgang zu stoppen. Damit wird aber das Testset beim Training verwendet. Zur Beurteilung wird daher ein drittes Validierungsset eingeführt.

Verfahren im überwachten Lernen

Induktives Lernen, siehe auch Induktion (Denken)
Konzeptlernproblem
Lernen von Entscheidungsbäumen, siehe auch Entscheidungsbaum

Siehe auch

Unüberwachtes Lernen
Regressionsanalyse