Stochastisches Lernen

Stochastisches Lernen ist eine Lernstrategie in Künstlichen neuronalen Netzen, die auf einer zufälligen Suche im Gewichtsraum beruhen. Mit Lernen ist dabei die Fähigkeit gemeint, Gesetzmäßigkeiten wie zum Beispiel Naturgesetze zu erkennen.

Ein Lernalgorithmus versucht, eine Hypothese zu finden, die möglichst zielsichere Voraussagen trifft. Unter Hypothese ist dabei eine Abbildung zu verstehen, die jedem Eingabewert den vermuteten Ausgabewert zuordnet. Dazu verändert der Algorithmus die freien Parameter der gewählten Hypothesenklasse. Oft wird als Hypothesenklasse die Menge aller Hypothesen, die durch ein bestimmtes künstliches neuronales Netzwerk modelliert werden kann, verwendet. In diesem Fall sind die frei wählbaren Parameter die Gewichte w der Neuronen.

Das Ziel des Stochastisches Lernens ist es, mit Hilfe einer zufälligen Suche die Gewichte w des Netzes gegen ein gutes Minimum einer zuvor gewählten Fehlerfunktion E(w) zu steuern. Solche Verfahren sind auch dann anwendbar, wenn die Gewichte auf diskrete Werte beschränkt sind, oder wenn die Aktivierungsfunktion nicht differenzierbar ist.

Für das Stochastische Lernen existieren folgen Implementierungsoptionen:

• Iterative Improvement
• Simulated Annealing

Beim letzteren Verfahren werden die neuen Gewichte auch mit einer vorgegebenen Wahrscheinlichkeit p akzeptiert, wenn sie keine Verringerung des Fehlers gegenüber den vorhergehenden Gewichten erreicht haben.