Rekurrentes neuronales Netz

Als rekurrente bzw. rückgekoppelte neuronale Netze bezeichnet man neuronale Netze, die sich, im Gegensatz zu den sogenannten Feedforward-Netzen durch Verbindungen von Neuronen einer Schicht zu Neuronen derselben oder einer vorangegangenen Schicht auszeichnen. Im Gehirn ist dies die bevorzugte Verschaltungsweise neuronaler Netze, insbesondere im Neocortex. In künstlichen neuronalen Netzen werden rekurrente Verschaltung von Modellneuronen benutzt, um zeitlich codierte Informationen in den Daten zu entdecken. Beispiele für solche rekurrente neuronale Netze sind das Elman-Netz, das Jordan-Netz, das Hopfield-Netz, sowie das vollständig verschaltete neuronale Netz.

Verschiedene Arten von Rückkopplungen: Die blaue Kante ($ w_{d} $) ist eine direkte, die grüne ($ w_{i} $) eine indirekte und die rote ($ w_{l} $) eine seitliche Rückkopplung.

Rekurrente Netze lassen sich folgendermaßen unterteilen:

• Bei einer direkten Rückkopplung (engl. direct feedback) wird der eigene Ausgang eines Neurons als weiterer Eingang genutzt.
• Die indirekte Rückkopplung (engl. indirect feedback) verbindet den Ausgang eines Neurons mit einem Neuron der vorhergehenden Schichten.
• Die seitliche Rückkoppelung (engl. lateral feedback) verbindet den Ausgang eines Neurons mit einem anderen Neuron derselben Schicht.
• Bei einer vollständigen Verbindung hat jeder Neuronenausgang eine Verbindung zu jedem anderen Neuron.

Lernen von rekurrenten neuronalen Netzen

Rekurrente künstliche neuronale Netze sind schwierig durch Methoden des maschinellen Lernens zu trainieren.^[1] Ein populärer Ansatz ist es daher, nicht das Netz, sondern das Auslesen des Netzes zu trainieren. Das rekurrente neuronale Netz wird dabei als sogenanntes Reservoir betrachtet.

Literatur

• Andreas Zell, Simulation neuronaler Netze, R. Oldenbourg Verlag, München, 1997, ISBN 3-486-24350-0

Einzelnachweise