Adaptive Resonanztheorie

Adaptive Resonance Theory (ART) bedeutet übersetzt anpassungsfähige Resonanz-Theorie. ART ist ein Architekturkonzept für neuronale Netze und wurde von Stephen Grossberg und Gail A. Carpenter entwickelt.

Grundlegende Struktur

Grundlegende ART Struktur

Das einfache ART-System gehört zur Klasse der nicht überwacht lernenden Algorithmen.

Typischerweise besteht es aus einem Vergleichs-Feld F1 und einem Erkennungs-Feld F2, einem Wachsamkeits-Parameter P und einem Reset-Modul R. Neuronen in F1 repräsentieren Attribute, Neuronen in F2 Kategorien. Daher bestehen beide Felder meist aus einer unterschiedlichen Anzahl von Neuronen. F1 und F2 sind bidirektional voll vernetzt. Jede Verbindung wird mit einem spezifischen Gewicht bewertet. Diese Gewichte sind der Langzeit-Speicher von ART. Alle Gewichte von F1 nach F2 sind in einer Gewichtsmatrix W zusammengefasst, die anderen gehören zur Gewichtsmatrix Z. Der Wachsamkeits-Parameter hat beträchtlichen Einfluss auf das System: ein hoher Wert verursacht feingranulare Erinnerungen (viele, kleine Kategorien), ein niedriger Wert sorgt für mehr Abstraktion (weniger, gröbere Kategorien).

Klassifizierung

Beim Klassifizieren wird an die F1-Neuronen ein eindimensionaler Attribute-Vektor I angelegt. Dieser wird mit den Gewichten in W bewertet und an die F2-Neuronen weitergeleitet. Das F2-Neuron, welches das maximale Signal erhält, bestimmt die Kategorie, zu der I gehört. Die Ausgabe aller anderen F2-Neuronen wird auf Null gesetzt.

Das Ergebnis wird mit Z bewertet und an die F1-Schicht zurückgeleitet. Liegt der Unterschied zwischen I und dem zurückkommendem Signal innerhalb der von P festgelegten Grenze, befindet sich das System in Resonanz und die Gewichte können trainiert werden. Ansonsten wird per Reset-Signal das aktive F2-Neuron deaktiviert, bis ein neuer Eingabe-Vektor anliegt. Es folgt ein neuer Durchlauf, der zu einem anderen F2-Neuron (einer anderen Kategorie) führt. Somit werden während der Suche nach und nach solange Kategorien probiert, bis entweder eine Kategorie gefunden wurde, die ähnlich genug ist oder alle Kategorien verglichen wurden.

Sollte I in keine der gespeicherten Kategorien passen, so wird ein bisher ungenutztes F2-Neuron verwendet und die Gewichte zu diesem mit den Werten von I initialisiert. Ist kein freies F2-Neuron verfügbar (Speicherkapazität erschöpft), so kann das neue Muster nicht erlernt werden.

Im Zustand der Resonanz werden die Gewichte der ausgewählten Kategorie den Attributen von I angepasst. Daher hat das System seinen Namen: Es lernt im Zustand der Resonanz, indem es gespeicherte Kategorien an neue Fälle anpasst, sofern der neue Fall nicht zu sehr von der gespeicherten Kategorie abweicht.

Training

Es gibt zwei verschiedene Arten, ART-Netze zu trainieren: langsam und schnell.

Langsames Lernen passiert dann, wenn eine zufriedenstellende Kategorie gefunden wurde (In Anlehnung an schwingende Systeme wird dieser Zustand Resonanz genannt). Die Gewichte dieser Kategorie werden mit Differentialgleichungen an die Attribute von I angepasst. Der Grad der Anpassung ist abhängig davon, wie lange I präsentiert wird.

Beim schnellen Lernen wird die Anpassung der Gewichte mithilfe algebraischer Gleichungen bestimmt.

Während schnelles Lernen effektiv und effizient für viele Anwendungen ist, ist langsames Lernen biologisch plausibler.

ART Typen

ART 1

ART 1 ^[1] ^[2] Referenzfehler: Ungültige Verwendung von <ref>: Der Parameter „name“ ist ungültig oder zu lang. ist die einfachste und ursprüngliche Variante. ART-1 kann nur binäre Attribute verarbeiten.

ART 2

ART 2^[3] erweitert ART-1 und ermöglicht die Verarbeitung von kontinuierlichen Attributen.

ART 2-A

ART 2-A^[4] ist eine rationalisierte Form von ART-2 mit drastisch verbesserter Laufzeit und nur selten schlechteren Resultaten.

ART 3

ART 3^[5] basiert auf ART-2 und ahmt chemische Vorgänge biologischer neuronaler Netze nach.

Fuzzy ART

Fuzzy ART^[6] erweitert ART 1 um die Nutzung von Fuzzy-Logik. Dies Ermöglicht graduelle Zuordnung zu verschiedenen Kategorien gleichzeitig. Durch komplementäres Kodieren der Attribute kann die Abwesenheit von Attributen verarbeitet werden, was unnötiges Wuchern von Kategorien reduziert.

distributed ART

distributed ART^[7]

ARTMAP

ARTMAP Übersicht

ARTMAP^[8], Wird auch Predictive ART (vorhersagendes ART) genannt. Dabei werden zwei ART-Module mit einem Verbindungsnetz V zu einem überwacht lernenden System kombiniert. Das Erste Modul verarbeitet den Attributvektor I und das zweite den Ergebnisvektor C. Das Steuerungssystem S steuert den Wachsamkeits-Parameter des Attribute-Systems in Abhängigkeit von den Ergebniskategorien. Somit können unterschiedlich grobe Kategorien der Attribute erzeugt werden.

Wird nur ein einfaches (überwacht lernendes) Klassifikations-System benötigt, so kann das zweite Modul vereinfacht werden.

Fuzzy ARTMAP

Fuzzy ARTMAP^[9] ist einfach ein ARTMAP aus zwei Fuzzy ART Modulen.

Distributed ARTMAP

Distributed ARTMAP ^[10]

ARTMAP-IC

ARTMAP-IC ^[11]

Default ARTMAP

Default ARTMAP ^[12] ist eine Kombination aus Fuzzy ARTMAP und teilweise Distributed ARTMAP.

ARTMAP Übersicht

	Trainieren	Klassifizieren	Instanzenzählung
Fuzzy	WTA	WTA	Nein
Default	WTA	verteilt	Nein
IC	WTA	verteilt	Ja
Distributed	verteilt	verteilt	Ja

WTA = „the winner takes it all“ Nur das F2-Neuron mit der größten Ausgabe ist aktiv, die Ausgabe aller anderen ist Null.

Verteilt = Alle F2-Neuronen sind aktiv.

Instanzenzählung = Die Ausgaben der F2-Neuronen werden durch die F3-Neuronen gewichtet. Kategorien, die in den Trainingsfällen häufiger vorkamen, bekommen eine größere Bewertung.

^[13]

Literatur

Wasserman, Philip D. (1989), Neural computing: theory and practice, New York: Van Nostrand Reinhold, ISBN 0-442-20743-3.

Einzelnachweise

↑ Carpenter, G.A. & Grossberg, S. (2003), Adaptive Resonance Theory, In M.A. Arbib (Ed.), The Handbook of Brain Theory and Neural Networks, Second Edition (pp. 87-90). Cambridge, MA: MIT Press
↑ Grossberg, S. (1987), Competitive learning: From interactive activation to adaptive resonance, Cognitive Science (Zeitschrift), 11, 23-63
↑ Carpenter, G.A. & Grossberg, S. (1987), ART 2: Self-organization of stable category recognition codes for analog input patterns, Applied Optics, 26(23), 4919-4930
↑ Carpenter, G.A., Grossberg, S., & Rosen, D.B. (1991a), ART 2-A: An adaptive resonance algorithm for rapid category learning and recognition, Neural Networks (Zeitschrift), 4, 493-504
↑ Carpenter, G.A. & Grossberg, S. (1990), ART 3: Hierarchical search using chemical transmitters in self-organizing pattern recognition architectures, Neural Networks (Zeitschrift), 3, 129-152
↑ Carpenter, G.A., Grossberg, S., & Rosen, D.B. (1991b), Fuzzy ART: Fast stable learning and categorization of analog patterns by an adaptive resonance system, Neural Networks (Zeitschrift), 4, 759-771
↑ Carpenter, G.A. (1997), Distributed Learning, Recognition and Prediction by ART and ARTMAP Neural Networks, Neural Networks (Zeitschrift), vol. 10, no. 8, 1473-1494
↑ Carpenter, G.A., Grossberg, S., & Reynolds, J.H. (1991), ARTMAP: Supervised real-time learning and classification of nonstationary data by a self-organizing neural network, Neural Networks (Zeitschrift), 4, 565-588
↑ Carpenter, G.A., Grossberg, S., Markuzon, N., Reynolds, J.H., & Rosen, D.B. (1992), Fuzzy ARTMAP: A neural network architecture for incremental supervised learning of analog multidimensional maps, IEEE Transactions on Neural Networks, 3, 698-713
↑ Gail A. Carpenter, Boriana L. Milenova, Benjamin W. Noeske (1998), Distributed ARTMAP: a neural network for fast distributed supervised learning, Neural Networks (Zeitschrift), 11, 793-813
↑ Gail A. Carpenter, Natalya Markuzon (1998), ARTMAP-IC and medical diagnosis: Instance counting and inconsistent cases, Neural Networks (Zeitschrift), 11, 323-336
↑ Gail A. Carpenter (2003), Default ARTMAP, CAS-CNS Technical Report TR-2003-008
↑ http://profusion.bu.edu/techlab/modules/mydownloads/Classer/Artmap/ApiDocs/main.html]

Weblinks

cns-web.bu.edu/... - Offizielle Webseite von Stephen Grossberg
profusion.bu.edu/... - Beispielcode in den Programmiersprachen C und Java
cs.uni-muenster.de/... - Erklärung von ART und ARTMAP samt Beispielen
informatik.uni-ulm.de/... - Eine deutschsprachige Einführung zu ART (PDF-Datei; 103 kB)

[ART_1-1] Carpenter, G.A. & Grossberg, S. (2003), Adaptive Resonance Theory, In M.A. Arbib (Ed.), The Handbook of Brain Theory and Neural Networks, Second Edition (pp. 87-90). Cambridge, MA: MIT Press

[AR-2] Grossberg, S. (1987), Competitive learning: From interactive activation to adaptive resonance, Cognitive Science (Zeitschrift), 11, 23-63

[ART_2-3] Carpenter, G.A. & Grossberg, S. (1987), ART 2: Self-organization of stable category recognition codes for analog input patterns, Applied Optics, 26(23), 4919-4930

[ART_2-A-4] Carpenter, G.A., Grossberg, S., & Rosen, D.B. (1991a), ART 2-A: An adaptive resonance algorithm for rapid category learning and recognition, Neural Networks (Zeitschrift), 4, 493-504

[ART_3-5] Carpenter, G.A. & Grossberg, S. (1990), ART 3: Hierarchical search using chemical transmitters in self-organizing pattern recognition architectures, Neural Networks (Zeitschrift), 3, 129-152

[Fuzzy_ART-6] Carpenter, G.A., Grossberg, S., & Rosen, D.B. (1991b), Fuzzy ART: Fast stable learning and categorization of analog patterns by an adaptive resonance system, Neural Networks (Zeitschrift), 4, 759-771

[distributed_ART-7] Carpenter, G.A. (1997), Distributed Learning, Recognition and Prediction by ART and ARTMAP Neural Networks, Neural Networks (Zeitschrift), vol. 10, no. 8, 1473-1494

[ARTMAP-8] Carpenter, G.A., Grossberg, S., & Reynolds, J.H. (1991), ARTMAP: Supervised real-time learning and classification of nonstationary data by a self-organizing neural network, Neural Networks (Zeitschrift), 4, 565-588

[Fuzzy_ARTMAP-9] Carpenter, G.A., Grossberg, S., Markuzon, N., Reynolds, J.H., & Rosen, D.B. (1992), Fuzzy ARTMAP: A neural network architecture for incremental supervised learning of analog multidimensional maps, IEEE Transactions on Neural Networks, 3, 698-713

[distrib_A-10] Gail A. Carpenter, Boriana L. Milenova, Benjamin W. Noeske (1998), Distributed ARTMAP: a neural network for fast distributed supervised learning, Neural Networks (Zeitschrift), 11, 793-813

[ARTMAP-IC-11] Gail A. Carpenter, Natalya Markuzon (1998), ARTMAP-IC and medical diagnosis: Instance counting and inconsistent cases, Neural Networks (Zeitschrift), 11, 323-336

[def-ARTMAP-12] Gail A. Carpenter (2003), Default ARTMAP, CAS-CNS Technical Report TR-2003-008

[ARTMAP-Tabelle-13] ttp://profusion.bu.edu/techlab/modules/mydownloads/Classer/Artmap/ApiDocs/main.html]

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]