Autoencoder

Ein Autoencoder ist ein künstliches neuronales Netz, das dazu genutzt wird, effiziente Codierungen zu lernen. Das Ziel eines Autoencoders ist es, eine komprimierte Repräsentation (Encoding) für einen Satz Daten zu lernen und somit auch wesentliche Merkmale zu extrahieren. Dadurch kann er zur Dimensionsreduktion genutzt werden.

Der Autoencoder benutzt drei oder mehr Schichten:

  • Eine Eingabeschicht. Bei der Gesichtserkennung könnten die Neuronen beispielsweise die Pixel einer Fotografie abbilden.
  • Einige signifikant kleinere Schichten, die das Encoding bilden.
  • Eine Ausgabeschicht, wo jedes Neuron die gleiche Bedeutung hat wie das entsprechende in der Eingabeschicht.

Wenn lineare Neuronen benutzt werden, ist er der Hauptkomponentenanalyse sehr ähnlich.

Training

Ein Autoencoder wird häufig mit einer der vielen Backpropagation-Varianten (CG-Verfahren, Gradientenverfahren etc.) trainiert. Obwohl diese Methode oft sehr effektiv ist, gibt es fundamentale Probleme damit, neuronale Netzwerke mit verborgenen Schichten zu trainieren. Sind die Fehler einmal zu den ersten paar Schichten rückpropagiert, werden sie unbedeutend. Das bedeutet, dass das Netzwerk fast immer lernt, den Durchschnitt der Trainingsdaten zu lernen. Obwohl es fortgeschrittene Backpropagation-Methoden (wie die conjugate gradient method) gibt, die diesem Problem zum Teil abhelfen, läuft dieses Verfahren auf langsames Lernen und schlechte Ergebnisse hinaus. Um dem abzuhelfen, verwendet man anfängliche Gewichtungen, die dem Ergebnis schon ungefähr entsprechen. Dies wird Pretraining genannt.

Bei einer Pretraining-Technik, die von Geoffrey Hinton dazu entwickelt wurde, vielschichtige Autoencoder zu trainieren, werden benachbarte Schichten als begrenzte Boltzmann-Maschine behandelt, um eine gute Annäherung zu erreichen und dann Backpropagation als Fine-Tuning zu benutzen.

Weblinks

Die News der letzten Tage

27.01.2023
Land-, Forst-, Fisch- und Viehwirtschaft | Neobiota | Ökologie
Auswirkungen von fremden Baumarten auf die biologische Vielfalt
Nicht-einheimische Waldbaumarten können die heimische Artenvielfalt verringern, wenn sie in einheitlichen Beständen angepflanzt sind.
27.01.2023
Biochemie | Botanik | Physiologie
Wie stellen Pflanzen scharfe Substanzen her?
Wissenschaftler*innen haben das entscheidende Enzym gefunden, das den Früchten der Pfefferpflanze (lat Piper nigrum) zu ihrer charakteristischen Schärfe verhilft.
26.01.2023
Biochemie | Mikrobiologie | Physiologie
Ein Bakterium wird durchleuchtet
Den Stoffwechsel eines weit verbreiteten Umweltbakteriums hat ein Forschungsteam nun im Detail aufgeklärt.
26.01.2023
Bionik, Biotechnologie und Biophysik | Botanik | Physiologie
Schutzstrategien von Pflanzen gegen Frost
Fallen die Temperaturen unter null Grad, bilden sich Eiskristalle auf den Blättern von winterharten Grünpflanzen - Trotzdem überstehen sie Frostphasen in der Regel unbeschadet.
26.01.2023
Entwicklungsbiologie | Genetik
Neues vom Kleinen Blasenmützenmoos
Mithilfe mikroskopischer und genetischer Methoden finden Forschende der Universität Freiburg heraus, dass die Fruchtbarkeit des Laubmooses Physcomitrella durch den Auxin-Transporter PINC beeinflusst wird.
26.01.2023
Klimawandel | Mikrobiologie | Mykologie
Die Art, wie Mikroorganismen sterben beeinflusst den Kohlenstoffgehalt im Boden
Wie Mikroorganismen im Boden sterben, hat Auswirkungen auf die Menge an Kohlenstoff, den sie hinterlassen, wie Forschende herausgefunden haben.
25.01.2023
Entwicklungsbiologie | Evolution
Wie die Evolution auf unterschiedliche Lebenszyklen setzt
Einem internationalen Forscherteam ist es gelungen, eines der Rätsel der Evolution zu lösen.
24.01.2023
Biochemie | Ökologie | Physiologie
Moose verzweigen sich anders... auch auf molekularer Ebene
Nicht-vaskuläre Moose leben in Kolonien, die den Boden bedecken und winzigen Wäldern ähneln.
24.01.2023
Bionik, Biotechnologie und Biophysik | Genetik
Verfahren der Genom-Editierung optimiert
Im Zuge der Optimierung von Schlüsselverfahren der Genom-Editierung ist es Forscherinnen und Forschern in Heidelberg gelungen, die Effizienz von molekulargenetischen Methoden wie CRISPR/Cas9 zu steigern und ihre Anwendungsgebiete zu erweitern.
24.01.2023
Ökologie | Zoologie
Kooperation der männlichen australischen Spinnenart Australomisidia ergandros
Forschende konnten in einer Studie zeigen, dass Männchen der australischen Spinne Australomisidia ergandros ihre erjagte Beute eher mit den anderen Mitgliedern der Verwandtschaftsgruppe teilen als die Weibchen.
24.01.2023
Bionik, Biotechnologie und Biophysik | Physiologie
Mutante der Venusfliegenfalle mit Zahlenschwäche
Die neu entdeckte Dyscalculia-Mutante der Venusfliegenfalle hat ihre Fähigkeit verloren, elektrische Impulse zu zählen.
23.01.2023
Biochemie | Physiologie
neue Einblicke in Mechanismen der Geschmackswahrnehmung
Die Komposition der Lebensmittel, aber auch die Speisenabfolge ist für das perfekte Geschmackserlebnis eines Menüs entscheidend.
19.01.2023
Biodiversität | Neobiota | Ökologie
Starke Zunahme von gebietsfremden Landschnecken
Invasive Landschneckenarten können heimische Arten verdrängen und der menschlichen Gesundheit schaden.