Autoencoder

Ein Autoencoder ist ein künstliches neuronales Netz, das dazu genutzt wird, effiziente Codierungen zu lernen. Das Ziel eines Autoencoders ist es, eine komprimierte Repräsentation (Encoding) für einen Satz Daten zu lernen und somit auch wesentliche Merkmale zu extrahieren. Dadurch kann er zur Dimensionsreduktion genutzt werden.

Der Autoencoder benutzt drei oder mehr Schichten:

  • Eine Eingabeschicht. Bei der Gesichtserkennung könnten die Neuronen beispielsweise die Pixel einer Fotografie abbilden.
  • Einige signifikant kleinere Schichten, die das Encoding bilden.
  • Eine Ausgabeschicht, wo jedes Neuron die gleiche Bedeutung hat wie das entsprechende in der Eingabeschicht.

Wenn lineare Neuronen benutzt werden, ist er der Hauptkomponentenanalyse sehr ähnlich.

Training

Ein Autoencoder wird häufig mit einer der vielen Backpropagation-Varianten (CG-Verfahren, Gradientenverfahren etc.) trainiert. Obwohl diese Methode oft sehr effektiv ist, gibt es fundamentale Probleme damit, neuronale Netzwerke mit verborgenen Schichten zu trainieren. Sind die Fehler einmal zu den ersten paar Schichten rückpropagiert, werden sie unbedeutend. Das bedeutet, dass das Netzwerk fast immer lernt, den Durchschnitt der Trainingsdaten zu lernen. Obwohl es fortgeschrittene Backpropagation-Methoden (wie die conjugate gradient method) gibt, die diesem Problem zum Teil abhelfen, läuft dieses Verfahren auf langsames Lernen und schlechte Ergebnisse hinaus. Um dem abzuhelfen, verwendet man anfängliche Gewichtungen, die dem Ergebnis schon ungefähr entsprechen. Dies wird Pretraining genannt.

Bei einer Pretraining-Technik, die von Geoffrey Hinton dazu entwickelt wurde, vielschichtige Autoencoder zu trainieren, werden benachbarte Schichten als begrenzte Boltzmann-Maschine behandelt, um eine gute Annäherung zu erreichen und dann Backpropagation als Fine-Tuning zu benutzen.

Weblinks

Diese Artikel könnten dir auch gefallen

Die letzten News

03.03.2021
Ökologie | Land-, Forst- und Viehwirtschaft
Produktion nachhaltiger Lebensmittel in Aquakulturen
Eine nachhaltige Lebensmittelproduktion in Aquakulturen ganz ohne Mikroplastik. Das ist das langfristige Ziel eines neuen und über zwei Jahre laufenden Forschungsprojektes.
03.03.2021
Botanik | Biochemie | Entwicklungsbiologie
Wie eine Pflanze ihr Wachstum reguliert
Pflanzen zeigen polares Wachstum: Der Spross von Pflanzen wächst zum Licht, um dieses optimal nutzen zu können und die Wurzeln wachsen in Richtung des Erdmittelpunktes in den Boden.
02.03.2021
Zytologie | Genetik
Genetisches Material in Taschen verpacken
Alles Leben beginnt mit einer Zelle.
02.03.2021
Biodiversität
Artenspürhunde - Schnüffeln für die Wissenschaft
Die Listen der bedrohten Tiere und Pflanzen der Erde werden immer länger.
28.02.2021
Anthropologie | Genetik
64 menschliche Genome als neue Referenz für die globale genetische Vielfalt
Eine internationale Forschungsgruppe hat 64 menschliche Genome hochauflösend sequenziert.
28.02.2021
Neurobiologie | Insektenkunde
Wie Insekten Farben sehen
Insekten und ihre hochentwickelte Fähigkeit Farben zu sehen und zum Beispiel Blüten unterscheiden zu können, sind von zentraler Bedeutung für die Funktion vieler Ökosysteme.
28.02.2021
Genetik | Virologie
Retroviren schreiben das Koala-Genom um
Koalas sind mit zahlreichen Umwelt- und Gesundheitsproblemen konfrontiert, die ihr Überleben bedrohen.
26.02.2021
Ökologie | Paläontologie
Student entwickelt ein neues Verfahren, um Millionen Jahre alte Ökosysteme zu rekonstruieren
Niklas Hohmann, Masterstudent der Geowissenschaften an der Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU), hat einen neuen Algorithmus entwickelt, mit dem sich die Abfolge von Ökosystemen durch die Erdgeschichte besser rekonstruieren lässt.
26.02.2021
Klimawandel | Biodiversität | Land-, Forst- und Viehwirtschaft
Unterirdische Biodiversität im Wandel
Durch den globalen Wandel wird die Vielfalt der Bakterien auf lokaler Ebene voraussichtlich zunehmen, während deren Zusammensetzung sich auf globaler Ebene immer ähnlicher wird.
25.02.2021
Botanik | Ökologie | Klimawandel | Video
Wald im Trockenstress: Schäden weiten sich weiter aus
Ergebnisse der Waldzustandserhebung 2020 zeigen: Die anhaltenden Dürrejahre fordern Tribut.
24.02.2021
Physiologie | Primatologie
Geophagie: Der Schlüssel zum Schutz der Lemuren?
Kürzlich wurde eine transdisziplinäre Forschung über die Interaktionen zwischen Böden und Darm-Mykobiom (Pilze und Hefen) der Indri-Indri-Lemuren veröffentlicht.
24.02.2021
Mikrobiologie | Evolution
Vom Beginn einer evolutionären Erfolgsstory
Unser Planet war bereits lange von Mikroorganismen besiedelt, bevor komplexere Lebewesen erstmals entstanden und sich nach und nach zur heute lebenden Tier- und Pflanzenwelt entwickelten.
24.02.2021
Genetik
Cre-Controlled CRISPR: konditionale Gen-Inaktivierung wird einfacher
Die Fähigkeit, ein Gen nur in einem bestimmten Zelltyp auszuschalten, ist für die modernen Lebenswissenschaften wesentlich.
24.02.2021
Land-, Forst- und Viehwirtschaft | Fischkunde
Bald nur noch ängstliche Fische übrig?
Über die Fischerei werden vor allem größere und aktivere Fische aus Populationen herausgefangen.
23.02.2021
Anthropologie | Neurobiologie
Placebos wirken auch bei bewusster Einnahme
Freiburger Forschende zeigen: Scheinmedikamente funktionieren auch ohne Täuschung. Probanden waren über Placebo-Effekt vorab informiert.
23.02.2021
Botanik | Klimawandel
Auswirkungen des Klimas auf Pflanzen mitunter erst nach Jahren sichtbar
Die Auswirkungen von Klimaelementen wie Temperatur und Niederschlag auf die Pflanzenwelt werden möglicherweise erst Jahre später sichtbar.
23.02.2021
Ökologie | Klimawandel
Biologische Bodenkrusten bremsen Erosion
Forschungsteam untersucht, wie natürliche „Teppiche“ Böden gegen das Wegschwemmen durch Regen schützen.
23.02.2021
Mikrobiologie | Meeresbiologie
Süße Algenpartikel widerstehen hungrigen Bakterien
Eher süß als salzig: Mikroalgen im Meer produzieren jede Menge Zucker während der Algenblüten.
21.02.2021
Evolution | Biochemie
Treibstoff frühesten Lebens – organische Moleküle in 3,5 Milliarden Jahre alten Gesteinen nachgewiesen
Erstmalig konnten biologisch wichtige organische Moleküle in archaischen Fluideinschlüssen nachgewiesen werden. Sie dienten sehr wahrscheinlich als Nährstoffe frühen Lebens auf der Erde.
21.02.2021
Evolution | Biochemie
Origin of Life - Begann die Darwin’sche Evolution schon, bevor es Leben gab?
Ehe Leben auf der Erde entstand, gab es vor allem eines: Chaos.
21.02.2021
Anthropologie | Neurobiologie
Kommunikationsfähigkeit von Menschen im REM-Schlaf
Mit schlafenden Versuchspersonen lassen sich komplexe Nachrichten austauschen. Das haben Wissenschaftler jetzt in Studien gezeigt.
21.02.2021
Paläontologie | Insektenkunde
Fossile Larven - Zeitzeugen in Bernstein
Eine ungewöhnliche Schmetterlingslarve und eine große Vielfalt an Fliegenlarven. LMU-Zoologen haben in Bernstein fossile Bewohner Jahrmillionen alter Wälder entdeckt.
21.02.2021
Ethologie | Ökologie
Wölfe in der Mongolei fressen lieber Wild- als Weidetiere
Wenn das Angebot vorhanden ist, ernähren sich Wölfe in der Mongolei lieber von Wildtieren als von Weidevieh.
21.02.2021
Meeresbiologie
Neuer Wohnort im Plastikmüll: Biodiversität in der Tiefsee
Ein internationales Forscherteam findet einen neuen Hotspot der Biodiversität – und zwar ausgerechnet im Plastikmüll, der sich seit Jahrzehnten in den Tiefseegräben der Erde ansammelt.
19.02.2021
Meeresbiologie | Land-, Forst- und Viehwirtschaft
Durch Aquakultur gelangt vom Menschen produzierter Stickstoff in die Nahrungskette
Ausgedehnte Aquakulturflächen entlang der Küsten sind in Südostasien sehr verbreitet.