Lernende Vektorquantisierung

Lernende Vektorquantisierung, englisch learning vector quantization (kurz: LVQ), ist ein Verfahren aus dem Bereich der künstlichen neuronalen Netze. Es dient der Klassifikation von nichtlinearen Problemen.

VQ = Vektorquantisierung: Verfahren zum unüberwachten Clustering

LVQ = Lernende VQ

Klassifikation: Abbildung in K Klassen Trainingmenge P

  P = {(xi,yi) in $ R^{n} $x{1..K}|i}

LVQ-Netz: gegeben durch Prototypen (w1,Y1)…(wk,Yk) in $ R^{n} ${1..K} definiert Abbildung x → Yi mit |x-wi| minimal, also Gewinner nach WTA (Winner Takes It All)

LVQ1: Es werden für die Klassen 1 bis k ein oder mehrere Neuronen erzeugt und deren Gewichtsvektoren zufällig, mit zufälligen Pattern der jeweiligen Klasse, durch die Schwerpunkte der jeweiligen Klasse oder anders sinnvoll initialisiert. Dann werden genau wie bei Vektorquantisierung die Muster präsentiert und je ein Gewinnerneuron mit kleinstem euklidischem Abstand zur Eingabe berechnet. Dabei ist die Lernrate Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): \eta \isin [0,1[ entweder konstant oder im Laufe des Verfahrens fallend, um Konvergenz zu erzwingen.

Algorithmus:

  init wj
  repeat
     Wähle (xi,yi)
     bestimme Gewinner (wk,yk)
     wk = wk+Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): \eta
(xi-wk) falls yi = Yk (wenn yi die durch wk repräsentierte Klasse)
          wk-Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): \eta
(xi-wk) sonst

Die Konvergenz von LVQ1 ist nicht bewiesen; es gibt in der Praxis Probleme bei überlappenden Daten.