|
``Lebenslang lernfähige Zellstrukturen:Eine Lösung des Stabilitäts-Plastiziäts-Dilemmas'' Diese Arbeit beschreibt eine Weiterentwicklung der Zellstrukturen endlich begründet durch die Beiträge von FRITZKE [1992; 1994; 1995], BRUSKE und SOMMER [1995] bzw. BRUSKE [1998]\) zur Lösung des Stabilitäts-Plastizitäts-Dilemmas. Das als ''lebenslang lernfähige Zellstruk turen'' bezeichnete neuronale Netz verwendet die in der Abbildung hervorgehobenen Module, um das Einfügen von Knoten bei Datenströmen mit einer stationären Wahrscheinlichkeitsdichteverteilung, sogar in überlappenden Entscheidungsregionen, selbständig begrenzen können, mit der gleichzeitigen Fähigkeit, bei einer relevanten Änderung der Wahrscheinlichkeitsdichte erneut Knoten einfügen zu können. Weiterhin wird demonstriert, daß die Bewegung der Knoten bei einer stationären Wahrscheinlichkeitsdichteverteilung bis auf Null reduziert werden kann, ohne das Netz fest einzufrieren, sondern, daß sich bei einer relevanten Änderung der Wahrscheinlichkeitsdichteverteilung die betreffenden Knoten erneut bewegen können. Weiterhin bleibt die Fähigkeit zum Einfügen neuer Knoten gewahrt, um dem Netz zu ermöglichen, selbständig eine angemessene Anzahl von Knoten zur Lösung der Aufgabe zu bestimmen. Die dafür notwendige Stabilität sowie die Plastizität wirkt nur lokal, d.h., während das Netz an einigen Stellen hochgradig plastisch ist, kann es an anderen Stellen in einem vollkommen stabilen Zustand verbleiben. Der entwickelte Algorithmus bietet keine Insellösung, sondern eine Erweiterung der bestehenden Zellstrukturen mit ihren Varianten. Das bisher zuungunsten der Plastizität ausgelegte Dilemma wird im Kontext des lebenslangen Lernens neu interpretiert und eine leistungsfähigere beide Komponenten berücksichtigende Lösung entwickelt. Konkret beruhen die Erweiterungen auf zwei Säulen: Erstens, durch die nachträgliche Bewertung des Einfügens von neuen Knoten lernt das Netz, ob sich ein weiteres Einfügen an dieser entsprechenden Stelle noch lohnt. Zweitens, durch Beobachtung der Leistung des Netzes mit zwei Fehlerzählern unterschiedlicher Zeitkonstante können relevante, lokale Änderungen in der Wahrscheinlichkeitsdichteverteilung entdeckt und die Lernparameter entsprechend adaptiert werden. Die empirischen Untersuchungen mit künstlichen Daten und der Benchmarks zeigen am Beispiel des Error-driven Lernens, daß die entwickelte Lösung des Stabilitäts-Plastizitäts-Dilemmas einen optimalen Kompromiß zwischen Stabilität und Plastizität darstellt. Dieser optimale Kompromiß ist dadurch charakterisiert, daß
|