|
``Wachsende Neuronale Netze mit Hyperbolischen Radialen Basisfunktionen '' Zweischichtige neuronale Netze mit radialen Basisfunktionen (RBF) in den Units der verdeckten Schicht erfreuen sich großer Beliebtheit für Probleme aus den Bereichen Klassifikation und Funktionsapproximation, da die Effekte der radialen Units gut lokalisiert sind. In der Regel werden beide Schichten mit unterschiedlichen Verfahren trainiert. Zunächst wird die verdeckte Schicht unüberwacht initialisiert, z.B. durch Clusterung der Eingabevektoren. Die Gewichte der Ausgabeunits werden anschließend durch ein überwachtes Verfahren trainiert. Diese Vorgehensweise hat den Nachteil, daß die Positionen der radialen Units unabhängig von der gewünschten Ausgabe sind. Man kann diesen Nachteil vermeiden, wenn die Gewichte beider Schichten durch einen fehlerminimierenden Lernalgorithmus, wie Backpropagation, angepaßt werden. Wie kürzlich von N.B. Karayiannis gezeigt wurde, eignen sich die üblicherweise verwendeten Gaußschen Basisfunktionen nur bedingt für den Gradientenabstieg, da ihre Ableitung an der Stelle der höchsten Antwort verschwindet. Besser geeignet sind hyperbolische Basisfunktionen, bei denen sowohl Antwort, als auch Ableitung zum Zentrum hin zunehmen. Im vorliegenden Beitrag untersuchen wir, wie mittels Wachstumsverfahren eine geeignete Architektur für die Lösung von Klassifikationsproblemen mit hyperbolischen RBF-Netzen gefunden werden kann. Dabei wird das Netz zunächst mit einer radialen Unit initialisiert. Die Gewichte beider Schichten werden durch Gradientenabstieg angepaßt. Neue radiale Units werden an Stellen eingefügt, an denen das Netz noch nicht perfekt arbeitet. Der Radius der hinzugefügten Units wird immer kleiner, so dßa die zu approximierende Funktion in einer Grob-zu-Fein-Strategie angenähert wird. Die vorgeschlagenen Wachstumsverfahren wurden an einer synthetischen Datenmenge, dem Problem der verschlungenen Spiralen, und an einer Datenmenge aus dem Bereich der Spracherkennung getestet. Dabei wurden sehr zufriedenstellende Ergebnisse erzielt. |