x_t = g(x_t-1,...,x_t-p) + e_t (1)

wobei g() eine ``beliebige'' Funktion ist und e_tein iid Rauschprozeß. Wenn g linear ist, erhält man ein klassisches AR(p) Modell.

Eine der zentralen Fragen der Zeitreihentheorie ist die Stationarität des Modells, d.h., ob die probabilistischen Strukturen konstant oder zumindest asymptotisch konstant über die Zeit sind. Überraschenderweise wurde diese Frage in der NN Literatur bisher fast nicht behandelt, sondern AR-NN Modelle wie (1) ``einfach verwendet'', ohne die Eigenschaften des Modells genauer zu untersuchen.

Wir verwenden Resultate aus der Theorie dynamischer Systeme und Markoffkettentheorie, um zu zeigen, unter welchen Bedingungen AR-NN (asymptotisch) stationär sind. Insbesonders zeigt sich z.B., daß ein klassisches Multi Layer Perceptron ohne Shortcuts nur stationäre Prozesse lernen kann. Sind lineare Shortcuts zwischen Inputs und Outputs des Netzes vorhanden, so bestimmen nur die Gewichte der Shortcuts, ob das Gesamtsystem stationär ist oder nicht.

Es ist daher z.B. nicht möglich, mit einem ``normalen'' MLP (ohne Shortcuts) eine nichtstationäre Zeitreihe zu lernen, wenn auch über endliche Zeitintervalle zu approximieren. Weiters kann durch klassischen Bedingungen an die Wurzeln des Shortcut-Polynoms getestet werden, ob eine stationäre oder nicht-stationäre Zeitreihe gelernt wurde (die restlichen Gewichte sind für diese Frage irrelevant).

Wenn man als Beispiel Zeitreihen aus der Finanzwirtschaft wie Aktienkurse hernimmt, so heißt dies, daß ein MLP ohne Shortcuts nur die Returns, nicht aber den Kurs selber lernen kann, da derartige Zeitreihen typischerweise integriert und damit nicht stationär sind.

Schliesse Fenster wieder!