Peter Auer
Boosting-Algorithmen und Neuronale Netze
 Institut für Grundlagen der Informationsverarbeitung,
Technische Universität Graz, Österreich.


Boosting-Algorithmen zählen zu den erfolgreichsten Verfahren des Überwachten Lernens für Klassifikationsprobleme. Zum Beispiel schnitt bei einem Vergleich von Lernalgorithmen zur Erkennung von handgeschriebenen Ziffern[1] ein Neuronales Netz kombiniert mit einem Boosting-Algorithmus am besten ab. Boosting ist eine allgemeine Methode zur Verbesserung der Genauigkeit von Klassifikationsalgorithmen. Dabei werden durch unterschiedliche Gewichtung der Trainingsbeispiele mehrere Klassifikatoren berechnet, deren Linearkombination dann einen verbesserten Klassifikator liefert. In meinem Vortrag werde ich das grundlegende Boosting-Verfahren[2] erläutern und auch eine neuere Variante[3] vorstellen, die sich insbesonders zum Trainieren von Neuronalen Netzen eignet. Dann möchte ich Arbeiten besprechen, die versuchen die Effektivität von Boosting zu erklären.[4,5,6,7] Daraus ergeben sich konkrete Fragen zur Kombination von Neuronalen Netzen und Boosting:
  1. In mehreren Arbeiten wird Boosting als sehr unempfindlich gegen Overfitting beschrieben. Wie allgemein gültig ist diese Beobachtung?
  2. Ist die Kombination von mehreren kleinen Neuronalen Netzen mittels Boosting einem komplexeren Neuronalen Netz überlegen?
  3. Die Analyse zeigt, daß Boosting eine andere Fehlerfunktion als den quadratischen Fehler minimiert. Ist diese Fehlerfunktion dem quadratischen Fehler überlegen?
Den Versuch einer Antwort auf diese Fragen will ich an Hand von vorläufigen Ergebnissen einer empirischen Untersuchung unternehmen.

Literatur
[1] Y. LeCun, L. Jackel, L. Bottou, A. Brunot, C. Cortes, J. Denker, H. Drucker, I. Guyon, U. Müller, E. Säcklinger, P. Simard, and V. Vapnik. Comparison of learning algorithms for handwritten digit recognition. In Proceedings of ICANN'95, pages 53--60, 1995.

[2] Yoav Freund and Robert E. Schapire. A decision-theoretic generalization of on-line learning and an application to boosting. In Computational Learning Theory: Eurocolt '95, pages 23--37. Springer-Verlag, 1995.

[3] R. E. Schapire and Y. Singer. Improved boosting algorithms using confidence-rated predictions. In Proceedings of the Eleventh Annual Conference on Computational Learning Theory, 1998.

[4] Robert E. Schapire, Yoav Freund, Peter Bartlett, and Wee Sun Lee. Boosting the margin: a new explanation for the effectiveness of voting methods. In Proc. 14th International Conference on Machine Learning, pages 322--330. Morgan Kaufmann, 1997.

[5] J. Friedman, T. Hastie, and R. Tibshirani. Additive logistic regression: a statistical view of boosting. Preprint, http://www-stat.stanford.edu/trevor/Papers/, 1998.

[6] A. J. Grove and D. Schuurmans. Boosting in the limit: Maximizing the margin of learned ensembles. In Proceedings of the Fifteenth National Conference on Artificial Intelligence, 1998.

[7] L. Mason, P. Bartlett, and J. Baxter. Direct optimization of margins improves generalization in combined classifiers. Technical report, Deparment of Systems Engineering, Australian National University, 1998.

Schliesse Fenster wieder!


Holger Koch, 24. August 1998