Infomax

Infomax ist ein Optimierungsprinzip künstlicher neuronaler Netze und anderer Informationsverarbeitungssysteme. Es besagt, dass eine Funktion, die eine Reihe von Eingangswerten I einer Reihe von Ausgangswerten O zuschreibt, so gewählt oder gelernt werden sollte, dass die durchschnittliche Transinformation nach Shannon zwischen I und O maximiert wird. Dies geschieht abhängig von vordefinierten Bedingungen und/oder vorhandenem Rauschen im Signal. Infomaxalgorithmen sind dabei Lernalgorithmen, die diesem Optimierungsprozess dienen.^[1]

Infomax bezieht sich auf das Prinzip der Redundanzreduktion, das von Horace Barlow zur Beschreibung biologischer Reizverarbeitung im Jahr 1961 formuliert wurde.^[2] Atick und Redlich wendeten es für die Berechnung von Verarbeitungsprozessen der Retina an.^[3]

Eine der Hauptanwendungen von Infomax findet sich bei der Unabhängigkeitsanalyse (ICA), wobei unabhängige Signale durch Maximierung der Entropie gefunden werden.^[4]^[5]

Literatur Bearbeiten

Bell AJ, Sejnowski TJ: The "Independent Components" of Natural Scenes are Edge Filters. In: Vision Res. 37. Jahrgang, Nr. 23, Dezember 1997, S. 3327–38, doi:10.1016/S0042-6989(97)00121-1, PMID 9425547, PMC 2882863 (freier Volltext) – (englisch, elsevier.com).
Linsker R: A local learning rule that enables information maximization for arbitrary input distributions. In: Neural Computation. 9. Jahrgang, Nr. 8, 1997, S. 1661–65, doi:10.1162/neco.1997.9.8.1661 (englisch).
Stone, James V., Dr.: Independent component analysis : a tutorial introduction. MIT Press, Cambridge, Mass. 2004, ISBN 0-262-69315-1 (englisch).

Einzelnachweise Bearbeiten

↑ Linsker R: Self-organization in a perceptual network. In: IEEE Computer. 21. Jahrgang, Nr. 3, 1988, S. 105–17, doi:10.1109/2.36 (englisch, kovan.ceng.metu.edu.tr (Memento des Originals vom 5. Dezember 2014 im Internet Archive)).
↑ Barlow, H.: Sensory Communication. Hrsg.: Rosenblith, W. MIT Press, Cambridge MA 1961, Possible principles underlying the transformations of sensory messages, S. 217–234 (englisch).
↑ Atick JJ, Redlich AN: What does the retina know about natural scenes? In: Neural Computation. 4. Jahrgang, Nr. 2, 1992, S. 196–210, doi:10.1162/neco.1992.4.2.196 (englisch).
↑ Bell AJ, Sejnowski TJ: An information-maximization approach to blind separation and blind deconvolution. In: Neural Comput. 7. Jahrgang, Nr. 6, November 1995, S. 1129–59, doi:10.1162/neco.1995.7.6.1129, PMID 7584893 (englisch).
↑ Nadal J.P., Parga N.: Sensory coding: information maximization and redundancy reduction. In: Neural information processing, G. Burdet, P. Combe and O. Parodi Eds., World Scientific Series in Mathematical Biology and Medecine. 7. Jahrgang, 1999, S. 164–171 (englisch, ens.fr).

[1] Linsker R: Self-organization in a perceptual network. In: IEEE Computer. 21. Jahrgang, Nr. 3, 1988, S. 105–17, doi:10.1109/2.36 (englisch, kovan.ceng.metu.edu.tr (Memento des Originals vom 5. Dezember 2014 im Internet Archive)).

[2] Barlow, H.: Sensory Communication. Hrsg.: Rosenblith, W. MIT Press, Cambridge MA 1961, Possible principles underlying the transformations of sensory messages, S. 217–234 (englisch).

[3] Atick JJ, Redlich AN: What does the retina know about natural scenes? In: Neural Computation. 4. Jahrgang, Nr. 2, 1992, S. 196–210, doi:10.1162/neco.1992.4.2.196 (englisch).

[4] Bell AJ, Sejnowski TJ: An information-maximization approach to blind separation and blind deconvolution. In: Neural Comput. 7. Jahrgang, Nr. 6, November 1995, S. 1129–59, doi:10.1162/neco.1995.7.6.1129, PMID 7584893 (englisch).

[5] Nadal J.P., Parga N.: Sensory coding: information maximization and redundancy reduction. In: Neural information processing, G. Burdet, P. Combe and O. Parodi Eds., World Scientific Series in Mathematical Biology and Medecine. 7. Jahrgang, 1999, S. 164–171 (englisch, ens.fr).

[1]

[2]

[3]

[4]

[5]