Hauptmenü öffnen

Die Kreuzentropie ist in der Informationstheorie und der mathematischen Statistik ein Maß für die Qualität eines Modells für eine Wahrscheinlichkeitsverteilung.

Inhaltsverzeichnis

DefinitionBearbeiten

Sei   eine Zufallsvariable mit Zielmenge  , die gemäß   verteilt ist. Es sei weiter   eine Verteilung auf demselben Ereignisraum.

Dann ist die Kreuzentropie definiert durch:

 

Hierbei bezeichne   die Entropie von   und   die Kullback-Leibler-Divergenz der beiden Verteilungen.

Äquivalente FormulierungBearbeiten

Durch Einsetzen der beiden Definitionsgleichungen ergibt sich nach Vereinfachung im diskreten Fall

 

und im stetigen Fall (mit Dichtefunktionen   und  )

 

SchätzungBearbeiten

Zwar hat die Kreuzentropie eine vergleichbare Aussagekraft wie die reine Kullback-Leibler-Divergenz, erstere lässt sich jedoch auch ohne genaue Kenntnis von   schätzen. In der praktischen Anwendung ist daher   meist eine Approximation einer unbekannten Verteilung  .

Nach obiger Gleichung gilt:

 

Wobei   den Erwartungswert gemäß der Verteilung   bezeichne.

Sind nun   Realisierungen von  , d. h. eine unabhängig und identisch gemäß   verteilte Stichprobe, so ist also

 

ein erwartungstreuer Schätzer für die Kreuzentropie.

Abgeleitete GrößenBearbeiten

Die Größe   beziehungsweise   wird auch als Perplexität bezeichnet. Sie wird vor allem in der Spracherkennung verwendet.

Literatur & WeblinksBearbeiten