Evidence lower bound

Die Evidence lower bound (kurz ELBO), ist eine untere Schranke der Log-Likelihood-Funktion beobachteter Daten (X) und nützlich bei der Variational Inference.

Definition

Seien $X$ und $Z$ Zufallsvariablen, dann gilt für $p_{\theta }(X)=\int p_{\theta }(X,Z=z)p(Z=z)dz.$ Unter Einführung von $q_{\phi }(Z=z)$ als einfach zu verwendender Stichproben-Vorschlags-Verteilung gilt: $p_{\theta }(X)=\int p_{\theta }(X,Z=z){\frac {p(Z=z)}{q_{\phi }(Z=z)}}q_{\phi }(Z=z)dz=E_{z\sim q_{\phi }}\left[p_{\theta }(X,Z=z){\frac {p(Z=z)}{q_{\phi }(Z=z)}}\right].$

Somit gilt für die Log-Likelihood aufgrund der Jensen-Ungleichung: $\log(p_{\theta }(X))=\log \left(E_{z\sim q_{\phi }}\left[p_{\theta }(X,Z=z){\frac {p(Z=z)}{q_{\phi }(Z=z)}}\right]\right)\geq E_{z\sim q_{\phi }}\left[\log \left(p_{\theta }(X,Z=z){\frac {p(Z=z)}{q_{\phi }(Z=z)}}\right)\right].$

$E_{z\sim q_{\phi }}\left[\log \left(p_{\theta }(X,Z=z){\frac {p(Z=z)}{q_{\phi }(Z=z)}}\right)\right]$ wird als ELBO bezeichnet.

Durch Schätzen der ELBO unter Verwendung des Stichprobenmittelwertes ist: ${\hat {E}}_{z\sim q_{\phi }}\left[\log \left(p_{\theta }(X,Z=z){\frac {p(Z=z)}{q_{\phi }(Z=z)}}\right)\right]={\frac {1}{N}}\sum _{i=1}^{N}\log \left(p_{\theta }(X,Z=z_{i}){\frac {p(Z=z_{i})}{q_{\phi }(Z=z_{i})}}\right)$

Anwendung

Die Minimierung der Kullback-Leibler-Divergenz ist äquivalent zur Maximierung der Evidence lower bound. Die evidence lower bound wird bei der variational inference optimiert.