Mouhandwoulp

Markov-Prozess

Ein Markov-Prozess ist ein stochastischer Prozess, dessen Zukunft allein vom aktuellen Zustand abhängt - und nicht von früheren Zuständen.

Benennung und Schreibweise

Benannt ist der Markov-Prozess nach dem russischen Mathematiker Andrej Andreevič Markov.

Die Schreibweise Markov wird in der englischsprachigen Literatur verwendet, die sich auch in der deutschsprachigen Literatur durchsetzt. Diese Schreibweise entspricht der gebräuchlichen Transliteration. Daneben findet sich auch die Schreibweise Markoff.

Formale Definition

Eine Familie von Zufallsvariablen $(X)_{t\in T}$ auf einem Wahrscheinlichkeitsraum $(\Omega ,\mathrm {A} ,P)$ mit Träger $S$ heißt Markov-Prozess, wenn für jede beliebige Wahl der $t_{i}$, mit $t_{0}<t_{1}<t_{2}<...<t_{n}$ gilt: $P(X(t_{n})=x_{n}|X(t_{n-1})=x_{n-1},...,X(t_{0})=x_{0})=P(X(t_{n})=x_{n}|X(t_{n-1})=x_{n-1})$ falls $P(X(t_{n-1})=x_{n-1},...,X(t_{0})=x_{0})>0$.

Klassifizierung

Abhängig von der Anzahl der Elemente der Mengen $S$ und $T$ wird folgende Klassifizierung vorgenommen:

	$S$ diskret	$S$ kontinuierlich
$T$ diskret	(Zeit-)diskrete Markov-Kette	(Zeit-)diskreter Markov-Prozess
$T$ kontinuierlich	(Zeit-)kontinuierliche Markov-Kette	(Zeit-)kontinuierlicher Markov-Prozess

Diskret heißt, dass die Menge höchstens abzählbar unendliche viele Elemente enthält.

Die Benennung der einzelnen Klassen ist in der Literatur nicht einheitlich: Manchmal werden die Klassen bei denen $T$ kontinuierlich ist, als Markov-Prozess bezeichnet, manchmal werden alle Klassen als Markov-Kette bezeichnet.

Eigenschaften

Einige Eigenschaften sind für die Zeilen definiert, andere für Spalten, wieder andere sind für jede Klasse neu definiert. Einige Begriffe haben bei unterschiedlichen Voraussetzungen unterschiedliche Eigenschaften. In der Literatur werden häufig nur ausgewählte Klassen betrachtet und für diese Eigenschaften gezeigt.

Alle Klassen

Die Wahrscheinlichkeit von einem in einen anderen Zustand zu gelangen heißt Übergangswahrscheinlichkeit und wird bezeichnet mit $p_{ij}(t)=P(X_{s+t}=j|X_{s}=i)$.

HINZU: Startwahrscheinlichkeit

Zeit-diskrete Markov-Kette und zeit-diskreter Markov-Prozess

Die Wahrscheinlichkeit in $n$ Schritten von einem in einen anderen Zustand zu gelangen heißt n-Schritt-Übergangswahrscheinlichkeit.

HINZU: Übergangsmatrix (möglicherweise unendlichdimensional)

HINZU: Spaltensummen gleich 1

Zeit-diskrete Markov-Kette

HINZU: Irrdeuzible

HINZU: Rekurrent / Transient

HINZU: Null-Rekurrent / positiv rekurrent

HINZU: Homogen

HINZU: Chapman-Kolmogorov-Gleichung

Zeit-kontinuierliche Markov-Kette

HINZU: homogen

HINZU: Chapman-Kolmogorov-Gleichung

WO?

HINZU: Periodisch / aperiodisch

Literatur

• Allen, Arnold O.: Probability, Statistics, and Queueing Theory with Computer Science Applications, Academic Press Inc., San Diego, 1990, 2nd ed., ISBN 0-12-051051-0
• Isaacson, Dean L.: Markov chains, New York [u.a.], 1976, Wiley, ISBN 0-471-42862-0
• Mathar, R.; Pfeifer, D.: Stochastik für Informatiker, Teubner Stuttgart 1990, ISBN 3-519-02240-0