Koinzidenzindex

Den Koinzidenzindex (engl.: Index of coincidence, Abkürzung: IC) erhält man durch statistische Auswertung der Häufigkeit von Einzelzeichen (also meist der einzelnen Buchstaben) eines oder auch zweier Texte. Mit seiner Hilfe können verschlüsselte oder unverständliche Texte auf sprachliche Eigenschaften untersucht werden. Er wird speziell bei der Entzifferung historischer Schriftdokumente und allgemein in der Kryptanalyse benutzt. Die Methode wurde vom amerikanischen Kryptoanalytiker William F. Friedman für kryptologische Zwecke entwickelt und im Jahr 1922 in seiner bahnbrechenden Arbeit The index of coincidence and its applications in cryptography (deutsch: „Der Koinzidenzindex und seine Anwendungen in der Kryptographie“) publiziert.

In seiner grundlegenden Form wird der Koinzidenzindex ermittelt, indem man die Einzelanzahlen der unterschiedlichen Einzelzeichen eines Geheimtextes zählt, also beispielsweise wie oft der Buchstabe A auftritt, wie oft B, und so weiter. Diese werden nach oben angegebener Formel mit den um 1 verminderten Einzelanzahlen multipliziert und für alle Buchstaben (beispielsweise von A bis Z) aufsummiert. Die Summe wird schließlich dividiert durch die Gesamtanzahl N der Buchstaben des Textes (also der Textlänge) sowie die um 1 verminderte Textlänge. Das Ergebnis ist der Friedmansche Koinzidenzindex IC.

Natürliche Sprachen haben ihren jeweils typischen Koinzidenzindex.

DefinitionenBearbeiten

In allgemeiner Form sind unter dem Begriff Koinzidenzindex vier Funktionen zusammengefasst, die meist mit den griechischen Buchstaben   und   (Kappa, Chi, Psi und Phi) bezeichnet werden. Oft wird   als der Koinzidenzindex bezeichnet, wobei vom historischen Standpunkt wohl eher   das Anrecht auf diesen Namen hat.

Gegeben seien zwei gleich lange Texte   über demselben Alphabet. Dann ist das   der beiden Texte

 

wobei   das Kronecker-Delta bezeichnet (also  , falls   und   sonst).

Damit ist   eine Zahl zwischen 0 und 1, wobei 1 genau dann auftritt, wenn beide Texte gleich sind. Werden die Zeichen zufällig mit gleicher Wahrscheinlichkeit aus einem Alphabet mit   Zeichen gewählt, so ist der Erwartungswert für   gleich  , da jeder Summand mit Wahrscheinlichkeit   gleich   ist (und sonst gleich 0).

Da man in der Kryptanalyse oft aus kurzen Texten viel Information herauspressen möchte, ist die Funktion  , die, wie die folgenden Funktionen, auf Friedmans Mitarbeiter Solomon Kullback (1935) zurückgeht, gelegentlich aussagekräftiger:

 

wobei   angibt, wie oft das  -te Zeichen des Alphabets im Text   bzw.   auftritt. Die Funktion   hängt also allein von den Buchstabenhäufigkeiten der beiden Texte ab. Nun ist

 

Während   angewandt auf zwei Texte aus zufälligen gleichverteilten Zeichen wie   den Erwartungswert   hat, ist das für   nicht mehr der Fall, da   immer gleich 1 ist. Deshalb schließt man sinnvollerweise bei der Summation die Zeichen an derselben Position aus und definiert

 

Ebenso wie   kann   allein aus den Buchstabenhäufigkeiten der beiden Texte berechnet werden, jedoch ist für einen Text aus Zufallszeichen der Erwartungswert für   gleich  , während er für   größer ist (nämlich  ). Insbesondere für kurze Texte ist der Unterschied markant.

BedeutungBearbeiten

Geht man von Texten aus mehr oder weniger gleichverteilten Zufallszeichen über zu Texten, die in einer bestimmten natürlichen Sprache verfasst sind, so ändert sich der Wert des Koinzidenzindexes erheblich. Eine Faustregel besagt, dass er etwa doppelt so groß wird. Dies gilt nicht nur für Klartexte, sondern gleichermaßen auch für monoalphabetisch verschlüsselte Geheimtexte, da sich bei diesen Verfahren die Häufigkeiten der einzelnen Buchstaben nicht ändern. Das heißt, der Koinzidenzindex ist invariant gegenüber diesen Arten der Verschlüsselung.

Nimmt man beispielsweise die 26 Buchstaben unseres gewohnten lateinischen Alphabets (Umlaute werden durch ae, oe, ue ersetzt, ß durch Doppel-s oder sz, Leerzeichen und Satzzeichen werden ignoriert), so liegt der Wert für deutschsprachige Texte   und   bei rund 0,078 oder 7,8 %, während man für englischsprachige Texte etwa 6,6 % erhält. Dies ist in beiden Fällen, und auch für alle anderen Sprachen, deutlich höher als im Fall der Gleichverteilung der Buchstaben. Treten sämtliche Buchstaben des Alphabets gleich häufig auf, wie es für „zufällig“ generierte Buchstabenfolgen („Zufallstexte“) oder für „stark verschlüsselte“ Geheimtexte der Fall ist, dann ergibt sich ein Wert von etwa 1/26, also rund 3,8 %. Der höhere Wert des Koinzidenzindexes für die deutsche Sprache gegenüber der englischen Sprache spiegelt vor allem die größere Häufigkeit des dominanten Buchstabens E im Deutschen (etwa 18 %) gegenüber dem Englischen (etwa 12 %) wider.

Der Erwartungswert   des Koinzidenzindexes für eine Sprache   lässt sich aus den Buchstabenhäufigkeiten nach der Formel

 

berechnen, wobei   die Wahrscheinlichkeit des  -ten Zeichens des Alphabets in Texten der entsprechenden Sprache angibt.

In verwandten Sprachen ähneln sich oft die Erwartungswerte  , so dass bei unbekannten Texten anhand des Koinzidenzindex Vermutungen auf den zugehörigen Sprachraum angestellt werden können.

Anwendung zur KryptanalyseBearbeiten

Die wesentliche Eigenschaft ist hier, dass sich bei einer einfachen monoalphabetischen Substitutionsverschlüsselung weder   noch   ändern, sofern die beteiligten Texte auf die gleiche Art verschlüsselt sind. Eine sprachliche Zuordnung hinreichend langer Texte wird somit allein auf statistischer Basis möglich.

Bei einer periodischen polyalphabetischen Substitutionsverschlüsselung ist der Koinzidenzindex noch wertvoller, denn die Schlüssellänge der Verschlüsselung kann mit folgender Formel abgeschätzt werden (Friedman-Test). Für die Sprache   lautet die Formel für die Schlüssellänge  

 

Diese Formel lässt sich theoretisch herleiten unter der Annahme, dass alle Schlüsselzeichen verschieden sind. Der Wert ist also vor allem bei mit kurzen Schlüsseln verschlüsselten kurzen Texten aufschlussreich, insbesondere in Kombination mit dem Kasiski-Test. Hat man mit längeren Schlüsselwörtern verschlüsselte längere Texte zur Verfügung, so ist das folgende Vorgehen präziser.

Entfernt man vom Text   einmal die ersten   Zeichen und einmal die letzten   Zeichen, so erhält man zwei Texte, deren   bestimmt werden kann. Ist   ein Vielfaches der Schlüssellänge, so sollte   sein, da die verglichenen Einzelzeichen mit demselben Schlüssel verschlüsselt sind. Ist   jedoch kein Vielfaches der Schlüssellänge, so ist mit einem deutlich niedrigeren Wert für   zu rechnen, da die verglichenen Zeichen nur selten gleich verschlüsselt sind. Wiederholte Sequenzen im Schlüsselwort, mit denen man den Kasiski-Test und den Friedman-Test überlisten kann, beeinflussen die Ergebnisse hier nur ansatzweise und sollten in der Regel erkannt werden.

Auch bei nicht periodischen polyalphabetischen Verschlüsselungen lassen sich diese Methoden gewinnbringend nutzen. Insbesondere erkennt man bei zwei mit dem gleichen One-Time-Pad verschlüsselten Texten   durch Berechnung von   sofort diese kryptographische Sünde und kann zum Beispiel durch die Methode des wahrscheinlichen Wortes angewandt auf einen der Texte versuchen, Klartextsequenzen im anderen Text zu erzeugen.

Der Koinzidenzindex eignet sich also für sogenannte Ciphertext-only-Angriffe (wo über den Inhalt des verschlüsselten Textes nichts bekannt sein muss) auf Substitutionsverschlüsselungen, wodurch diese Verfahren (natürlich außer einem korrekt angewendeten One-Time Pad) als ausgesprochen unsicher angesehen werden müssen.

LiteraturBearbeiten

WeblinksBearbeiten