Porter-Stemmer-Algorithmus

Algorithmus in der Computerlinguistik

Der Porter-Stemmer-Algorithmus ist ein verbreiteter Algorithmus der Computerlinguistik zum automatischen Zurückführen von Wörtern auf ihren Wortstamm (Stemming). Der Algorithmus basiert auf einer Menge von Verkürzungsregeln, die so lange auf ein Wort angewandt werden, bis dieses eine Minimalanzahl von Silben aufweist. Der ursprünglich für Wörter der englischen Sprache entwickelte Algorithmus kann relativ leicht für andere Sprachen portiert werden.

Funktionsweise

Bearbeiten

Bestimmung der Silbenanzahl

Bearbeiten

Maßgeblich ist genaugenommen nicht die Anzahl der Silben, sondern die Anzahl der Vokal-Konsonant-Sequenzen. Jedes Wort lässt sich als eine Zeichenkette der Form [C](VC)m[V] interpretieren, wobei C für eine Folge von einem oder mehreren Konsonanten und V für eine Folge von einem oder mehreren Vokalen steht. Gemessen wird die Anzahl m der Vokal-Konsonant-Sequenzen zwischen optional führenden Konsonanten und einer optionalen Folge von Vokalen am Ende.

Beispiele:

  • tr-ee, t-o (m=0)
  • w-eb, ant (m=1)
  • b-etw-een (m=2)
  • W-ik-ip-ed-ia (m=3)

Verkürzungsregeln

Bearbeiten

Die Verkürzungsregeln bestehen aus Paaren von Bedingungen und Ableitungen für verschiedene Suffixe (Wortendungen). Die Regeln sind in Gruppen zusammengefasst, die nacheinander abgearbeitet werden. Aus jeder Gruppe darf nur eine Regel angewandt werden.

Beispiel: Die erste Gruppe beinhaltet die Suffix-Verkürzungsregeln "sses" → "s", "ies" → "i" und "s" → "", die beispielsweise zu den Ableitungen "libraries" → "librari" und "Wikis" → "Wiki" führen. Eine später folgende Gruppe besteht aus der Regel "y" → "i", so dass beispielsweise das Wort "library" auf den gleichen Stamm ("library" → "librari") zurückgeführt wird.

Implementierungen

Bearbeiten

Auf der Webseite des Porter-Stemmer-Algorithmus finden sich Implementierungen in mehreren Programmiersprachen. Unter snowballstem.org befindet sich die von Martin Porter entwickelte Zeichenkettenverarbeitungssprache "Snowball", mit deren Hilfe Porter-Stemmer beschrieben werden können. Dort findet man auch einen Porter-Stemmer für die deutsche Sprache.[1]

Anmerkungen

Bearbeiten

Die aus einem Wort abgeleiteten Stämme entsprechen oft nicht den linguistisch korrekten Wortstämmen. Da das Ziel des Stemmings jedoch keine linguistische Analyse ist, sondern verwandte Worte auf ein und dieselbe Zeichenkette zurückgeführt werden sollen, spielt dies keine Rolle.

Wie praktisch alle Stemming-Algorithmen arbeitet auch der Porter-Stemmer nicht mit hundertprozentiger Genauigkeit, so dass es bei einigen Worten vorkommen kann, dass zu viel (Overstemming) oder zu wenig (Understemming) abgeschnitten wird. In der Praxis ist er jedoch ausreichend gut (siehe auch weitere Hintergrundinformationen zum Thema im Artikel Stemming).

Literatur

Bearbeiten
  • M.F. Porter: An algorithm for suffix stripping. In: Program, 14(3), S. 130–137, Juli 1980
Bearbeiten

Einzelnachweise

Bearbeiten
  1. Martin Porter: Snowball: A language for stemming algorithms. Abgerufen am 11. Februar 2019 (englisch).