Exact String Matching: A Deeper Look at Classical Methods

Hauptseminar Automaten und Formale Sprachen: „Algorithmen der Bioinformatik“ Ausarbeitung: Thomas Heilbock08.06.2007 Exact String Matching: A Deeper Look at Classical Methods Erweiterte Anwendungen zu Boyer-Moore und Knuth-Morris-Pratt Exact String Matching II

Gliederung 1. Apostolico-Giancarlo (Boyer-Moore-Variante in Linearzeit) - Wiederholung / Grundlagen - Die Idee / Modifizierungen - Ablauf einer Vergleich/Shift-Phase - Korrektheit / Laufzeit • Exact Set Matching (Aho-Corasick, in Anlehnung an Knuth-Morris-Pratt) - Wiederholung / Grundlagen - erste Ansätze - Hilfsmittel: keyword-tree - Hilfsmittel: Fehlerfunktion / FehlerLink - Aho-Corasick komplett • Anwendung von Exact Set Matching - Exact Matching mit Wildcards 4. Literatur / Fragen Exact String Matching II

Apostolico-Giancarlo- Wiederholung / Grundlagen - - Wiederholung / Grundlagen: - Boyer-Moore - gegeben: Text T=y[0..n-1], Pattern P=x[0..m-1] - Anlegen des linken Endes von P an die Textposition j - Vergleich von rechts nach links - Shift um den maximalen Wert aus der Bad-Character-Regel und der Good-Suffix-Regel Exact String Matching II

Apostolico-Giancarlo- Wiederholung / Grundlagen - • Vorverarbeitung: • Für jeden Buchstaben des Textalphabets: Bad-Character-Liste: erstes Auftreten in x[0..m-2] (von rechts) • Für jedes Zeichen i aus P: • Suffix-Liste: Länge des längsten Suffix von x[0..i], das auch Suffix von P ist • Good-Suffix-Liste: Länge des längsten echten Suffix von x[0..i], das Suffix von P ist Exact String Matching II

Apostolico-Giancarlo- Wiederholung / Grundlagen - - Bad-Character-Regel: - bei Mismatch zwischen den Zeichen y[i+j] und x[i] suche (von rechts) das erste Auftreten von y[i+j] in x  Shift-Weite - Good-Suffix-Regel: - wurde ein Suffix u von x bis zu Mismatch an Position x[i] gefunden, suche (von rechts) das erste Auftreten von u in x, so das u einem Zeichen ungleich x[i] folgt  Shift-Weite Exact String Matching II

Apostolico-Giancarlo- Die Idee / Modifikationen - - Problem von Boyer-Moore: • Nach jeder Vergleich/Shift-Phase werden potentielle Informationen vergessen - Neues Ziel: - Jedes Zeichen aus T, welches schon einmal zu einem Zeichen aus P gepasst hat (Match) soll nicht noch einmal verglichen werden Exact String Matching II

Apostolico-Giancarlo- Die Idee / Modifikationen - Notationen: - Pattern P = y[0..n-1] - Text T = x[0..m-1] - h – Laufvariable auf T - i – Laufvariable auf P - j – Startposition des Vergleichs auf T (rechtes Ende von P) - N(i) – Suffix-Liste für P - M(i) – Substring-Tabelle für T (neu) Exact String Matching II

Apostolico-Giancarlo- Die Idee / Modifikationen - Zwei Modifikationen von Boyer-Moore Nutzen einer zusätzlichen Tabelle M(i) für T, welche zur Laufzeit wie folgt ausgefüllt wird: • Zu Beginn sind alle Werte undefiniert • Findet der Algorithmus bei einem Vergleich einen Substring der Länge 0<k≤n, welches Suffix von P ist, wird M(j) auf k gesetzt Exact String Matching II

Apostolico-Giancarlo- Die Idee / Modifikationen - Zwei Modifikationen von Boyer-Moore • Nutzen des Wissens aus M und N, um die Suche zu beschleunigen • Vergleich/Shift-Phase mit Fallunterscheidung wie folgt: • h:=j, i:=n • Starte Fallunterscheidung Exact String Matching II

Apostolico-Giancarlo- Ablauf einer Vergleich/Shift-Phase - - Fallunterscheidung: • M(h) undefiniert oder M(h)=N(i)=0  Vergleich von T(h) und P(i): • wenn T(h)=P(i) und i=1, dann berichte Auftreten von P in T an Position (j-n), setze M(j)=n und mache Shift (nach BM) • wenn T(h)=P(i) und i>1, dann setze h=h-1, i=i-1 und starte die Fallunterscheidung neu • wenn T(h)≠P(i), dann setzte M(j)=j-h und mache Shift (nach BM) Exact String Matching II

Apostolico-Giancarlo- Ablauf einer Vergleich/Shift-Phase - • M(h)<N(i)  P stimmt mit dem Substring aus T von Position i-M(h)+1 zu Position n überein  Vergleich muss vor diesem Substring wieder aufgenommen werden:  i:=i-M(h), h:=h-M(h), starte Fallunterscheidung neu • M(h)≥N(i) und N(i)=i >0,  P in T gefunden.  M(j):=j-h, mache Shift (nach BM) d) M(h)>N(i) und N(i)<i  P und T stimmen von j zu Position i-N(i)+1 überein, dann folgt ein Mismatch  M(j):=j-h. mache Shift (nach BM) e) M(h)=N(i) und 0<N(i)<i,  P und T stimmen für die ersten M(h) überein, Rest von P muss noch verglichen werden  i=i-M(h), h=h-M(h), starte Fallunterscheidung neu Exact String Matching II

Apostolico-Giancarlo- Korrektheit / Laufzeit - - Korrektheit: - zu zeigen: Algorithmus simuliert original BM a) Algorithmus nutzt original Shift-Regeln  dieser Teil stimmt b) für jeden Vergleich von P mit einem Textabschnitt aus T muss AG die gleiche Zeichenfolge bis zum ersten Unterschied finden - Betrachtung der Fallunterscheidung: - Fall a) arbeitet nach Boyer-Moore - Fall b,c,e) überspringen eventuell Zeichen, aber nur Match - Fall d) überspringt Mismatches  nach Definition von M und N aber nur wirklich ungleiche Bereiche Exact String Matching II

Apostolico-Giancarlo- Korrektheit / Laufzeit - - Laufzeit: a) AG macht höchstens 2m Zeichenvergleiche - jede Phase endet durch Mismatch, und jede Phase (außer der letzten) wird gefolgt von einem Shift>0  höchstens m Mismatches - Zeichen werden expliziert nur in Phase 1 verglichen  findet ein Vergleich bei T(h) ein Match, wird am Ende der Phase M(j)=j-h+1 (mind.) gesetzt  alle Zeichen aus T die Zeichen aus P glichen (während dieser Phase) sind im Intervall [j-M(j)+1 .. j)] - Trifft ein anderer Vergleich nun auf so ein Zeichen, ist für dieses M(h)>0  der Vergleich überspringt diesen Bereich um genau M(h) und fährt davor fort Exact String Matching II

Apostolico-Giancarlo- Korrektheit / Laufzeit - Zu a) m Matches + m Mismatches  2m Vergleiche b) AG braucht höchstens O(m) zusätzliche Arbeit Zusätzlicher Aufwand: O(m) - Fall a): Vergleich  O(m), maximal 2m Vergleiche (siehe a) - Fall c/d): Shift  O(m), da maximal m Shifts - Fall b/e): maximal einmal pro Position / Zeichen von T  O(m)  O(m) Fazit: AG arbeitet in Linearzeit Exact String Matching II

Exact Set Matching- Wiederholung / Grundlagen - • Wiederholung / Grundlagen: • Knuth-Morris-Pratt • gegeben: Text T=y[0..n-1], Pattern P=x[0..m-1] • Vergleich von links nach rechts • Tabelle spi für Shift-Weiten • Zu jeder Position i in Pattern P finde die Länge des längsten echten Suffix von P[0..i-1] das Präfix von P ist Exact String Matching II

Exact Set Matching- Wiederholung / Grundlagen - - Verallgemeinerung vom Exact Matching gegeben: - Satz/Liste von Pattern P=[P1,...,Pz] - n sei Gesamtlänge aller Pattern aus P - m sei Länge des Textes T gesucht: - Alle Vorkommen aller Pattern aus P in T naheliegender Ansatz: - Jedes Pattern wird einzeln mit einem beliebigen Linearzeit- Algorithmus in T gesucht  O(n+zm): Zielvorstellung (Aho-Corasick): - O(n+m+k), k = Anzahl der Vorkommen der Pattern aus P Exact String Matching II

Exact Set Matching- Hilfsmittel: keyword-tree - Keyword-Tree K: gerichteter Baum mit den Eigenschaften: • genau ein Zeichen pro Kante (genannt: Bezeichnung) • zwei Kanten, die aus dem selben Knoten heraus führen, haben unterschiedliche Bezeichnungen • Jedes Pattern Pi kann auf einem Pfad im Baum, von der Wurzel bis zu einem Knoten, abgebildet werden, so dass die Zeichen an den Kanten der Reihe nach gelesen, Pi ergeben Exact String Matching II

Exact Set Matching- Hilfsmittel: keyword-tree - Für endliches Alphabet ist keyword-tree zu P in O(n) berechenbar: Def.: Ki sei der keyword-tree der Pattern P1 ... Pi von P • K1: von Wurzel aus beschrifte jede Kante (nach Reihenfolge) des Zweiges mit dem jeweils nächsten Zeichen von P1. benenne letzten Knoten mit „1“ b) K2 aus K1: - folge dem Pfad von K1 bis das längste Präfix von P2 in P1 erreicht ist • Pfad endet entweder, wenn P2 zu Ende ist (P2 in P1 ) oder wenn ein Knoten v keine passende ausgehende Kante mehr hat • für den letzten Fall starte neuen Pfad ab diesem Knoten • benenne letzten Knoten mit „2“ Exact String Matching II

Exact Set Matching- Hilfsmittel: keyword-tree - • Ki +1 aus Ki : - von Wurzel aus folge genau dem Pfad Ki, der mit den Zeichen von Pi+1 (in Reihenfolge) übereinstimmt • entweder Pi+1 kommt in Ki vor oder es gibt Knoten, an dem eine neue Kante angefügt werden muss, um das Pattern fortzuführen • Für jedes Pattern Pi braucht man O(|Pi+1|) Zeit zum Einfügen des Pattern Pi+1 in Ki  O(n) über alle Pattern Exact String Matching II

Exact Set Matching- erste Ansätze - Naiver Ansatz einer Suche: - starte für jede Position l in T und: - folge dem einen Pfad in K, der einem Präfix von T gleicht - ein mit i nummerierter Knoten gibt das Vorkommen von Pi in T an - wenn kein weiteres Match zu funden ist, gehe setze l:=l+1 …  aber: Zeitaufwand O(m*n) Erinnerung an Knuth-Morris-Pratt: - verbessern der naiven Idee  Shift ≥1 Exact String Matching II

Exact Set Matching- erste Ansätze - Aho-Corasick-Ansatz: • Shift ≥1  überspringen von initialen Teilen von Pfaden in K, wenn möglich • verallgemeinern der KMP-Funktion spi, damit sie für Pattern-Sätze funktioniert • vorerst mit Einschränkung: kein Pattern aus P darf echter Substring eines anderen Pattern aus P sein Exact String Matching II

Exact Set Matching- Hilfsmittel: Fehlerfunktion/ FehlerLink - Fehlerfunktion für keyword-trees: Def.: Jeder Knoten v in K bekommt den Namen des Substrings, den er repräsentiert  genannt L(v) Def.: Für jeden Knoten v in K sei lp(v) die Länge des längsten echten Suffix von String L(v), das Präfix eines Pattern aus P ist Lemma: Sei α das lp(v)- lange Suffix von String L(v). Dann existiert genau ein Knoten im keyword-tree, der die Bezeichnung α hat. Exact String Matching II

Exact Set Matching- Hilfsmittel: Fehlerfunktion/ FehlerLink - Def.: Für einen Knoten v in K sei nv der eine Knoten in K, der mit dem Suffix von L(v) der Länge lp(v) benannt ist. Ist lp(v) = 0 für einen Knoten v, dann ist nv gleich der Wurzel. Def.: Das geordnete Paar (v,nv) nennen wir FehlerLink. Exact String Matching II

Exact Set Matching- Hilfsmittel: Fehlerfunktion/ FehlerLink - Nutzen des FehlerLink zum Beschleunigen der Suche: • Annahme: FehlerLinks zu allen v:vnv sind bekannt • l indiziert die Startposition in T, Zeiger c zeigt auf das aktuelle Zeichen in T, das mit einem Zeichen von K verglichen werden soll • Algorithmus: L:=1; c:=1; w:=root Wiederhole Solange es eine Kante (w,w‘) gibt mit der Bezeichnung T(c) Begin Wenn w‘ von einem Pattern Pi nummeriert ist, dann berichte das Vorkommen des Pattern Pi an Position l m Text T w:=w‘; c:=c+1; End W:=nw; l:=c-lp(w) Bis c>m Exact String Matching II

Exact Set Matching- Hilfsmittel: Fehlerfunktion/ FehlerLink - Was passiert?: • Suchen, bis Mismatch vorliegt: T(c) steht an keiner Kante raus aus v • wir wissen nun, dass String L(v) in T vorkommt, von Position l bis zu Position c-1 • nach Definition von vnv gilt L(nv)=T[c-lp(v) .. c-1] • wenn lp(v)≥0, kann l auf c-lp(v) erhöht werden, c bleibt unverändert. • die nächsten Vergleiche beginnen also ab Knoten nv, der Zweig vor nv muss nicht noch einmal verglichen werden • Nächstes T(c) wird mit den von nv wegführenden Kanten-Bezeichnungen verglichen. Exact String Matching II

Exact Set Matching- Hilfsmittel: Fehlerfunktion/ FehlerLink - • für lp(v) erhöhe l auf c und starte den nächsten Vergleich ab der Wurzel • bei Mismatch an der Wurzel, wird c:=c+1 gesetzt • Funktion vnv beschleunigt die naive Suche nach Pattern aus P • Laufzeit: O(m) – Analogie zu KMP mit O(m) Vergleichen Exact String Matching II

Exact Set Matching- Hilfsmittel: Fehlerfunktion/ FehlerLink - Berechnung der Fehlerfunktion in Linearzeit: Induktive Herangehensweise: IA: für v=r (root) oder Abstand von v zu r = 1 ist gilt: nv = r IV: für ein k wurden alle nv zu allen Knoten berechnet, welche Abstand ≤k zu r haben IS: nimm Knoten v‘, der Abstand k zu r hat: die Kante von v‘ zu seinem Kind-Knoten v sei mit x bezeichnet • Suche nach einer von nv‘ wegführenden Kante mit Bezeichnung x  wenn gefunden, sei diese Kante (nv‘, w‘) und wir setzen nv auf w‘ • Gibt es keine solche Kante aus nv‘ heraus, dann ist L(nv) ein echtes Suffix von L(nv‘), gefolgt von x. Nun sucht man weiter bei nnv‘ (bekannt, da nv‘Abstand ≤k von r hat) nach einer wegführenden Kante mit Bezeichner x… usw Exact String Matching II

Exact Set Matching- Hilfsmittel: Fehlerfunktion/ FehlerLink - Algorithmus nv: • v‘ ist Elternknoten von v in K • x ist Zeichen an der Kante (v,v‘) • w:=nv‘ • solange keine Kante raus aus w die Bezeichnung x hat und w ungleich r ist, setze w:=nw • wenn eine Kante (w,w‘) wegführend von w den Bezeichner x hat, • dann: nv:=w‘ • Sonst: nv:=r (für kompletten Baum: starte nv bei root mit nv=0) Exact String Matching II

Exact Set Matching- Aho-Corasick komplett - Aho-Corasick-Algorithmus komplett: • bisherige Einschränkung: kein Pattern Substring ist Substring eines anderen Pattern • solche Pattern könnten bei der Suche übersprungen werden Exact String Matching II

Exact Set Matching- Aho-Corasick komplett - Lemma: Angenommen, in einem keyword-tree K gibt es einen direkten Pfad von FehlerLinks von einem Knoten v zu einem nummerierten Knoten. Dann kommt Pattern Pi in T vor, endend an Position c (aktuell verglichenes Zeichen), wann immer Knoten v während einer Suchphase von Aho-Corasick erreicht wird. Lemma: Angenommen, ein Knoten v wurde während des Algorithmus erreicht. Dann kommt Pattern Pi nur in T vor (an Position c endend), wenn v eine Nummer hat oder es einen direkten Pfad von FehlerLinks zu einem nummerierten Knoten gibt. Exact String Matching II

Exact Set Matching- Aho-Corasick komplett - Algorithmus volle AC Suche: l:=1; c:=1; w:=root; Wiederhole Solange es eine Kante (w,w‘) mit T(c) bezeichnet gibt Begin Wenn w‘ von Pattern i nummeriert ist oder es gibt einen direkten Pfad von FehlerLinks von w‘ zu einem mit i nummerierten Knoten Dann berichte Vorkommen von Pi in T an Endposition c W:=w‘; c:=c+1 End w:=nw; l:=c-lp(w) Bis c>n Exact String Matching II

Exact Set Matching- Aho-Corasick komplett - Implementierungsansatz: • Wie realisiert man den direkten Pfad der Fehlerlinks? • Einführung des Zeigers „OutputLink“ • zeigt von v aus auf den nummerierten (von v verschiedenen Knoten) der über die wenigsten FehlerLinks zu erreichen ist • Erstellung der OutputLinks während Preprocessing von nv O(n) • wurde nv ermittelt, setze OutputLink von v wie folgt: a) hat nv eine Nummer, zeigt der OutputLink von v auf nv b) hat nv keine Nummer, aber der OutputLink von nv zeigt auf w, dann setze OutputLink von v auf w • Andernfalls hat v keinen OutputLink  Korrektheit über Aufbau von nv Exact String Matching II

Exact Set Matching- Aho-Corasick komplett - mittels dieser OutputLinks können alle k Vorkommen von Pattern aus P in T nun in O(m+k) erkannt werden Fazit/Theorem: Wenn P ein Satz von Pattern mit Gesamtlänge n ist und T ist Text der Länge m, kann man alle k Vorkommen von Pattern aus P in T mit O(n) Vorverarbeitungszeit + O(m+k) Suchzeit finden. Dies gilt auch, wenn Pattern aus P Substrings in anderen Pattern sind. Exact String Matching II

Anwendung von Exact Set Matching- Exact Matching mit Wildcards - Exact Matching mit Wildcards: Problemstellung: • nur ein Pattern zu vergleichen • Einführen des neuen Zeichens Φ, genannt Wildcard, welches zu jedem Zeichen in T passt • Aufgabe: finde ein Pattern P mit Wildcards in T • einfachster Fall: T enthält keine Wildcards, Φ ist nur 1 Zeichen lang Exact String Matching II

Anwendung von Exact Set Matching- Exact Matching mit Wildcards - Algorithmus: 0. C sei ein Vektor der Länge |T|, mit Nullen initialisiert • Sei P={P1,P2,...Pz} die Menge der maximalen Substrings von P, die keine Wildcards enthalten l1,l2,...,lz seien die Startpositionen dieser Substrings in P • Unter Nutzung von Aho-Corasick suche zu jedem String Pi von P alle möglichen Startpositionen im Text T Für jede dieser Positionen j (auf T) von Pi erhöhe den Zähler der Zelle C[j-li+1] um 1 • Suche im Vektor C nach Zellen mit dem Wert z (Anzahl Substrings)  an jeder dieser Positionen auf T startet P Exact String Matching II

Anwendung von Exact Set Matching- Exact Matching mit Wildcards - Korrektheit: • klar: es gibt Vorkommen von P in T ab Position p gdw. für jedes i das Subpattern Pi in P an Position j=p+li+1 von T vorkommt - wird also Pattern Pi in P an Position j in T gefunden, und Pi startet an Position li in P, ist das ein erster Zeuge dafür, dass P in T ab Position p-li+1 vorkommt. • wird für jedes Pi so ein Zeuge gefunden, kommt P in T ab Position • der Algorithmus zählt (in C) für jede Position p die Anzahl der Zeugen eines Auftretens von P • ist die Zahl = z, wurde ein P gefunden • merke: jeder String kann die Zelle C zu p um maximal 1 erhöhen  maximal k Werte pro Zelle (Eindeutigkeit) Exact String Matching II

Anwendung von Exact Set Matching- Exact Matching mit Wildcards - Komplexität: - Keyword-Tree-Aufbau erfolgt nach Aho-Corasick in O(n) - Suche nach Pi in T erfolgt in O(m+k), k = Anzahl der Vorkommnisse von P in T • Wann immer ein Teilpattern aus P in T vorkommt, wird genau eine Zelle von C erhöht, jede Zelle kann maximal auf z erhöht werde • Also ist k begrenz durch m*z  Algorithmus läuft in O(m*z) • Für ein konstantes z gilt O(m*z) = O(m)  O(m) + O(n) = O(m+n) Exact String Matching II

4. Literatur / Fragen Literatur: • Algorithms on Strings, Trees, and Sequences Dan Gusfield (Cambridge University Press, 1999) • Handbook of Exact String Matching Algorithms Christian Charras, Thierry Lecroq (King‘s College London, 2004) Fragen? Exact String Matching II

Exact String Matching: A Deeper Look at Classical Methods