CRAWLER & SEARCH ENGINE

1. CRAWLER & SEARCH ENGINE SyarifahHanum M0507044

2. Crawling DB Sipder Indexing DB Word Searching DB Cari

3. CRAWLER • For i=1 to n (Banyaknya URL di DB) If URL > 2 hari then delete • For i=1 to n (Banyaknya URL di DB) • Ambil URL diDataBase • Baca URL per baris j=0 to m (akhirbaris) • Baca URL per karakter k=0 to p (karakterterakhirtiapbaris) • If karakter =href Hasil=simpanbaris • Buangkarakterdepan • Buangkarakterbelakang • Buangtulisan “_files” • Buangtulisan “_index” • If karakterawalhasil >< http hasil2=url+hasil • If hasil2 diakhiridenganico,css,pdf… hasil2 tidakdisimpan • Else  Cekapakah hasil2 sudahadadi DB If sudahada  update Else  insert

4. indexER • For i=0 to n (n= banyakurldi DB spider) • Ambilalamaturldari spider • fopen=alamaturl • Baca per baris • Explode string dengankarakter “<“ • Gabung karakter2 hasil step sebelumnya • Explode string dengankarakterlainnya (kecualispasi) • Gabung karakter2 hasil step sebelumnya • Replace spasidengan “#?!” • Explode string dengankarakter“#?!“ • Cektabel word • If alamat=“” & karakter[i]=“” • Insert karakter & alamattsb &jum=1. • Else (sudahada) • Jum=jum+1;

5. SEARCH ENGINE • Insert keyword • Pecah keyword (pemecah = spasi)  Simpandiaray • For i=1 to n (banyaknyakatakunci) • Cekketersediaanditabelcari • Jikabelumada insert • Jikasudah jumlah =keyword[‘jum’]+cari[‘jum’]; • Tampilkanhasil (DB cari) order by jum DESC;