uchov n a trval zp stupn n webov ch dokument zku enosti z webarchivu n.
Download
Skip this Video
Loading SlideShow in 5 Seconds..
Uchování a trvalé zpřístupnění webových dokumentů - zkušenosti z WebArchivu PowerPoint Presentation
Download Presentation
Uchování a trvalé zpřístupnění webových dokumentů - zkušenosti z WebArchivu

Loading in 2 Seconds...

play fullscreen
1 / 18

Uchování a trvalé zpřístupnění webových dokumentů - zkušenosti z WebArchivu - PowerPoint PPT Presentation


  • 88 Views
  • Uploaded on

Uchování a trvalé zpřístupnění webových dokumentů - zkušenosti z WebArchivu. Martin Bella, xbella@fi.muni.cz. Osnova. zber dát sprístupnenie archívu nová generácia nástrojov. Zber dát. semienka „klikanie“ na odkazy na stránkach pravidlá pasce. Heritrix. robustnosť modulárnosť

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'Uchování a trvalé zpřístupnění webových dokumentů - zkušenosti z WebArchivu' - john


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
uchov n a trval zp stupn n webov ch dokument zku enosti z webarchivu
Uchování a trvalé zpřístupnění webových dokumentů - zkušenosti z WebArchivu

Martin Bella, xbella@fi.muni.cz

osnova
www.webarchiv.czOsnova
  • zber dát
  • sprístupnenie archívu
  • nová generácia nástrojov
zber d t
www.webarchiv.czZber dát
  • semienka
  • „klikanie“ na odkazy na stránkach
  • pravidlá
  • pasce
heritrix
Heritrix
  • robustnosť
  • modulárnosť
  • rozšíriteľnosť
    • pluginy
      • Deduplicator
      • Hadoop DFS Writer

www.webarchiv.cz

web curator tool
www.webarchiv.czWeb Curator Tool
  • tvorcovia National Library of New Zealand a British Library
  • nadstavba Heritrixu
  • prívetivé užívateľské rozhranie
  • nepodporuje inkrementálny zber
  • nám nevyhovujúci Workflow
netarchive suite
www.webarchiv.czNetarchive Suite
  • nadstavba Heritrixu
  • prívetivé užívateľské rozhranie
  • nástroj na plánovanie a spúšťanie zberov, archiváciu dát a kontrolu kvality
  • možnosť distribuovanej konfigurácie systému
n stroje na spr stupnenie
www.webarchiv.czNástroje na sprístupnenie
  • nutnosť rešpektovať autorský zákon
  • metadáta uložené v SQL databáze
    • Wayback, štatistiky, pripravuje sa OAI-PMH
wayback
www.webarchiv.czWayback
  • aplikácia na sprístupnenie archívu podľa URL a času
  • režimy sprístupnenia:
    • archival URL, proxy, timeline
  • vynikajúce možnosti konfigurácie
  • v budúcnosti podpora fulltextového vyhľadávania
nutchwax
www.webarchiv.czNutchWAX
  • Nutch
    • crawler
    • vyhľadávací engine
  • NutchWAX
    • nadstavba vytvorená pre potreby webových archívov
  • nutná aplikácia na rekonštrukciu stránok z archívu
slide13
www.webarchiv.czWERA
  • sprístupnenie a rekonštrukcia stránok
  • využíva index NutchWAXu
  • fulltextové vyhľadávanie a vyhľadávanie podľa URL
  • časová os
  • ukončený vývoj – prechod na Wayback
bud cnos
www.webarchiv.czBudúcnosť
  • inšpirácia od Googlu
  • počítačové gridy
  • distribuované filesystémy
  • Hadoop a NutchWAX verzia >= 0.6
  • Map-Reduce
map reduce
www.webarchiv.czMap–Reduce
  • nástroj, pomocou ktorého je možné distribuovať výpočet
  • dva základné kroky
    • map(kľúč, hodnota)‏
    • reduce(kľúč, zoznam hodnôt)‏
map reduce po et v skytov ka d ho slova
www.webarchiv.czMap-Reduce – počet výskytov každého slova
  • funkcia map

map (in kľúč, in hodnota) {

pre každé slovo z hodnota: vytvorPár(slovo, 1)‏

}

  • funkcia reduce

reduce (in kľúč, in zoznam_hodnôt) {

výsledok = sum(zoznam_hodnôt)‏

}

hadoop
www.webarchiv.czHadoop
  • open-source implementácia GFS
  • podpora Map-Reduce
  • replikácie, webové rozhranie
  • architektúra
    • namenode
    • datanode
    • tasktracker
nutch wax
www.webarchiv.czNutch(WAX)‏
  • NutchWAX 0.10 + Hadoop 0.9.2
  • vyhľadávanie :-(