Assisteret indeksering på DBC

1. Assisteret indeksering på DBC Randi Diget Hansen Temadag Danmarks Biblioteksskoled. 4.oktober 2007

2. Dansk BiblioteksCenter • Hvem er vi • Værdier • Hurtigt at kunne tilegne sig og skabe ny viden • I produktion, i udvikling og i projekter • Forretningssystemer • DanBib • Bibliotek.dk

3. Vidensorganisering • Datadivisonen • 60 medarbejdere • Nationalbibliografi • Bibliotekskatalogisering • Indeksering/kategorisering • Fysiske og elektroniske publikationer • Human indeksering

4. Human contra automatisk indeksering Anderson,J.D. & Perez-Carballo,J. The nature of indexing. Part I&II. Information Processing& Management, 37,2001 Essens: Begge tilgange til indeksering er effektive med hver sine fordele og ulemper. Dog har automatisk indeksering den fordel, at omkostningerne er konstant faldende, medens human indeksering på den anden side til stadighed bliver mere omkostningskrævende Udfordring Kan intellektuel / human og automatisk indeksering berige hinanden og gøre den samlede indeksering bedre og billigere Udvikling af indekseringsprocessen

5. Automatisk indeksering • Pilotprojekt 1. Halvår 2005 • Formål • Opbygge erfaring med søgemaskinen Verity til automatisk indeksering • Øge forståelsen for mulighederne ved automatisk indeksering • Danne grundlag for vurdering af den forretningsmæssige gevinst ved automatisk indeksering på DBC

6. Automatisk indeksering • Konklusioner og anbefalinger • Projekt igangsættes • Ikke automatisk indeksering men assisteret indeksering med manuel kvalitetskontrol • DBC´s eksisterende emneordsbase anvendes som emnestruktur • Udover emneordene skal der skabes deskriptive data automatisk • Begynde med tidsskriftartikler

7. Assisteret indeksering • Projektforløb efteråret 2005 • Indhold • Kun DBC´s generelle emneord. Ca. 22.000 regler – alle navne undtaget • Maskingenererede regler – få manuelt udarbejdede • 213 artikler fordelt på 19 meget forskellige tiddskrifter

8. Assisteret indeksering • Projektforløb efteråret 2005 • Resultat • 79% af artiklerne ok • 21 % af artiklerne ubrugelige

9. Assisteret indeksering • Projektforløb 2006 Vi fortsætter med at videreudvikle regler (bl.a. medtages alle navneformer) og software og går i gang med at udvikle en prototype til selektion og automatisk registrering af tidsskriftartikler. Overvejer muligheder for Infomedia feed

10. Assisteret indeksering • Projektforløb 2007 • Aftale med Infomedia om feed • Implementeringstest i september 2007 • Automatisk selektion afprøves • Infomedia-dokumenter til MARC-poster • Emneordsforslag fra Verity Profiler • Tilretning af post

11. Test-setup • Infomedia base • XML dokumenter • XML parser • Javascript • Webservice (SOAP,REST) • Verity profiler • MARC format • DanBib/Netpunkt/bibliotek.dk

12. Automatisk dannelse af emneord med Verity Profiler Emneordsbase (ca. 45.000 emneord) Søgeregler Dannelse af profilnet Søgning i tekster Forslag til emneord

13. DBCs emneord • Emneordsbase med ca. 45.000 emneord • 24.000 fællesnavne • 9.500 personnavne • 6.000 korporationsnavne • 2.500 geografiske navne • 2.500 titler

14. Søgeregler til Verity • Generelle søgeregler til flertallet af emneord • Særregler for • Homografer (eks.: brandmænd, mus) • Forkortelser (DF, DBC) • Stopord (eks. fremtiden, is, c, m, )

15. Foreløbige resultater af test sept. 2007 Automatisk dannet post Tilrettet post eks 1 01 00 *a e0b3e196 *t Infomedia *b 000002 ….. 245 00 *a Universets mørke side 300 00 *a Ideer, s. 1 504 00 *a Stof. Det er ikke Ringen, de leder efter på bunden af        minen i Boulby, men derimod »mørkt stof«, omend atmosfæren kan        minde om Morias miner. Fysikerne leder efter den masse, der er        fem gange så meget af i Universet som det stof, vi kender og        kan se 557 00 *a Weekendavisen *j 2007 *z 0106-4142 *V 2007-09-14 *v 2007-09-14 666 00 *0 *f  mørke 666 00 *0 *f  partikler 666 00 *0 *f  universet 666 00 *0 *f  mørkt stof 666 00 *0 *f  energi 001 00 *a 8 970 523 1 *b 870971 ….. 086 00 *a Kosmologisk fysik 245 00 *a Universets mørke side 300 00 *a Ideer, s. 1-2 504 00 *a Det er ikke Ringen, de leder efter på bunden af minen i Boulby, men derimod "mørkt stof", omend atmosfæren kan minde om Morias miner. Fysikerne leder efter den masse, der er fem gange så meget af i Universet som det stof, vi kender og kan se 557 00 *a Weekendavisen *j 2007 *z 0106-4142 *V 2007-09-14 *v 2007-09-14 652 00 *m 52.75 666 00 *0 *f partikler 666 00 *0 *f universet 666 00 *0 *f mørkt stof

16. Foreløbige resultater af test sept. 2007 Automatisk dannet post 001 00 *a e0b3e15c *t Infomedia *b 000002 ….. 245 00 *a Og ud røg dobbeltsengen 300 00 *a Ideer, s. 4 504 00 *a Boligkultur. Indrammet af små, rationelle typehuse,        ændrede familielivet sig igennem 1950erne og 60erne. Køkkenet        fik status og blev sydvendt. Mor og far blev »samtalevenner« i        den ny strygefri familie.. 557 00 *a Weekendavisen *j 2007 *z 0106-4142 *V 2007-09-14 *v 2007-09-14 666 00 *0 *f  arbejde Tilrettet post eks 2 001 00 *a 8 970 552 5 *b 870971 245 00 *a Og ud røg dobbeltsengen 300 00 *a Ideer, s. 4 504 00 *a Boligkultur. Indrammet af små, rationelle typehuse, ændrede familielivet sig igennem 1950erne og 60erne. Køkkenet fik status og blev sydvendt. Mor og far blev "samtalevenner" i den ny strygefri familie 557 00 *a Weekendavisen *j 2007 *z 0106-4142 *V 2007-09-14 *v 2007-09-14 666 00 *0 *f boligindretning 666 00 *0 *f familieliv 666 00 *0 *e Danmark 666 00 *0 *i 1950-1959 666 00 *0 *i 1960-1969 666 00 *f boligkultur