CROWDSOURCING MEANS NEW CONCEPT OF WORK, FUN AND COMMUNICATION

1. CROWDSOURCING MEANS NEW CONCEPT OF WORK, FUN AND COMMUNICATION Kai Ekholm, National Librarian, Finland

3. WHY TO CROWDSOURCE? • The resources of memory organizations are dramatically declining • The amount of digital data is exploding. • User expectations are rising. • Interest to cooperate for non-youngsters as well.

4. Historically and demographically Europe has its most educated and affluent group of (retired) persons willing to do something with us. • They want to give something back for their welfare. • Memory organizations have millions of documents to explore and refine.

5. Dilemmas to solve User expectations Resources

6. the challenge PART I Scanned newspaper article Automatic text recognition Fixed by Digitalkoot Kenraalikuvernööri Kyyrölässä. Toisaamuna saapui kenraalikuvernööri Bobrikoff Perkijärvelle, jossa häntä oli wastassa Äyräpään kihlakunnan kruununvouti Strömsten ja Muolan nimismies Tojlander. Tilaisuuteen waratuilla hewosilla lähdettiin ajamaan Kyyrölään. Matkan warrella oleva Tarkilan wenäläinen kylä oli kunniaportilla, lipuilla ja hawuilla koristettu. Samoin oli Kyyröläkin, jonne saawuttua ensin mentiin kirkkoon. Siellä pitiwät terwehdys-jumalanpalweluksen Kyyrölän ja Raiwolan venäläiset papit. Kyyrölästä mentiin kansakoululle, jossa hetkinen kuultiin opetusta ja sitten kunnan talolle, jossa hopeaiselta tarjottimelta tarjottiin juomaa ja leipää ja tehtailija J Galkin piti terwehdyspuheen. Oli myöskin toimeenpantu juhlapäiwälliset, jossa useita puheita pidettiin. H. ylh. käwi myös pappi Zenljanit'chin luona. Päiwäjunassa matkustiwat wieraat Pietariin. Seurassa oli m.m. pari Venäläisen kouluhallituksen jäsentä. Tämä käynti toivottavasti lopetti "Kyyrölän rettelöt". Tyytywyäisiä käyntiin oltiin. — Wiip. S Ke«,aaliluwer«»iiri Kyyrbliisfa. Toisaamuna saapui ten raaliluwernööri Bodrikoif, Perktiärwelle, jossa häntä oli wastassa Ä yläpään lihlalunnan lruununVoutl Etrömsten ja Muolan nimismies Tojlander Tilaisuuteen waratulllahewosill» lähdettiin ajamaan Kyyrölään. Mattan warrell» olew» Tar Alilan wenäläinen lylä oli lunniaportllla, lipuilla ja hawuilla loristettu. Simoinoli Kyyrölälin, jonne saawuttu» ensin mentiin kirkkoon. Siellä pitiwät terwehdvs-jumalanp.lwllulsen Kyyrölän ja Raiolanwenoläisetpapit. Kzyröläst»men tiin lansaloululle, jossa hetkinen kuunneltiin opetusta ja sitten lunnantalolle, jolsahopeaiselta tarjottimella tarjottiin juolaaja leipää ja tehtailija I, Gallin Pili t«rwel>dyipuheen. Oli myöslin toi. meenpantu juhlcpäiwälliset, joissa useita Puheita pioetlltn. H. ylh. läwimyös pappi Ze-nljanit'chin luona. Päiwäju na«a «»lkMiwat wieraat Pietariin. Seu rasja oli m. m. pari Venäläisen loulu hallitulien jäsentä. Tämä käynti toiwot lawasli opetti ..Kyyrölän Tyy tyväisiä aMiin oltiin. — Wiip. S 19th century Finnish newspaper using Fraktur font - Complex font & low-quality input materials - Improve OCR quality from 70% -> 99.6% - Especially tricky characters: m,i,n,t,l - We receive & return data in ALTO/METS format Aamulehti 3.1.1900

7. Human OCR verification pipeline Original scan OCR result Ke«,aaliluwer«»iiri Kyyrbliisfa. Toisaamuna saapui ten raaliluwernööri Bodrikoif, Perktiärwelle, jossa häntä oli wastassa Ä yläpään lihlalunnan lruununVoutl Etrömsten ja Muolan nimismies Tojlander Tilaisuuteen Validate OCR result   Bodrikoif Separate words Filter words and create microtasks Type the word Bobrikoff Submit fixes to the document Kenraalikuvernööri Kyyrölässä. Toisaamuna saapui kenraalikuvernööri Bobrikoff Perkijärvelle, jossa häntä oli wastassa Äyräpään kihlakunnan kruununvouti Strömsten ja Muolan nimismies Tojlander. Tilaisuuteen Verify and collate results

8. the challenge part II Scanned newspaper article Automatic text recognition Fixed by Digitalkoot Kenraalikuvernööri Kyyrölässä. Toisaamuna saapui kenraalikuvernööri Bobrikoff Perkijärvelle, jossa häntä oli wastassa Äyräpään kihlakunnan kruununvouti Strömsten ja Muolan nimismies Tojlander. Tilaisuuteen waratuilla hewosilla lähdettiin ajamaan Kyyrölään. Matkan warrella oleva Tarkilan wenäläinen kylä oli kunniaportilla, lipuilla ja hawuilla koristettu. Samoin oli Kyyröläkin, jonne saawuttua ensin mentiin kirkkoon. Siellä pitiwät terwehdys-jumalanpalweluksen Kyyrölän ja Raiwolan venäläiset papit. Kyyrölästä mentiin kansakoululle, jossa hetkinen kuultiin opetusta ja sitten kunnan talolle, jossa hopeaiselta tarjottimelta tarjottiin juomaa ja leipää ja tehtailija J Galkin piti terwehdyspuheen. Oli myöskin toimeenpantu juhlapäiwälliset, jossa useita puheita pidettiin. H. ylh. käwi myös pappi Zenljanit'chin luona. Päiwäjunassa matkustiwat wieraat Pietariin. Seurassa oli m.m. pari Venäläisen kouluhallituksen jäsentä. Tämä käynti toivottavasti lopetti "Kyyrölän rettelöt". Tyytywyäisiä käyntiin oltiin. — Wiip. S Ke«,aaliluwer«»iiri Kyyrbliisfa. Toisaamuna saapui ten raaliluwernööri Bodrikoif, Perktiärwelle, jossa häntä oli wastassa Ä yläpään lihlalunnan lruununVoutl Etrömsten ja Muolan nimismies Tojlander Tilaisuuteen waratulllahewosill» lähdettiin ajamaan Kyyrölään. Mattan warrell» olew» Tar Alilan wenäläinen lylä oli lunniaportllla, lipuilla ja hawuilla loristettu. Simoinoli Kyyrölälin, jonne saawuttu» ensin mentiin kirkkoon. Siellä pitiwät terwehdvs-jumalanp.lwllulsen Kyyrölän ja Raiolanwenoläisetpapit. Kzyröläst»men tiin lansaloululle, jossa hetkinen kuunneltiin opetusta ja sitten lunnantalolle, jolsahopeaiselta tarjottimella tarjottiin juolaaja leipää ja tehtailija I, Gallin Pili t«rwel>dyipuheen. Oli myöslin toi. meenpantu juhlcpäiwälliset, joissa useita Puheita pioetlltn. H. ylh. läwimyös pappi Ze-nljanit'chin luona. Päiwäju na«a «»lkMiwat wieraat Pietariin. Seu rasja oli m. m. pari Venäläisen loulu hallitulien jäsentä. Tämä käynti toiwot lawasli opetti ..Kyyrölän Tyy tyväisiä aMiin oltiin. — Wiip. S The Newspaper Archive of the National Library of Finland alone holds 4 million pages. Assuming processing one page takes 5 minutes, the total effort is: Team of a dozen people working full time for 6 years or All 5 million Finns working for 90 seconds or 2 400 volunteers working for 30 mins/week for 5 years

10. Lets have a look • http://www.microtask.com/media

11. DESIGN CHALLENGES - Constraints in game design & logic - Dynamic targeting of difficult words - Hostile users - What if there’s not enough parallel users? - Scalability - Not everyone willing to use Facebook - Underage users - Marketing and word of mouth

12. www.digitalkoot.fi launched on Feb/8 2011 80,000 people in workforce 5,100,000 tasks completed 240,000 minutes of uninterrupted work donated 24/7 realtime operation Significant media exposure Most active player donated 80+ hours Research paper at HCOMP’11

13. FUTURE WORK - Smarter redundancy - Better identification of “important” words - “Professional interfaces” - Soft keys (for å,ä,ö,...) - New types of microtasks (segmentation etc.) - New game types and logic (collaboration with games studios) - Improved reward mechanics (keep people hooked longer) - How prizes affect motivation? (Sanoma HS Talkoot)

14. Lessons learned • It is not just technical issue. • It is demographic issue. • You need careful planning and maintenance, a demo will not do. • You need to give constant reward to crowd. • Make it visible and proud. • You will get a lot of media attention. How to handle it. • You need to integrate it to your system. • Gaming is not for everyone.

15. Future ideas • You can integrate this to your everyday business. • You could try fund raising for instance: giving time OR money. • Don’t be afraid of serious interfaces. Your crowd is serious. • Be ready for a real rush. Don’t get panicked. • Be ready for constant innovation and renewing your service. • Because now YOU ARE A CLOUD SERVICE PROVIDER