Legal Regulation of AI Systems in Public Administration and the Interplay with Data Protection Laws

1. KI-systemer i offentlig forvaltning og rettslige rammer for utvikling av slike systemer Dag Wiese Schartum

2. «KI-system» i KI-forordningen (AIA)? Legger til grunn definisjonen i KI-forordningen, artikkel An AI system is a machine-based system 1)designed to operate with varying levels of autonomy and that 2) may exhibit adaptiveness after deployment and that, for explicit or implicit objectives, 3)infers, from the input it receives, how to generate outputs such as predictions, content, recommendations, or decisions that can influence physical or virtual environments. “The techniques that enable inference while building an AI system include machine learning approaches that learn from data how to achieve certain objectives; and logic- and knowledge-based approaches that infer from encoded knowledge or symbolic representation of the task to be solved.” (Fortalen, avsnitt 6)

3. Rettslig regulering av KI-systemer • KI-systemer vil bli spesielt regulert i Artificial Intelligence Act (KI-forordningen) • KI-systemer er imidlertid gjenstand for rettslig regulering allerede i dag, fordi de kan komme inn under annet teknologinøytralt regelverk, f.eks.: • Personvernregelverket (personvernforordningen mv.) • Likestillings- og diskrimineringsloven • Forvaltningsloven • Arbeidsmiljøloven • Anskaffelsesregelverket • osv. Vil i fortsettelsen primært si noe om sammenhengen mellom person-vernforordningen og KI-forordningen, og hovedelementer i KI forordningen

4. Rettslig regulering av KI-systemer Forvaltningsrett osv Personvernrett diskrimineringsrett Likestilling og Helserett Ytringsfrihet Arbeidsmiljø Utledningsrett Veitrafikkrett Flysikkerhet KI-forordningen = tverrgående, teknologi- spesifikk regulering

5. Utvikling av KI-systemer ved hjelp av personopplysninger «Ved utvikling av KI-systemer med maskinlæring, vil maskinlæringsalgoritmer bygge matematiske modeller basert på eksempeldata eller treningsdata. Disse modellene brukes deretter til å ta beslutninger.» (KMD 2020) Slike data vil ofte være personopplysninger, dvs. historiske data som er samlet inn for et annet primærformål, og som reguleres av personvernforordningen.

6. Forvaltningsrett osv diskrimineringsrett Likestilling og Helserett Ytringsfrihet Arbeidsmiljø Utledningsrett Veitrafikkrett Flysikkerhet Personvernrett KI-forordningen/personvern KI-forordningen ellers This Regulation does not seek to affect the application of existing Union law governing the processing of personal data, including the tasks and powers of the independent supervisory authorities competent to monitor compliance with those instruments. It also does not affect the obligations of providers and deployers of AI systems in their role as data controllers or processors stemming from national or Union law on the protection of personal data in so far as the design, the development or the use of AI systems involves the processing of personal data. It is also appropriate to clarify that data subjects continue to enjoy all the rights and guarantees awarded to them by such Union law, including the rights related to solely automated individual decision-making, including profiling. (Fortalen, avsnitt 5a)

7. Personvernforordningen (PVF) – KI- forordningen (KIF) For KI For KI- -systemer som innebærer behandling av personopplysninger, systemer som innebærer behandling av personopplysninger, gjelder både PVF og KIF gjelder både PVF og KIF Aktører PVF: Behandlingsansvarlige, databehandler (ikke «produsenter», jf. fortalen avsnitt 78) KIF : Provider (leverandør), importer, distributor, product manifacturer, deployer (bruker) (+ «operator» som fellesbetegnelse) Type virksomhet • PVF gjelder for «behandling av personopplysninger» • utvikling, anskaffelse (jf. «bestemmer hvilke midler som skal benyttes»), bruk • KIF gjelder for • utvikling, import fra tredjeland, distribusjon og bruk utviklet ved hjelp av personopplysninger = system? Hvordan skal unntaket i art. 2(5b) forstås? av IK- systemer Begge forordninger kan mao. gjelde for utvikling av systemer som behandler personopplysninger

8. Hva er hovedutfordringen med utvikling av KI-systemer og personvernforordningen? • Formålsbestemthetsprinsippet (PVF artikkel 5(1)(b) og 6(4)) • Bruk til å utvikle KI-systemer vil normalt ikke være innsamlingsformål • Åpnet for videre formål som ikke er uforenlig med innsamlingsformålet • KI-utvikling vil derfor skje for videre formål etter art. 6(4), og kan da bygge på: − Samtykke − Nasjonal rett eller unionsretten, eller − En konkret vurdering, jf. art. 6(4)(a – e) • Behandlingsgrunnlag (PVF artikkel 6 og 9) • I offentlig forvaltning er særlig art. 6(1)(e) og i art. 9(2) er særlig (g) aktuelt behandlingsgrunnlag • Begge behandlingsgrunnlag krever nasjonal lovgivning

9. I hvilken grad blir forvaltningens KI-systemer regulert av KI- forordningen • Krav om KI-kyndig personell (art. 4b) • Forbud mot visse KI-systemer (art. 5) • Krav til Høy risiko KI-systemer (art. 6 – 51), f.eks. • Visse KI-systemer som er eller inngår i sikkerhetsprodukter (“safety”) (art. 6(1)) • Employment, workers management and access to self-employment (Annex III (4)) • Access to and enjoyment of essential private services and essential public services and benefits (Annex III (5)) • Migration, asylum and border control management, insofar as their use is permitted under relevant Union or national law (Annex III (7)) Annex III kan endres av Kommisjonen ved delegert lovgivning (jf. art. 7) • Krav til transparens for visse KI-systemer som interagerer med mennesker (uavhengig av om Høy KI-risiko (art. 52(1) og (2)) • Krav til generelle KI-modeller (art. 52 – 52e) • Adferdsnormer for KI-systemer som ikke er Høy risiko KI-systemer (art. 69) • Plikt for nasjonale myndigheter til å tilby minst én regulatorisk sandkasse for KI (art. 53)

10. Trolig, vanlig(st) situasjon for KI i norsk offentlig forvaltning • Ikke Høy risiko KI Ikke generell KI Krav om KI-kyndig personell Transparenskrav for KI med menneskelig interaksjon Krav om tilrettelegging for nasjonale atferdsnormer mv, jf. Title • Risk management system (jf. art. 9) • Data and data governance (jf. art. 10) • Technical documentation (jf. art. 11) • Record-keeping (jf. art. 12) • Transparency and information (jf. art. 13) • Human oversight (jf. art. 14) • Accuracy, robustness and cybersecurity (jf. art. 15) Krav til regulatoriske sandkasser • likevel • • • •

11. Rom for å gi nasjonale regler om KI- systemer? This regulation ensures the free movement of AI-based goods and services cross-border, thus preventing Member States from imposing restrictions on the development, marketing and use of Artificial Intelligence systems (AI systems), unless explicitly authorised by this Regulation. (fortalen, avsnitt 1) • Det finnes enkelte spredte hjemler i forordningen til å gi nasjonale regler om KI • Viktigst: Adgang til nasjonale bestemmelser som er mer fordelaktige for arbeidstakere (art. 2(5e)) Trolig en viss adgang til nasjonale regler hvis de er utenfor virkeområdet for KI-forordningen ivaretar andre legitime offentlige interesser enn de forordningen tar sikte på •