KI-forordningen kort fortalt

Bruksområder for kunstig intelligens med høy risiko er altså områder hvor det er tillatt å utvikle og anvende KI-systemer, men hvor det stilles detaljerte krav til

1. KI-systemenes oppbygning og virkemåte,
2. hva leverandører og idriftsettere av KI-systemer må gjøre for at utvikling, omsetning og bruk av systemene skal være lovlig.^[30]

Oversikten over hvilke bruksområder dette er, finnes i KI-forordningen artikkel 6 og i vedleggene I og III.

Også når det gjelder bruksområder for kunstig intelligens med høy risiko, nevnes flere forskjellige områder som ikke spesifikt omhandler høyere utdanning og forskning. Et viktig eksempel på dette er KI-systemer beregnet for profilering av enkeltpersoner.^[31] Andre eksempler på høy-risiko-områder inkluderer blant annet

• evalueringer av personers kredittverdighet og kredittskår,
• risikovurderinger og prissetting i forbindelse med livs- og helseforsikring,
• biometrisk fjernidentifikasjon av personer,
• behandling av søknader om asyl, visum eller oppholdstillatelse og klager på slike vedtak,
• vurdering av om personer har rett til viktige offentlige ytelser og tjenester, inkludert helsetjenester,
• påvirke utfallet av valg til politiske organer eller folkeavstemninger,
• vurderinger av risikoen for at personer begår eller på nytt begår straffbare handlinger.^[32]

I tillegg defineres flere bruksområder innen sysselsetting og arbeidsledelse som høy risiko. Dette er områder som ikke spesifikt retter deg mot høyere utdanning og forskning, men som det likevel er verdt å merke seg i vår sektor. Disse vil vi komme tilbake til nedenfor.

Innen utdanning og yrkesfaglig opplæring er det fire bruksområder for kunstig intelligens som i forordningen regnes som høy risiko med hensyn til helse, sikkerhet og grunnleggende rettigheter.^[34]

Begrunnelsene for at disse bruksområdene regnes som høy risiko, er de kan ha stor betydning for personers yrkeskarrierer og livssjanser, og at de er inngripende overfor studenter og elever.

Følgende måter å bruke kunstig intelligens på regnes som høy risiko:

1. KI-systemer som bestemmer opptak til utdanningsinstitusjoner og yrkesfaglig opplæring på alle nivåer. Dette kan dreie seg om bruk av KI-systemer i opptak av studenter til universiteter eller høyskoler. Det kan for eksempel være tilfelle dersom Samordna opptak benytter kunstig intelligens for å avgjøre hvilke søkere som får tilbud om studieplass.
2. KI-systemer som evaluerer studentenes læringsutbytte, inkludert styring av læringsprosesser, i utdanningsinstitusjoner og yrkesfaglig opplæring på alle nivåer. Dette kan for eksempel dreie seg om bruk av KI-systemer til sensur av eksamensbesvarelser eller til vurdering av obligatoriske innleveringer og andre typer studentoppgaver. Det kan også dreie seg om bruk av kunstig intelligens i læringsanalyse.^[35]
3. KI-systemer som vurderer hvilket utdanningsnivå det er hensiktsmessig at studenter mottar eller gis tilgang til i utdanningsinstitusjoner og yrkesfaglig opplæring på alle nivåer. Dette kan trolig handle om bruk av KI-systemer til blant annet å vurdere studentenes studieprogresjon og faglig modenhet, slik at de kan få opplæring tilpasset sitt kompetansenivå.
4. KI-systemer som kontrollerer og avdekker fusk eller forsøk på fusk under prøver eller eksamener som avholdes av utdanningsinstitusjoner og i yrkesfaglig opplæring på alle nivåer. Dette handler om KI-systemer som registrerer og analyserer data om studentenes atferd ved skoleeksamen, hjemmeeksamen, osv. i den hensikt å avdekke eller forebygge fusk.^[36]

Videre kan anvendelse av kunstig intelligens innen disse bruksområdene føre til at den enkeltes rett til utdanning krenkes. Det kan for eksempel skje dersom bruk av kunstig intelligens i høyere utdanning innebærer uønsket diskriminering basert på rase, etnisitet, funksjonsevne eller kjønn.

Andre former for bruk av kunstig intelligens i utdanning og yrkesfaglig opplæring enn de som er nevnt ovenfor, regnes ikke som høy risiko. Dette kan blant annet gjelde bruk av KI-systemer i følgende sammenhenger:

• Studenters bruk av kunstig intelligens for å tilegne seg faglig kunnskap, for eksempel å finne relevant faglitteratur eller å få forklaringer på begreper eller annet faglig innhold.
• Studenters bruk av kunstig intelligens som «læringsassistent» eller sparringpartner. Eksempler på dette kan være å gi tilbakemeldinger på ideer eller argumenter, utarbeide forslag til oppbygging av oppgaver, eller til språkvask og oversetting av tekster.
• Underviseres bruk av kunstig intelligens til utarbeidelse av undervisningsopplegg eller til å lage forslag til eksamensoppgaver.

Innen sysselsetting og arbeidsledelse er det to bruksområder for kunstig intelligens som regnes som høy risiko for helse, sikkerhet og grunnleggende rettigheter.

Begrunnelsene for at de to aktuelle bruksområdene vurderes å innebære høy risiko, er i stor grad de samme som for utdanning og yrkesfaglig opplæring. Det understrekes også at bruk av KI innen sysselsetting og arbeidsledelse kan krenke de ansattes opplysnings- og personvern.

Følgende måter å bruke kunstig intelligens på regnes som høy risiko:^[37]

1. KI-systemer til rekruttering eller utvelgelse av jobbsøkere. Det inkluderer blant annet publisering av målrettede stillingsannonser, analyse og filtrering av jobbsøknader, og rangering eller scoring av søkere.
2. KI-systemer for å treffe enkelte typer beslutninger i arbeidsforhold. Det dreier seg om forfremmelser eller oppsigelser av ansatte eller ledere, fordeling av arbeidsoppgaver basert på atferd, personlighet eller personlige egenskaper, og overvåking og evaluering av jobbprestasjoner og atferd.

Begge bruksområdene omfatter rekruttering til og styring eller ledelse av ansatte i alle typer stillinger – administrativt ansatte og ansatte i undervisnings- og forskningsstillinger.

Når det gjelder bruk av kunstig intelligens til fordeling av arbeidsoppgaver, overvåking og evaluering av arbeidsinnsats og -atferd, kan det for universiteter og høyskoler tenkes at dette er mest relevant for visse typer stillinger, kanskje primært i administrasjonen.

Videre er det verdt å merke seg at selv om høyrisikosystemer anvendes, er det likevel ikke sikkert at bruken av dem klassifiseres som høy risiko.^[38] Det er for eksempel tilfelle dersom et høyrisikosystemet anvendes til å forbedre resultatet av en oppgave som tidligere er utført av et menneske. Det er også unntak for KI-systemer som er beregnet på å utføre en forberedende oppgave som blir sluttført av et menneske.^[39]

I slike tilfeller sier forordningen at KI-systemer som i utgangspunktet regnes som høy risiko likevel ikke utgjør en betydelig risiko for helse, sikkerhet og grunnleggende rettigheter.

Dersom KI-systemet brukes på en måte som gjør at det kommer inn under ett av disse unntakene, vil kravene som forordningen stiller til høyrisikosystemer ikke gjelde. Heller ikke pliktene for leverandører og idriftsettere av systemene vil gjelde. Nedenfor kommer vi tilbake til hvilke krav og andre plikter det dreier seg om.

Konkrete eksempler på unntakene nevnt ovenfor kan være at KI-systemet brukes til en første vurdering av eksamensbesvarelser, men hvor vurderingene deretter blir evaluert og kvalitetssikret av sensor. Det er imidlertid avgjørende at sensor foretar en reell overprøving og kvalitetssikring av den forberedende og KI-baserte vurderingen. Dersom det ikke skjer, er det i realiteten KI-systemet som bestemmer karakteren.^[40]

Det kan også tenkes at unntakene omfatter utarbeidelse av forslag til begrunnelser for karakterer. Men også her er det avgjørende at det foretas en reell overprøving og kvalitetssikring av forslaget fra KI-systemet.

Forordningen stiller krav til oppbygningen og virkemåten til KI-systemer med høy risiko. Kravene fremgår av KI-forordningen artikkel 8-15.

Nedenfor gir vi en kort og skjematisk oversikt over hvilke krav det er snakk om. Følgende krav gjelder for høyrisikosystemer:

• Risikostyring: Risikoen for at et høyrisikosystem fører til betydelig skade på helse, sikkerhet og grunnleggende rettigheter skal vurderes og håndteres. Vurdering og håndtering av risiko skal skje under hele KI-systemets levetid. Leverandøren av KI-systemet skal derfor etablere, innføre, dokumentere og vedlikeholde et risikostyringssystem. Risikostyringssystemet skal revideres regelmessig og oppdateres ved behov.^[41]
• Dataforvaltning: Det skal utarbeides rutiner for håndtering av data som benyttes til trening, validering og testing av høyrisikosystemer. Det dreier seg blant annet om rutiner for innsamling og bearbeidelse av data (annotasjon, merking, oppdatering, osv.) som brukes til trenings-, validerings- og testformål. Det handler også om rutiner for kontroll med opprinnelsen til slike data, undersøkelse av og tiltak for å sikre nødvendig representativitet og tiltak for å unngå skjevhet («bias») i datagrunnlaget.^[42]
• Dokumentasjon: Det skal foreligge teknisk dokumentasjon av et høyrisikosystem. Den tekniske dokumentasjonen skal blant annet vise hvordan krav som stilles til høyrisikosystem er ivaretatt, og den skal inneholde informasjon om KI-systemets egenskaper, algoritmer og kapasitet. Dokumentasjonen skal holdes oppdatert og den skal være tilgjengelig for nasjonale myndigheter, for eksempel tilsynsorgan.^[43]
• Sporbarhet: Et høyrisikosystem skal ha funksjonalitet for automatisk logging av hendelser i systemet. Det kan være hendelser som medfører betydelig risiko for helse, sikkerhet og grunnleggende rettigheter, for eksempel dataangrep som skader integriteten til systemet. Hendelseslogging skal også hjelpe eksterne brukere eller kunder (idriftsettere) til å overholde sin plikt til å overvåke driften av KI-systemet.^[44]
• Åpenhet: Det skal foreligge informasjon om KI-systemet rettet mot eksterne brukere eller kunder som anvender systemet (idriftsettere). Informasjonen skal sette dem i stand til å forstå hvordan systemet fungerer, inkludert KI-systemets styrker og begrensninger, og å forstå og bruke utdata på en hensiktsmessig måte. Det skal også foreligge en bruksanvisning for KI-systemet. Bruksanvisningen skal blant annet inneholde kontaktinformasjon til leverandøren av systemet og informasjon om systemets tiltenkte formål, nøyaktighet, robusthet og datasikkerhet.^[45]
• Menneskelig tilsyn: Et høyrisikosystem skal utformes slik at det kan overvåkes og kontrolleres av mennesker mens det er i drift. KI-systemet skal blant annet inneholde overvåkingsverktøy som gjør det mulig å stoppe, overstyre eller å ta direkte kontroll over KI-systemet dersom det er nødvendig. Leverandøren av KI-systemet skal sørge for at eksterne brukere eller kunder (idriftsettere) får den informasjon og opplæring de trenger for å overvåke og kontrollere systemet på en hensiktsmessig måte.^[46]
• Nøyaktighet, robusthet og datasikkerhet: Et høyrisikosystem skal utformes slik at systemets nøyaktighet, robusthet og datasikkerhet ivaretas gjennom hele levetiden. KI-systemets nøyaktighet skal beskrives i bruksanvisningen (se ovenfor), mens robustheten skal sikres gjennom redundansløsninger, for eksempel reserve- og feilsikringsplaner. Det skal blant annet iverksettes tiltak for å forebygge, oppdage og håndtere risikoen for uautorisert tilgang til og bruk av utdata fra KI-systemet. Det skal også iverksettes tiltak mot forsøk på manipulasjon av treningsdata og treningskomponenter, og mot at systemet utsettes for skadelige inndata (data laget for at systemet skal gjøre feil).^[47]

I tillegg til at forordningen stiller egne krav til selve KI-systemene, gir den også plikter til leverandører og idriftsettere av KI-systemer med høy risiko.

Ovenfor har vi sett at leverandører kan være universiteter eller høyskoler som utvikler et KI-system, eller som får andre til å utvikle et slikt system for seg. Idriftsettere kan være universiteter eller høyskoler som bestemmer seg for å bruke et KI-system til å løse sine oppgaver og utføre sitt samfunnsoppdrag.

Nedenfor gir vi en kort oversikt over hvilke plikter som leverandører og idriftsettere av KI-systemer med høy risiko har.

Pliktene for leverandører av KI-systemer innen bruksområder med høy risiko finnes i KI-forordningen artikkel 16-22 og 25, men også i flere andre artikler i forordningen.

Følgende plikter gjelder for leverandører:

• Overholde de kravene som stilles til selve KI-systemet og som er skissert i kulepunktene ovenfor.^[49]
• Innføre og dokumentere et kvalitetsstyringssystem for høyrisikosystemer. Kvalitetsstyringssystemet skal inneholde skriftlige retningslinjer, prosedyrer og instrukser som sikrer at krav og plikter som gjelder for leverandører blir overholdt.^[50]

Kvalitetsstyringssystemet som leverandører av høyrisikosystemer skal etablere, har liknende formål, oppbygning og prosesser som andre ledelses- eller styringssystemer innenfor beslektede områder, for eksempel informasjonssikkerhet og personvern.

Videre stilles det krav til leverandører om oppbevaring og tilgjengeliggjøring av dokumentasjon, oppbevaring av hendelseslogger og rapportering av alvorlige hendelser.^[52]

Leverandøren skal også inngå avtaler som regulerer forholdet til tredjeparter som leverer komponenter, verktøy eller tjenester til høyrisikosystem.^[53]

Leverandører skal samarbeide med nasjonale myndigheter og gi dem tilgang til nødvendig dokumentasjon, for eksempel i forbindelse med tilsyn.^[54]

Ut over dette, har leverandører av KI-systemer med høy risiko tre andre plikter som det er viktig å være oppmerksom på:

• Gjennomføre samsvarsvurdering og utarbeide samsvarserklæring som dokumenterer at et høyrisikosystem oppfyller kravene i KI-forordningen. For KI-systemer beregnes brukt i utdanning og yrkesfaglig opplæring, sysselsetting og arbeidsledelse kan leverandøren selv gjøre samsvarsvurderingen.^[55]
• Innføre og dokumentere et system for overvåking av et høyrisikosystem etter at det er brakt i omsetning eller tatt i bruk. Overvåkingssystemet skal registrere data om KI-systemets virkemåte slik at det blir mulig for leverandøren å oppdage avvik fra reglene i forordningen.^[56]
• Iverksette korrigerende tiltak dersom et høyrisikosystem ikke samsvarer med kravene i forordningen etter at det er brakt i omsetning eller tatt i bruk. Tiltakene skal sørge for at avvik fra kravene i forordningen lukkes.^[57]

Idriftsettere av KI-systemer innen bruksområder med høy risiko kan bruke systemet på måter som medfører betydelig skade med hensyn til helse, sikkerhet og grunnleggende rettigheter. Det kan være tilfelle dersom systemet brukes til formål som det ikke er egnet for eller dersom det gis tilgang til opplysninger som systemet ikke er sikkert nok til å behandle. Derfor har også idriftsettere, for eksempel universiteter eller høyskoler, plikter etter KI-forordningen. Disse fremgår av artikkel 26 og 27 i forordningen.^[58]

Pliktene for idriftsettere er ikke like omfattende som for leverandører. Det kreves for eksempel ikke at idriftsettere innfører og dokumenterer et kvalitetsstyringssystem.

Følgende plikter gjelder for idriftsettere av høyrisikosystemer:

• Iverksette tiltak som sørger for at KI-systemet brukes i samsvar med bruksanvisningen fra leverandøren.^[59]
• Føre menneskelig tilsyn med KI-systemet etter at det er tatt i bruk.^[60]
• Sikre at inndata er relevante og representative sett i lys av formålet med bruken av KI-systemet.^[61]
• Overvåke driften av KI-systemet.^[62]
• Informere leverandøren og tilsynsmyndigheten dersom høyrisikosystem fortsatt utgjør en risiko for helse, sikkerhet og grunnleggende rettigheter, og avslutte bruken av det aktuelle systemet.^[63]
• Informere leverandøren og tilsynsmyndigheten om alvorlige hendelser ved bruk av KI-systemet.^[64]
• Oppbevare automatiske hendelseslogger som KI-systemet genererer.^[65]
• Gjennomføre vurdering av personvernkonsekvenser (DPIA), jf. personvernforordningen (GDPR) artikkel 35.^[66]
• Informere egne ansatte og ledere, eventuelt også studenter, om bruken av KI-systemet.^[67]
• Informere personer, for eksempel studenter aller ansatte, dersom de er gjenstand for beslutninger som helt eller delvis er fattet av et høyrisikosystem.^[68]
• Samarbeide med tilsynsmyndigheten.^[69]

Idriftsettere som er offentlige virksomheter, inkludert universiteter eller høyskoler, skal også gjennomføre en vurdering av konsekvenser for grunnleggende rettigheter (FRIA) før visse typer høyrisikosystem tas i bruk.^[70] Denne plikten gjelder for KI-systemer med høy risiko som brukes innen utdanning og yrkesfaglig opplæring, sysselsetting og arbeidsledelse.

Idriftsetteren skal informere tilsynsmyndigheten når konsekvensvurderingen er gjennomført. Videre skal vurderingen oppdateres dersom det skjer endringer som medfører at den opprinnelige vurderingen ikke lenger er korrekt.^[71] Det kan være tilfelle dersom et KI-system får tilgang til nye typer inndata, for eksempel sensitive personopplysninger, eller systemet brukes til andre formål enn tidligere.

Dersom det også skal utarbeides en vurdering av personvernkonsekvenser for høyrisikosystemet (DPIA), kan denne foretas sammen med vurderingen av konsekvenser for grunnleggende rettigheter (FRIA).^[72]

Leverandører av høyrisikosystemer i høyere utdanning og forskning, for eksempel systemer beregnet for evaluering av læringsutbytte eller opptak til studier, skal registrere KI-systemet i en europeisk database.^[73] Databasen skal opprettes og drives i regi av EU-kommisjonen.

Idriftsettere i høyere utdanning og forskning som er offentlige virksomheter, skal registrere seg i den samme databasen. Deretter skal de velge hvilke høyrisikosystemer de ønsker å anvende. Dersom systemet som idriftsetteren ønsker å bruke ikke er registrert i EUs database, kan systemet ikke tas i bruk og idriftsetteren skal varsle leverandøren, eventuelt distributøren, om at registrering mangler.^[74]

Registreringer i EU-databasen vil vanligvis være offentlig tilgjengelige.