KI-forordningen kort fortalt

I forordningen nevnes flere ulike bruksområder for kunstig intelligens med uakseptabel risiko som det er greit å kjenne til også i høyere utdanning og forskning, men som ikke er spesielt rettet mot eller har særskilt relevans for sektoren. Det gjelder for eksempel forbud mot omsetning og bruk av KI-systemer som er ment å

• manipulere eller forlede mennesker til å utføre handlinger som kan medføre betydelig skade for dem selv eller andre, for eksempel bruk av dypforfalskning (KI-manipulert video, bilder eller lyd) i svindelkampanjer,^[21]
• utnytte sårbarheter hos mennesker knyttet til alder, funksjonsnedsettelse eller livssituasjon slik at de handler på måter som kan innebære betydelig skade for dem selv eller andre.^[22] Et eksempel på dette kan være en chatbot som lurer personer med nedsatte kognitive evner til å kjøpe dyre produkter som de kanskje ikke har bruk for,
• evaluere, klassifisere eller rangere mennesker på bakgrunn av oppførsel, personlige egenskaper eller andre individuelle kjennetegn, slik at de utsettes for skadelig eller ugunstig behandling. Det kan blant annet dreie seg om urettmessig forskjellsbehandling av personer ved tildeling av offentlige ytelser eller tjenester på bakgrunn av deres politiske holdninger, livssyn, etnisitet, sosioøkonomiske situasjon eller kjønn.^[23]

Det er imidlertid ett forbudt bruksområde i forordningen som er særlig relevant for utdanningssektoren, inkludert høyere utdanning og forskning. Det er utvikling, omsetning og bruk av KI-systemer som tolker følelsene til personer i utdanningsinstitusjoner og på arbeidsplassen.^[24]

Eksempler på dette kan være KI-systemer som forsøker å tolke eller måle studentenes engasjement, oppmerksomhet eller trivsel, eller som tolker tilsvarende følelsesuttrykk hos ansatte.

Begrunnelsen for forbudet mot KI-baserte følelsesgjenkjenningssystemer er dels at følelsesuttrykk er vanskelig å måle og tolke. Resultatene er derfor ofte lite pålitelige. Samtidig legges det til grunn at slike KI-systemer er svært inngripende overfor enkeltpersoner.

I tillegg er bruk av KI-baserte følelsesgjenkjenningssystemer problematisk der hvor det er betydelig maktulikhet mellom de som utfører målingene og de som blir målt. Det er, ifølge forordningen, særlig tilfelle i relasjonen utdanningsinstitusjon-student/elev og arbeidsgiver-arbeidstaker.

Det er likevel ikke et absolutt forbud mot bruk av KI-baserte følelsesgjenkjenningssystemer. Forbudet gjelder bare for KI-systemer som tolker eller måler følelser ved å registrere, sammenstille og analysere biometriske data.^[26]

Med biometriske data menes blant annet fingeravtrykk, irismønster og ansiktsform, men også andre fysiske eller atferdsmessige kjennetegn. Eksempler på dette er ganglag, kroppsholdning, ansiktsuttrykk, tastetrykk (kraft, hastighet, osv.), øyebevegelser, hjerterytme og tale (tonefall, uttale av ord, osv.).

Biometriske data inkluderer imidlertid ikke andre typer data som også kan brukes til å utlede følelser hos studenter eller ansatte. Dette vil blant annet være følelser som uttrykkes skriftlig, for eksempel i eposter eller meldinger i elektroniske samhandlingsverktøy. KI-systemer som tolker innholdet i eposter eller andre typer elektroniske meldinger, analyserer ikke biometriske data. Slike systemer omfattes derfor ikke av forbudet mot KI-baserte følelsesgjenkjenningssystemer i utdanningsinstitusjoner og på arbeidsplassen.

Til sist er det ikke forbudt å bruke KI-baserte følelsesgjenkjenningssystemer i utdanningsinstitusjoner og på arbeidsplassen dersom det ligger medisinske eller sikkerhetsmessige årsaker til grunn for bruken.^[28] Dette unntaket omfatter KI-systemer som har som formål å ivareta studentenes eller de ansattes helse og sikkerhet.

Slik bruk av følelsesgjenkjenning vil likevel bare være tillatt der hvor det er strengt nødvendig, og kun dersom resultatene brukes til å ivareta helse- og sikkerhetsformål. Resultatene kan derfor ikke brukes til andre formål enn dette.

Også andre typer KI-systemer som kontrollerer studenter eller ansatte, er unntatt fra forbudet mot bruk.^[29] Det gjelder blant annet KI-systemer som analyserer relasjoner mellom studenter eller ansatte, for eksempel hvem som kommuniserer eller samarbeider med hverandre. Dette er systemer som ikke tolker eller måler følelser hos studenter eller ansatte, men analyserer hvordan de interagerer med hverandre.

Det kan likevel tenkes at denne og liknende typer bruk av kunstig intelligens reguleres i andre lovverk enn KI-forordningen, for eksempel arbeidsmiljøloven kapittel 9 om kontrolltiltak på arbeidsplassen.