Implikasjoner av skjevheter i Kandidatundersøkelsen

I dette notatet undersøker vi graden av målefeil i Kandidatundersøkelsen (KU) og betydningen av henholdsvis seleksjon og feilrapportering for den totale målefeilen. Høy kvalitet i KU-dataene er avgjørende, ettersom KU utgjør et viktig bidrag til kunnskapsgrunnlaget som informerer utdanningspolitikken i Norge. Som datagrunnlag for analysene bruker vi KUs tidsseriedata i perioden 2015-2023, registerdata for samme populasjon og tidsperiode, samt kobling mellom besvarelsene i 2021-undersøkelsen og registerdata i samme år. Analysene viser at feilrapportering utgjør en betydelig større feilkilde enn feil som skyldes seleksjon. Vi finner at seleksjonsskjevheten generelt i KU er lav i de variablene vi har undersøkt. Sosial bakgrunn og fagfelt har liten eller ingen betydning for seleksjonen, mens kvinner og eldre kandidater har noe større svartilbøyelighet enn menn og yngre kandidater. Når vi undersøker variabelen lønn finner vi imidlertid en betydelig grad av feilrapportering. Menn og eldre respondenter overrapporterer oftere, og de bommer på målet med større beløp enn kvinner og yngre respondenter. Feilrapporteringen overskygger altså feil introdusert ved seleksjon, noe som peker på at svartilbøyelighet og særlig svarprosent i seg selv ikke er avgjørende for datakvalitet. Dette er i tråd med tidligere forskning. Resultatene viser at det til dels er en sammenheng mellom faktorene som predikerer svartilbøyelighet, og de som predikerer feilrapportering: respondenter med lav svartilbøyelighet feilrapporterer oftere. Vi advarer derfor mot bruk av vekting som verktøy for å justere for seleksjon, ettersom vekting vil øke undersøkelsens totale målefeil, snarere enn å korrigere.