Å relatere språkkurs og prøver til Rammeverket

Hvordan tilpasse kursinnhold og undervisning til rammeverket?

For at språkkurs, undervisningsmateriale og pensum skal harmonere med Det europeiske rammeverket for språk, må undervisningsinstitusjonen foreta en nøye gjennomgang av pensum, innhold og undervisningsmetoder. Rammeverket er ikke ment å diktere undervisningsmål og metoder, men det er viktig at man har et bevisst forhold til Rammeverkets språksyn og pedagogiske prinsipper og vurderer hvordan kurset man skal utvikle, forholder seg til dem. Man bør være oppmerksom på at Rammeverket bare dreier seg om språkferdigheter. Prøver som måler kunnskap (f.eks. kunnskap om litteraturanalyse eller historie) kan ikke kobles til Rammeverket.

Deretter må man formulere kan-deskriptorer som passer til kursdeltakerne og til kursets mål. Dette er beskrivelser av språkferdigheter som sier hva noen kan gjøre med språket, og som tar utgangspunkt i rammeverkets beskrivelser. Nivåene i Rammeverket skal være like i alle land der det brukes, men dokumentet er ikke ment som et virkemiddel for standardisering av undervisningen. De som bruker Rammeverket, skal utvikle egne kan-deskriptorer og tilpasse Rammeverket til egen kontekst. Europarådet vektlegger lærerutdanning og at lærerne skal involveres i utviklingen av pensum og kursplaner. Når beskrivelsene av deskriptorene er ferdige, må man sørge for at de plasseres på riktig rammeverksnivå. Her er det viktig med kvalitetssikring, og de som deltar, må ha inngående kjennskap til Rammeverket.

Råd og redskaper for å tilpasse kurs til Rammeverket finnes på nettsidene til Europarådet.

I 2022 kom det en ny håndbok i bruk av Rammeverket. Styringsgruppen sier i forordet at tilpasning til Rammeverket ikke bare kan omfatte språkprøver, men må gjelde «målsetninger med undervisningen, kursplaner, pensum, lærebøker og andre undervsisningsressurser» (s. 6).

Hvordan tilpasse språkprøver til rammeverket?

Prøveutvikling

Utgangspunktet for en språkprøve er et konstrukt, det vil si en beskrivelse av hva språkferdigheter er, situasjonene språket brukes i, og hva kandidatene skal vise at de mestrer. Hvis et språkkurs skal lede frem mot en prøve, bør pensum og kursplaner ha samme fokus som konstruktet for prøven. Konstruktet danner utgangspunkt for prøvespesifikasjonene, som sier hva slags oppgaver prøven skal inneholde, og hvordan de tester konstruktet ⁽¹⁾. Hvis for eksempel undervisningen fokuserer på dagligdags kommunikasjon, og konstruktet til prøven er kommunikativ kompetanse i dagligdagse situasjoner forbundet med familieliv, jobb og skole, har det liten hensikt å lage en prøve som bare tester grammatikk.

Når konstrukt og prøvespesifikasjoner er laget, må oppgaver utvikles og prøves ut, og man må lage et system for sensur og kvalitetskontroll. Kvalitetssikring er forskjellig for produktive og reseptive ferdigheter. For skriftlig og muntlig produksjon er det vanskelig å foreta storstilt utprøving av oppgaver på forhånd. Det Norskprøven gjør for å kvalitetssikre oppgavene, er å gjennomføre interne seminarer med mange deltakere og undersøkelser blant sensorer på hvor godt oppgavene fungerte etter at de er brukt. Til vurdering av produktive ferdigheter er det nødvendig med et sensorkorps. Sensorenes vurderinger bør analyseres statistisk, slik at man kan sikre intra- og inter-sensorreliabilitet. Det betyr at sensorene skal vurdere stabilt fra gang til gang, og de skal vurdere samme kandidater like strengt.

For lytte- og leseferdigheter er det mulig og nødvendig å prøve ut oppgavene i stor skala før de brukes. Dette skyldes at forståelse ikke kan observeres og vurderes direkte. Oppgavene må prøves ut og analyseres for at man skal vite hvor vanskelige de er. For å få et sikkert resultat, må hver oppgave tas av minst 500 kandidater. Item response theory (IRT) er en metode som finner vanskegrad på oppgavene, ferdighetsnivået til kandidatene og sier hvor godt en oppgave måler. Men IRT gir bare en tallskala. Den sier ikke hvilket rammeverksnivå oppgavene eller kandidatene er på. For å finne ut dette, trengs det en prosedyre som kalles standardsetting.

Her finner du en veileder for prøveutvikling, laget av den europeiske språktestingsorganisasjonen ALTE for Europarådet: Language Test Development and Examining

Tilpassing til det Europeiske rammeverket - standardsetting

En prøve som skal gi resultat i form av et rammeverksnivå, må gjennom en spesiell prosedyre for å sikre at nivået blir det samme som for andre prøver som bruker Rammeverket. Dette kalles standardsetting. En standard er en måleskala. Standardsetting bestemmer grensen mellom to nivåer eller karakterer, og skal sikre at alle mener det samme når de bruker skalaen – at nivåene er like over alt. Hvis man har fått resultatet B2, for eksempel, må det gjenspeile akkurat det samme ferdighetsnivået, uansett hvilken prøve man har tatt, eller ved hvilken institusjon man har tatt prøven. Det ville være svært uheldig dersom det skulle oppstå flere prøver som gir samme resultat, men der f.eks. B2 ett sted er det samme som A2 et annet sted.

Europarådet har laget en veiviser for testutviklere som vil knytte sine prøver til Rammeverket. Denne heter Relating Language Examinations to the Common European Framework of Reference for Languages: Learning, Teaching, Assessment (CEFR) ⁽²⁾. Prosessen som anbefales i veilederen, ligner den man bruker for å validere en prøve, og går ut på at man samler bevis for at prøven gjør det man påstår at den skal gjøre. Man må da beskrive prøven og analysemetodene man bruker, binde resultatene til nivåene i Rammeverket, og dokumentere metodene man har brukt. Slutten på prosessen bør være en rapport om alt som er gjort (ref).

Standardsetting er et stort felt innen fagfeltet språktesting. Det finnes minst 50 ulike metoder for standardsetting ⁽³⁾, og metodene varierer etter hvilke prøver man skal standardsette.

For skriftlige og muntlige ferdigheter bruker man en benchmarking-metode, der oppgavene og besvarelsene nivåsettes mot Rammeverket. Som tidligere nevnt, må man beskrive det man vil teste i et konstrukt for skriftlige og muntlige ferdigheter. Så lager man testspesifikasjoner, der man beskriver hva slags oppgaver man skal ha på de forskjellige nivåene, og i denne prosessen trenger man fagfolk med inngående kjennskap til Rammeverket. Man lager samtidig vurderingskriterier for oppgavene, der man forholder seg til de relevante skalaene i Rammeverket. Til slutt er det viktig med opplæring av sensorer. Når det gjelder Norskprøven, kreves det at sensorer skal delta på et sensorseminar hvert eneste år for å kunne sensurere. Dermed sikrer man at det er en felles forståelse av oppgavene, kriteriene og Rammeverket blant sensorene, og man kan gjøre analyser av intra-sensorreliabiliteten.

For lese- og lytteprøver innebærer standardsetting at man bestemmer grensen mellom nivåene: Hvor mange poeng skal man trenge på en bestemt prøver for å få et bestemt nivå. Dette gjøres i et standardsettingsseminar med minst 10-15 deltakere, som skal kjenne Rammeverket godt på forhånd. Slike seminarer må gjøres før prøven kan avholdes første gang, og senere med noen års mellomrom. Det er mange metoder, med det er vanlig å ha med en psykometriker (statistiker) som kan presentere relevante resultater fra piloteringen og gjøre analyser av prosessen. Det er viktig at fagfolkene som deltar, har god kjennskap til rammeverkets nivåer og evne til å se hvilket språkferdighetsnivå som kreves for å løse de aktuelle testoppgavene. Man tar for seg en komplett prøve, og vurderer oppgave for oppgave: Hvor mange prosent sjanse har en vippekandidat (en som er akkurat på grensen mellom to nivåer) for å klare den aktuelle oppgaven.

Det er altså en krevende prosess å lenke en prøve til Rammeverket, og ikke noe som er gjort i en håndvending.

Råd og redskaper for å tilpasse prøver til Rammeverket finnes på nettsidene til Europarådet.

Det er også laget en håndbok for standardsettingsprosessen.