VAP projektbeskrivelse

Det overordnede formål med VAP-projektet er at placere PISA 2006 science undersøgelsen i en dansk kontekst. Som en forudsætning herfor undersøges PISA 2006 science dels på sine egne præmisser og dels i forhold til de danske mål for naturfagene. De forskellige elementer i en sådan undersøgelse og deres indbyrdes sammenhænge er illustreret i diagrammet. Gennem projektet svares på nedenstående spørgsmål (hvor tal og bogstaver i parentes refererer til diagrammet).

Hvad vil PISA måle sammenlignet med andre literacymål og med de danske mål for naturfagene?

Som svar på første delspørgsmål undersøges PISA's literacybegreb (a) og sammenlignes med andre internationalt anvendte literacybegreber.

1. I andet delspørgsmål sammenlignes PISA's literacybegreb (a) med kompetence-/ dannelsesmål i det danske uddannelsessystem som de er formuleret i Fælles Mål (b). En sådan analyse vil kunne perspektivere PISA's "fit for life"-opfattelse med det danske dannelses-/kompetencebegreb. Metodisk vil der være tale om tekstanalyse. Dette spørgsmål behandles i Delrapport 1.

Måler testen det den vil, og hvorledes svarer den til kravene i Fælles Mål?

2. Her analyses PISA-test setup'et (c) i forhold til det opstillede literacy begreb (a). Denne interne validitet siger noget om testens begrænsninger på testens egne præmisser. Også her vil metoden være tekstanalyse.

3. Ved at sammenholde PISA-testen (c) med de samlede mål, der stilles for de danske uddannelser (b) kan man afgrænse hvilke aspekter af de danske naturfagsuddannelser PISA-testen reelt kan udsige noget om, og hvilke de ikke kan. Igen tekstanalyse. Disse to spørgsmål behandles i Delrapport 3.

Er målemetoden rimelig ift. den gængse evaluering i det danske uddannelsessystem?

4. Her må test-setup'et (c) sammenlignes med de måder, man traditionelt evaluerer på i danske skoler (d). Dette vil kunne forklare resultater grundet i forskellige testkulturer. En sådan analyse forudsætter et kendskab til den danske evalueringskultur i naturfagene, som kun kan tilvejebringes via en empirisk undersøgelse af (d).

5. Et interessant aspekt er at sammenholde den eksisterende evalueringskultur med de officielt opstillede mål. Tester vi i Danmark det, vi er interesseret i at eleverne skal kunne? Dette vil også kunne sige noget om hvorvidt danske evalueringsresultater er et rimeligt udtryk for opfyldelsesgrad af danske mål.Relation 5 ligger uden for VAP-projektet, hvorimod relation 4 behandles i Delrapport 2.

Er PISA-resultaterne udtryk for det eleverne kan inden for det testede område?

6. Dette er en "traditionel" validering af testen, og et af forskningsprojektets centrale spørgsmål. Når test-tekniske forhold filtreres fra, kan spørgsmålet kun besvares ved en feltundersøgelse, dvs. empirisk. Dette gøres ved at udsætte de PISA-testede elever for en mere omfattende evaluering (e). Denne VAP-evaluering består af en række faser (fx samtale), som i højere grad anses for at evaluere det (i PISA) ønskede.

7. Ved samme evaluering (e) undersøges, i hvilket omfang eleverne opfylder de mål, som ikke indgår i PISA-testen (fx praktiske færdigheder). Disse spørgsmål behandles i Delrapport 4.

Udvikling af en mere valid evalueringskultur i de naturfaglige uddannelser

8. Dette kunne være et spin-off af projektet, som ville kræve en selvstændig indsats. Hvorledes kan en sammenstilling af det, som forskningsprojektet viser at eleverne rent faktisk ikke kan ifølge PISA (6), og som den danske evalueringskultur ikke indfanger (7), bruges til udvikling af en evalueringsform og -kultur (f), som i højere grad end den nuværende evaluerer de opstillede formål (b) med uddannelserne?

Diagram over elementer og sammenhænge i VAP