Generalizations 33# Jensen, L. M., Burmølle, M., Johannsen, B. F., Bruun, J., & Ellegaard, M. (2020)

 At the current stage this project is about finding statistical generalizations in qualitative, danish educational research. That is to check my assumption that there is a tendency to make statistical generalizations on the basis of observations which cannot support such generalizations.

I will be posting excerpts from all those studies which to me seem problematic. This post is part of that and this is a link to the first post in the line.

Jensen, L. M., Burmølle, M., Johannsen, B. F., Bruun, J., & Ellegaard, M. (2020)

Reference:

Jensen, L. M., Burmølle, M., Johannsen, B. F., Bruun, J., & Ellegaard, M. (2020). Jagten på den gode opgave: Identifikation af kriterier og implementering af peer feedback i praksis. Dansk Universitetspædagogisk Tidsskrift, 15(28), 16–30. https://doi.org/10.7146/dut.v15i28.115204 

Abstract:

Denne artikel beskriver baggrunden for et pilotprojekt med formativ peer feedback på et karaktergivende essay på et stort obligatorisk bachelorkursus. Peer feedback blev implementeret hovedsageligt som svaret på et behov hos de studerende for mere feedback. Vi diskuterer teorien bag peer feedback som metode i undervisningen og udmøntningen af projektet, inklusive processen bag udformningen af kriterier for peer feedbacken. Gennem interviews med nogle af de involverede studerende og gennem de studerendes spørgsmål i processen fik vi indblik i, hvordan de studerende opfattede peer feedback-processen, hvad der virkede for dem, og hvilke udfordringer der opstod. Efterbehandlingen satte især fokus på det nyttige, for både undervisere og studerende, i at præcisere kriterier for en sådan opgave.

 

Testable hypothesis?:

Nej: "Pilotprojektet, som vi beskriver i denne artikel, havde til formål at afprøve muligheder for at facilitere  og  støtte  studerende  i  at  give  hinanden  brugbar  formativ  feedback  (herefter  be-nævnt peer feedback).  "s17

 

Method/materials:

"I  alt  valgte  24  studerende  at  deltage  i  projektet,  hvoraf  alle  både  gav  og  modtog  feedback.  Dette udgør 12,7 % af deltagerne på kurset. Derudover havde alle studerende adgang til alle kriterier via platformen, uanset om de valgte at deltage eller ej. " s24

"Denne artikel har til hensigt at vise, hvordan peer feedback kan implementeres i forsøget på at imødekomme efterspørgslen på feedback fra de studerende." s27

 

Statistical generalizations:

1) "Det  er  muligt,  at  en  kulturændring  er  nødvendig,  før  man  med  større  succes  kan  etablere  peer feedback på et kursus. For både undervisere og studerende er peer feedback en evalue-ringsform,  som  kun  bliver  anvendt  på  meget  få  kurser. De er derfor ikke  bekendte  med  be-grebet.  Var  peer  feedback  en  mere  etableret  evalueringsform  på  flere  kurser,  ville  man  må-ske se en højere deltagerprocent og feedback af en mere formativ karakter" s28

2) "Det var ikke muligt at lave en systematisk evaluering af effekten af peer feedback-processen på de studerendes læring; det var dog undervisernes subjektive vurdering, at kva-liteten af essays var høj dette år." s28

3) "Pilotprojektet viste, at vil man implementere peer feedback på et kursus, skal man være for-beredt  på  at  håndtere  situationer,  hvor  de  studerende  oplever  at  få  feedback,  de  ikke  kan  bruge,  fra  en  medstuderende.  I  interviewene  kom  det  også  frem,  at  tidspres  kan  føre  til,  at  ordningen  ikke  fungerer  optimalt,  hvilket  stemmer  overens  med  McDowells  (1995)  observa-tion om, at den studerende kan føle ubehag ved peer feedback, når han føler tidspres. I dette tilfælde kunne det være som følge af den logistiske struktur, hvor peer feedback-processen lå tæt på deadline for den endelige aflevering af opgaven, og der derfor ikke var meget tid til at arbejde i dybden med feedbacken. Dette ville kunne bearbejdes sammen med de studeren-de, hvis peer feedback bliver brugt gentagne gange på et kursus eller i løbet af uddannelsen. Ydermere  er  det  vigtigt  at  afsætte  den  nødvendige  tid  til  træning  og  bearbejdelse  af  feed-backen. En anden måde, man i fremtiden kan inddrage de studerende på, vil være i identifi-ceringen af kriterierne. Dette kunne gøres gennem  et  tæt  samarbejde  mellem  underviseren  og de studerende samt ved en grundigere analyse af den feedback, der blev udvekslet mel-lem de studerende. " s28 

Comments:

I have flagged this study for generalizations of type 3, 4 and 5 (see typology).

 

(Rest in danish in order to avoid the extra work of having to translate quotes - i might on request)

I første uddrag er der ingen grund til at lade som om at der er tale om helligbrøde. I hvert fald ikke med hensyn til den statistiske generalisering som laves, hvilken jo er rimelig forsigtig og plausibel og alt det der. Ikke desto mindre er det en generalisering, fordi det foreslås, på baggrund af 24 observationer/personer, at endnu flere, som ikke var med i observationerne, måske ville have tilmeldt sig peer feedback evaluering, hvis de havde kendt til det i forvejen. Noget andet, som er mere problematisk, men ikke vigtigt for nærværende, så dette er bare en note, er ideen om at en "kulturændring" vil have en eller anden effekt. Et udsagn man hurtigt kommer til at stille sig tilfreds med selvom det, som Latour minder os om, ikke har nogle ender, selvom det burde have to (som en regnorm). Det er overhovedet ikke selvsagt hvad det er, eller hvordan det afstedkommes. Det ankommer ex nihilo (som i så mange andre studier), uden forende. Ligeledes mangler også en bagende, i det at der uden en forende, heller ingen garanti er for den antagede effekt, det som sådan en ændring skulle lede til, altså bagenden. En voldsomt, handikappet regnorm!

I andet uddrag pakkes en statistisk generalisering vedrørende effekten af peer feedback på læring ind i en undskyldning, fulgt op af "...undervisernes subjektive vurdering...". Skulle man tage resultater in potentio seriøst i videnskabelige studier, skulle man nævne dem alle og ikke bare den man lige føler for (og helst formuleret som hypoteser der så kan testes).

I tredje udsagn gives nogle opfordringer vedrørende anvendelsen af peer feedback i fremtiden, hvor implikationen nødvendigvis bliver at studiet kan underbygge sådanne opfordringers applikation i fremtiden, altså statistisk generalisering (type 5). Ligeledes underbygges der med reference til et studie, som heller ikke kan generaliseres statistisk (type 3).