Generalizations #43 Pedersen, I. M., Pedersen, K., Stentoft, D., & Christensen, M. K. (2020)

At the current stage this project is about finding statistical generalizations in qualitative, danish educational research. That is to check my assumption that there is a tendency to make statistical generalizations on the basis of observations which cannot support such generalizations.

I will be posting excerpts from all those studies which to me seem problematic. This post is part of that and this is a link to the first post in the line.

Pedersen, I. M., Pedersen, K., Stentoft, D., & Christensen, M. K. (2020)

Reference:

Pedersen, I. M., Pedersen, K., Stentoft, D., & Christensen, M. K. (2020). Faciliteret Multi-Source Feedback som pædagogisk kompetenceudvikling – et dansk casestudie: Array. Dansk Universitetspædagogisk Tidsskrift, 15(28), 124–148. https://doi.org/10.7146/dut.v15i28.115654

Abstract:

De seneste års politiske og institutionelle fokus på kvalitetssikring i undervisningen på de videregående uddannelser har afdækket et behov for at anerkende undervisning på lige fod med forskning. Peer-review anvendes til anerkendelse af forskning, men kan en lignende metode også anvendes til anerkendelse af undervisning? Og hvad sker der i en organisationskultur, når peer-review af undervisningen introduceres som pædagogisk kompetenceudvikling? I denne artikel præsenteres resultaterne af et forskningsprojekt, der udviklede, afprøvede og undersøgte en pædagogisk kompetenceudviklingsmodel inspireret af peer-review – en Faciliteret Multi-Source Feedback-model (FMSF-model). I et kvalitativt interviewstudie undersøgte vi deltagernes (n=15) oplevelse af FMSF-modellen og dens anvendelighed i et organisatorisk læringsperspektiv. Resultaterne peger på, at FMSF-modellen kan facilitere handlingsorienteret refleksion til gavn for undervisernes pædagogiske kompetenceudvikling og understøtte en organisatorisk læringsstruktur qua dens målrettede og strukturerede feedbackformat. Modellens anvendelighed påvirkes dog af lokalt forankrede kulturelle normer og praksisser, f.eks. sparsom peer-feedback og -observation samt manglende transparens blandt deltagerne.

Testable hypothesis?:

Nej: "Forskningsspørgsmål FMSF-modellen kan ses som et bidrag til en organisatorisk læringsstruktur; som en måde at rammesætte  en  kontinuerlig  udveksling  af  viden  mellem  medarbejderne  med  henblik  på  at  forbedre  egen  og  andres  performance.  Således  kan  FMSF-modellen  have  potentiale  til  at  understøtte organisatorisk læring. Følgende forskningsspørgsmål guidede undersøgelsen: Hvorledes oplever deltagere FMSF-modellens potentiale til at facilitere pædagogisk kompetenceud-vikling af universitetsundervisere, og hvilke faktorer har indflydelse på modellens anvendelighed til at understøtte organisatorisk læring? " s128

Method/materials:

"Med udgangspunkt i en tematisk interviewguide (se bilag 2) blev semistrukturerede enkeltin-terviews  med  13  feedbackgivere  og  to  feedbackmodtagere  gennemført.  Fordi  deltagernes  oplevelse  af  FMSF-modellen  var  i  fokus  i  undersøgelsen,  valgte  vi  at  undersøge  deltagernes  perspektiv    med    inspiration    fra    det    fænomenologiske   livsverdensinterview   (Kvale   &   Brinkmann,  2015)." s130

Statistical generalizations:

1) "Via  denne  metode  antager  undersøgelsen form af et specifikt single-casestudie, som derfor vanskeligt lader sig generali-sere (Flyvbjerg, 2010). Undersøgelsen skal i stedet ses som et nedslag i det universitetspæda-gogiske felt med mulighed for, at andre universiteter eller organisationer, der kan genkende sig selv eller aspekter af deres organisation i undersøgelsen, kan foretage en situeret generalisering." s139 

(De undskylder simpelthen! "Vi er bevidste om, at et komparativt casestudie ville have tilført en bredde til undersøgelsen..." s139)

Comments:

I have flagged this study for generalizations of type 4 (see typology).

(Rest in danish in order to avoid the extra work of having to translate quotes - i might on request)

Citatet starter med en reference til Flyvbjerg og en kommentar om at studiet ikke lader sig generalisere. Derefter konkluderes det at hvis nu hver enkelt organisation som potentielt kan søge viden i studiet, selv generaliserer resultaterne  (type4), i en såkaldt "situeret generalisering", så kan man jo ikke sige noget til det. Jeg synes nu godt at man kan sige at det stadig ikke kan generaliseres. Min generelle holdning er ikke at man ikke må drage på viden man uanset denne videns karakter. Pointen er at studiet ikke kan underbygge eventuelle generaliseringer. Det betyder ikke at vi skal have et generaliserings-politi som forhindrer folk i at generaliserer. Faktisk er det ganske forventeligt at folk gør det hele tiden på alle mulige forskellige grundlag. Derfor er der ikke nogen grund til som forsker at vurdere hvorvidt det man har lavet kan generalisere, men man skal afholde sig fra at lave generaliseringer på baggrund af et studie som ikke kan underbygge dem, fordi man er forsker og derfor skal kommunikere forsigtigt.