Science as a progressive tradition in danish educational research

I have checked the amount of citations of the 70 included, qualitative studies, from two danish journals of educational/pedagogical research.

In total the 70 articles have in all 95 citations. These are articles going back to 2018. Excluding those published in 2022 (current year), they have a collected 94 citations. And among these one freak outlier (Hilli, C., Nørgård, R. T., & Aaen, J. H. (2019)) has 40 citations. Most of which are from articles by second author R. T. Nørgård. 

14 of the articles from before 2022, have more than one citations. 7 have more than two.

A total of 20 articles (-2022) called for further research. Of these 9 have no citations. 

This fact taken together with what i have also shown for this dataset (only three articles with testable hypotheses, only seven articles making no unwarranted statistically general claims), indicates a lack of scientific progress for the articles included. That is all qualitative research articles published in the two journals for the last four years. 

I do not in general think that our scientific system is healthy and that the incentive to keep publishing and getting citations is good. The lack of citations here noted however, i think does indicate, for this dataset, that despite calls for more research, scientific progression seldom takes off. Most of the time no one is consistently building upon the research in this dataset. 

It seems plausible that one reason for this is the lack of hypotheses. It indicates a lack of actual theories consisting of testable hypotheses. Theories that can be worked on by multiple research units in a scientific progression.

In the segment of danish educational research that i have collected and read, it seems that every study is concerned with different things and theoretical frameworks as distinguished from testable hypotheses related to theories about the world (education, learning, pedagogy etc.).

Hypothetically, even if another qualitative study is similar to one that i am making, what reasons will i have to try and build on its results, if the theoretical framework and the analytical tools are different to mine? I would need something like a clearly stated, testable hypothesis if i were to use different methods to study the same subject. This would also be the case if i were to use the same methods. Even if the analytical constructs i use to analyse interviews were worded similarly to those of another study, i could never be certain that the statements from the interviews were meant in the same way, and thus sortable according to the same constructs, or even that those constructs are used in the same way. A shared, testable hypothesis, would at least mitigate some of the uncertainties, due to there being a shared, clearly stated purpose. 

As i wrote here a common defence of qualitative research against the charge that it cannot be used to falsify hypotheses, is that it can in fact do just that. So the question becomes, for the present dataset, if this is the case, where are the hypotheses?

Generalizations 19# Møller, H., & Skott, C. K. (2018)

At the current stage this project is about finding statistical generalizations in qualitative, danish educational research. That is to check my assumption that there is a tendency to make statistical generalizations on the basis of observations which cannot support such generalizations.

I will be posting excerpts from all those studies which to me seem problematic. This post is part of that and this is a link to the first post in the line.

Møller, H., & Skott, C. K. (2018)

Reference:

Møller, H., & Skott, C. K. (2018). Læreres kompetenceudvikling - ud fra knowledge-of-practice. Studier I læreruddannelse Og -Profession, 3(1), 73–93. 

https://doi.org/10.7146/lup.v3i1.27714 

 

Abstract:

For at kunne skelne mellem tiltag til lærerudvikling har Cochran-Smith og Lytle udviklet tre grundforståelser af forholdet mellem læreres viden og deres praksis. En af disse, Knowledge-of-practice, er udgangspunkt for artiklen, idet vi med Lektionsstudier eksemplificerer potentialerne ved at benytte tiltag inden for denne grundforståelse. I Japan benyttes lektionsstudier i alle fag, mens tiltaget i Vesten overvejende bruges i matematikfaget og med et fagdidaktisk fokus. Ud fra en case om lektionsstudier i danskfaget argumenterer vi for, at tiltag som lektionsstudier giver lærere mulighed for at udforske og løse problemstillinger i deres undervisningspraksis fra et samtidigt alment og fagdidaktisk perspektiv.

Testable hypothesis?:

Nej: "Hvordan kan lektionsstudier, som et tiltag inden for knowledge-of-practice, bidrage til, at lærere i højere grad arbejder i et krydsfelt mellem almendi-daktiske  og  fagdidaktiske  aspekter,  når  de  planlægger,  gennemfører  og  reflekterer over undervisning?" s74

Potentiale for hypotese: "lektionsstudier, som et tiltag inden for knowledge-of-practice" bidrager til "at lærere i højere grad arbejder i et krydsfelt mellem almendi-daktiske  og  fagdidaktiske  aspekter,  når  de  planlægger,  gennemfører  og  reflekterer over undervisning".

Men hypotesen indeholder alt for mange dele som er henholdsvis vage, mangle afgrænsning fra hinanden og ikke er målbare eller validerede konstrukter.

 

Method/materials:

"Vi har i to år (2013-15) gennemført to runder af lektionsstudier med fire lærer-teams i henholdsvis dansk og matematik på en folkeskole i Københavns omegn (se fx Kaas, Kristiansen, Møller, Skott, & Østergren-Olsen, 2017). Vi deltog  som  participating  observers (Yin, 2003), dvs. som både facilitatorer og forskere. Som facilitatorer deltog vi i hvert teams lektionsstudiefaser (et lek-tionsstudie per team per år), hvorved vi fik et unikt indblik i atmosfæren og karakteren af samarbejdet. Som forskere gennemførte vi individuelle og gruppe-fokusinterviews før, mellem og efter de to runder af lektionsstudier (denne del af empirien trækker vi ikke direkte på her) og optog alle lektions-studieaktiviteterne  på  lyd  eller  video,  ligesom  vi  indsamlede  materiale  fra  udforskningslektionerne, fx elevprodukter." s78-79

"Til denne artikel har vi udvalgt et lektionsstudie i dansk fra anden runde, hvor  to  dansklærere  fra  mellemtrinnet  sammen  med  to  facilitatorer  fra  en  professionshøjskole planlægger, gennemfører og reflekterer over et forløb om reklamer i 6. klasse." s79

 

Statistical generalizations:

1) "Analysen viser, at lektionsstudier – som eksempel på tiltag inden for know-ledge-of-practice – tilbyder lærere særlige muligheder for i samarbejde at plan-lægge, gennemføre og reflektere over undervisning i et krydsfelt mellem almen-  og  fagdidaktiske  perspektiver.  " s90

2) "Ud fra nærværende analyse – og også analyser af andre af vores lekti-onsstudieforløb – tegner der sig for os at se et billede af, at behandling af problemer knyttet til undervisning og læring i skolen ofte kan profitere af et samtidigt fokus på almen- og fagdidaktiske aspekter." s91

3) "Analysen af artiklens case viser, at både kønstypologiseringen og en tilgang til eleverne ud fra faglige niveauer kan blokere for, at lærerne (og facilitato-rerne) opdager, hvordan konkrete elever bidrager og viser tegn på læring eller mangel på samme. Lektionsstudier tilbyder mulighed for netop på en mere grundlæggende måde at arbejde med deltagernes forudgående anta-gelser, som deres almindelige arbejdsliv – eller tiltag inden for de to andre grundforståelser – ikke gør." s91

 

Comments:

I have flagged this study for generalizations of type 3, 4 and 5 (see typology).

 

(Rest in danish in order to avoid the extra work of having to translate quotes - i might on request)

Første citat er en direkte, om end vag, statistisk generalisering (type 4) hvor ordlyden klart indikerer at resultaterne af analysen er gældende for fremtiden.

I andet citat påstås det at behandling af problemer i skolen knyttet til undervisning og læring "ofte kan profitere" af et "fokus på almen- og fagdidaktiske aspekter". Udsagnet er totalt almengyldigt, men også antaget statistisk generelt. Det kan ikke underbygges af studiet. Der refereres til andre analyser på et lignende begrænset, statistisk grundlag (type 3).

Tredje citat er både en direkte generalisering i påstanden om lærerens fokus som en blind vinkel, men også en implicit generalisering ved antagelsen om at studiet kan underbygge "lektionsstudier"s generelle beskaffenhed (type 4 og 5).

Generalizations 18# Gammelgaard, O. (2018)

 At the current stage this project is about finding statistical generalizations in qualitative, danish educational research. That is to check my assumption that there is a tendency to make statistical generalizations on the basis of observations which cannot support such generalizations.

I will be posting excerpts from all those studies which to me seem problematic. This post is part of that and this is a link to the first post in the line.

Gammelgaard, O. (2018)

Reference:

Gammelgaard, O. (2018). Caseanalyse i læreruddannelsen. Studier I læreruddannelse Og -Profession, 3(1), 53–72. 

https://doi.org/10.7146/lup.v3i1.103020

 

Abstract:

Artiklen tilbyder et teoretisk og empirisk blik på underviserens arbejde med caseanalyser inden for læreruddannelsen. Ambitionen er primært at udvikle en analytisk model på et professionsdidaktisk grundlag og sekundært at afklare, hvordan analysen empirisk kan håndteres inden for rammerne af en professionel praksis, hvor der er travlt med at undervise. Undersøgelsens væsentligste teoretiske resultater er, at den analytiske model kan forstås som en række delanalyser: en kontekst-, en handlings-, en baggrunds-, en udviklings- og en resultatanalyse. Empirisk er der tale om mindst to sammenhængende caseanalyser forskudt i tid, hvor den første kvalificerer det indgreb, der afprøves i den anden. Artiklen henvender sig primært til undervisere og forskere ved professionshøjskolerne, men er relevant for alle, der arbejder med undervisning.

 

Testable hypothesis?:

Nej: "Det spørgsmål, der søges besvaret i artiklen, er derfor: hvad karakteriserer teoretisk og empirisk en  professionsdidaktisk  caseanalyse?" s53

 

Method/materials:

"Jeg anvender m.a.o. ikke casen for at af- eller bekræfte en teori, men for at tænke mig frem til teoretiske poin-ter og procedurer, der kan undersøges i en efterfølgende caseanalyse (Yin, 2014). Datagrundlaget består af en enkelt selvoplevet hændelse i en professi-onel praksis, dvs., vi har at gøre med en single caseanalyse, hvor mængden af  data  er  meget  begrænset  og  konstrueret  som  en  spontan  case, dvs. ikke som en integreret del af et systematisk undersøgelsesdesign (Albrechtsen & Kvols, 2016, s. 29 ff" s54

 

Statistical generalizations:

1) "Den første, kontekstana-lysen, giver adgang til en relativt nuanceret forståelse af den væsentligste udfordring for enhver undervisning i læreruddannelsen, dvs. de stude-rende, og gør det på den måde muligt at målrette undervisning efter de faktiske forhold. Den anden fase, handlingsanalysen, hjælper os med at fastholde kompleksiteten i undervisningen og identificere styrker og svag-heder i lærerhandlinger. Den tredje fase, baggrundsanalysen, afdækker de kausalrelationer, der gør, at vi ikke kun kan identificere styrker og svaghe-der i undervisningen, men også ved, hvor de kommer fra. Den fjerde fase, udviklingsanalysen, rummer et handlingsudkast, der foruden inspirationen fra didaktisk handlings- og grundlagsteori også trækker på indsigt fra de tre foregående delanalyser og derfor har mulighed for at formulere idéer, der er både ambitiøse og realistiske. Den femte og sidste fase, resultatanalysen, sikrer, at resultatet af et nyudviklet undervisningsforløb ikke blot konstate-res, men også forstås og på den måde fremmer den fortsatte professionelle udvikling. " s70

2) "Omfanget af analysen holder sig inden for få dages fuldtidsarbejde, men uden at slække på alment accepte-rede videnskabelige metodiske krav. Når det kommer til gyldigheden af resultaterne af læringsorienterede professionsdidaktiske caseanalyser, taler vi primært om lokal gyldighed, men udelukker ikke muligheden for en generel gyldighed." s71

 

Comments:

I have flagged this study for generalizations of type 4 (see typology).

 

(Rest in danish in order to avoid the extra work of having to translate quotes - i might on request)

Citatet er en liste over typer af analyser sorteret som på hinanden følgende faser, med hver deres påstande om beskaffenhed. Forholdet mellem analysetype og beskaffenhed kan i hvert tilfælde betragtes som en ikke underbygget hypotese. Med andre ord er der tale om en beskaffenhed antaget på tværs af tid og applikation, en statistisk generalisering (type 4). Givet at der ikke er tale om et krav i forhold til at opnå en bestemt effekt eller et resultat er der heller ikke tale om en type 5.

Jeg har inddraget andet citat fordi det er en implicit opfordring til at antage, at det at man ikke udelukker "muligheden for en generel gyldighed." betyder at man kan se frem til sådan en gyldighed i arbejdet med case-analyser. Det er en problematisk antagelse, da den form for generel gyldighed der kan opnås via caseanalyser er meget begrænset, som beskrevet her.

Generalizations 17# Molbæk, M., & Hølvig Mikkelsen, S. (2018)

 At the current stage this project is about finding statistical generalizations in qualitative, danish educational research. That is to check my assumption that there is a tendency to make statistical generalizations on the basis of observations which cannot support such generalizations.

I will be posting excerpts from all those studies which to me seem problematic. This post is part of that and this is a link to the first post in the line.

Molbæk, M., & Hølvig Mikkelsen, S. (2018)

Reference:

Molbæk, M., & Hølvig Mikkelsen, S. (2018). Rum for udvikling af praksis-, professions- og forskningsviden?. Studier I læreruddannelse Og -Profession, 3(1), 32–52. https://doi.org/10.7146/lup.v3i1.97591 

 

Abstract:

Denne artikel adresserer muligheder og udfordringer i relationerne mellem læreruddannelse, profession og forskning og har til formål at undersøge, hvordan samspillet mellem den praksis (og teori), der er i folkeskolen, og den teori (og praksis), lærere og lærerstuderende møder på grund- og efteruddannelsen, kan faciliteres.

Problemstillingen behandles teoretisk og empirisk med udgangspunkt i et forsknings- og udviklingsprojekt designet med intentionen om at skabe ligeværdige og udviklende møder mellem praksis-, professions- og forskningsviden.

I artiklen præsenterer vi fund vedrørende den måde, vi organiserer forsknings- og udviklingsprojekter på, samt forhold omkring tid og muligheden for en dybere forståelse af praksis.

Konklusionen er, at hvis vi vil facilitere møder mellem forskellige typer af viden og ad den vej skabe reel kompetenceudvikling for alle involverede aktører, er vi nødt til at rammesætte vores forsknings- og udviklingsprojekter, så de både understøtter en systematisk og differentieret tilgang, og vi må prioritere tid til fordybelse samt udvikle en samarbejdende kultur med fokus på en analyserende tilgang til udvikling af alle aktørers praksis. Vores fund og konklusioner indeholder endvidere nye perspektiver på, hvordan vi kan se og praktisere læreruddannelse.

 

Testable hypothesis?:

Nej: "Med  udgangspunkt  i  undersøgelsesspørgsmålet:  ’Hvilke  muligheder  og  udfordringer ser vi i samarbejde om læreres kompetenceudvikling, der har som ambi-tion at understøtte samspil mellem forsknings-, professions- og praksisviden med det formål  at  udvikle  alle  aktørers  praksis?”" s33

 

Method/materials:

"Empirien  i  denne  del  af  projektet  består  af  to  transskriberede  fokus-gruppeinterview med fire lærere fra hver af de to deltagende skoler, alle deltagende læreres evaluerings- og refleksionsark efter fem møder rammesat som  didaktiske  samtaler,  to  evaluerende  workshops  på  de  to  skoler  samt  egne  og  studerendes  refleksionsnotater  under  forløbet. " s34

 

Statistical generalizations:

1) "Vores undersø-gelse og fund peger imidlertid samtidigt på, at hvis man vil understøtte en reel kompetenceudvikling for alle aktører i samspillet mellem vidensformerne, må der i højere grad medtænkes en række strukturelle og pragmatiske for-hold, der ikke umiddelbart kommer til syne i den seneste forskningslittera-tur inden for kompetenceudviklingsfeltet. " s45

2) "En grundlæggende præmis for at lærings- og udviklingsprocessen lykkes, er, at alle tør åbne deres praksis og refleksioner for hinanden. Det kan være en overvindelse for mange og kan indledningsvis virke både irriterende og unø-digt forstyrrende i en travl hverdag, der i udgangspunktet af mange betragtes som en velfungerende praksis. " s46

 

Comments:

I have flagged this study for generalizations of type 4 and 5 (see typology).

 

(Rest in danish in order to avoid the extra work of having to translate quotes - i might on request)

Første citat er en påstand om at studiet kan vise, som en statistisk generel tendens, "at hvis man vil understøtte en reel kompetenceudvikling for alle aktører i samspillet mellem vidensformerne, må der i højere grad medtænkes en række strukturelle og pragmatiske for-hold..." (type 4).

Andet citat er et krav som skal efterleves hvis studiets resultater skal genfindes i fremtidige applikationer. Implikationen er at studiet kan underbygge sådan en statistisk generalisering (type 5).

Generalizations 16# Østergaard, L. G., Maribo, T., & Hansen, J. S. (2018)

At the current stage this project is about finding statistical generalizations in qualitative, danish educational research. That is to check my assumption that there is a tendency to make statistical generalizations on the basis of observations which cannot support such generalizations.

I will be posting excerpts from all those studies which to me seem problematic. This post is part of that and this is a link to the first post in the line.

Østergaard, L. G., Maribo, T., & Hansen, J. S. (2018)

Reference:

Østergaard, L. G., Maribo, T., & Hansen, J. S. (2018). Brug af portfolioopgaver og peer feedback for at øge sammenhæng og studenterinddragelse i undervisningen – et praksiseksempel. Dansk Universitetspædagogisk Tidsskrift, 13(24), 152–168. 

https://doi.org/10.7146/dut.v13i24.96761 

 

Abstract:

Formålet er at beskrive, hvordan portfolioopgaver og peer feedback kan øge sammenhængen og studenterinddragelse i et kursusforløb.

De studerende opnår indstillingsbetingelse til eksamen på deres semesterkursus ved godkendelse af mindst tre af fem portfolioopgaver. Der er tre individuelle opgaver med peer feedback og to gruppeopgaver.

I evalueringen af forløbet blev der anvendt elektroniske kursusevalueringer af alle studerende, semistruktureret interview med én studerende og mundtlige evalueringer med hhv. studerende og undervisere.

Vores resultater indikerer, at brug af portfolioopgaver og peer feedback har øget sammenhængen i kursusforløbet og sikret, at de studerende arbejder med det fag-lige stof mellem undervisningsgangene. Det har bidraget til at fremme brugen af dybdelæringsstrategi og øget refleksion. Vi vurderer, at kriteriebaserede feedback-vejledninger og rubrics har højnet de studerendes tryghed og øget kvaliteten af de-res opgavebesvarelser. Vi anser det som nødvendigt for gennemførelse af peer feedback, at de komplicerede processer ved peer feedback understøttes af et stabilt og velfungerende digitalt peer feedback-værktøj.

 

Testable hypothesis?:

Nej: "Formålet  med  denne  artikel  er  at  beskrive,  hvordan  brug  af  portfolioopgaver  og  peer-feedback kan skabe sammenhæng i et undervisningsforløb, sikre, at de studerende arbejder med det fagli-ge stof mellem undervisningsgangene, og gøre de studerende til medskabere af undervisningen. Artiklen beskriver de pædagogiske principper, den praktiske udførelse og evaluering af forløbet. Derudover diskuteres både de praktiske erfaringer og de pædagogiske principper." s153

 

Method/materials:

"Kurset består af 17 undervisningsgange á 4 lektioner og afsluttes med en 4 timers skriftlig eksamen. Der er ca. 25 studerende på holdet." s153

"I  evaluering  af  forløbet  har  vi  anvendt  skriftlig  kursusevaluering  udsendt  til  alle  studerende  på  kurset, semistruktureret interview af én studerende og mundtlig evaluering med alle studerende på kurset samt undervisere. " s158

" I alt har 20 ud af 23 studerende besva-ret  kursusevalueringen  for  kurset  Tværfaglig  og  Tværsektoriel  Rehabilitering efter  forløbet  i  2017.  70  %  af  de  studerende  har  vurderet  deres  udbytte  af  portfolioopgaverne  som  værende  stort  udbytte  eller meget  stort  udbytte  (figur  3).  Ud  af  de  20  studerende  er  portfolioopgaverne  nævnt  af  10  studerende  i  fritekstfeltet,  hvori  de  har  kunnet  beskrive,  hvad  de  synes  har  været  godt ved kurset." s159

 

Statistical generalizations:

1) "Det er vigtigt, at de komplicerede processer ved peer feedback understøttes af et stabilt og vel-fungerende  digitalt  peer  feedback-værktøj.  Derudover  kan  det  være  hensigtsmæssigt,  at  der  tilknyttes  ressourcer,  f.eks.  i  form  af  ph.d-studerende,  der  som  undervisningsassistenter  kan  involveres  i  feedback  og  bedømmelse  af  portfolioopgaverne  under  vejledning  og  sparring  med  underviseren.  Kriteriebaserede  feedbackvejledninger  og  rubrics  højner  kvaliteten  og  de  stude-rendes  tryghed  både  i  opgaveskrivning,  i  evalueringsprocessen og ved modtagelse af peer feed-back." 166

2) "Optimalt burde vi have foretaget flere interview for at få en bredere vifte af de studerendes op-levelser  og  dermed  en  større  grad  af  datamætning  (Kvale,  &  Brinkmann,  2015)." s162

 

Comments:

I have flagged this study for generalizations of type 5 (see typology).

(Rest in danish in order to avoid the extra work of having to translate quotes - i might on request

Citat 1 er en uformel liste af hensyn eller retningslinjer som bør følges, hvis lignende resultater (f.eks. højnet kvalitet og "de studerendes tryghed") skal opnås i fremtiden. Derfor er implikationen at studiet kan underbygge denne statistiske generalisering (type 5).

Generalizations 15# Jørgensen, S. I., Winther, H., Svendler Nielsen, C., & Nybo, L. (2018)

 At the current stage this project is about finding statistical generalizations in qualitative, danish educational research. That is to check my assumption that there is a tendency to make statistical generalizations on the basis of observations which cannot support such generalizations.

I will be posting excerpts from all those studies which to me seem problematic. This post is part of that and this is a link to the first post in the line.

Jørgensen, S. I., Winther, H., Svendler Nielsen, C., & Nybo, L. (2018)

Reference:

Jørgensen, S. I., Winther, H., Svendler Nielsen, C., & Nybo, L. (2018). ”Authentic Microteaching” som akademisk lærings- og undervisningsmodel. Dansk Universitetspædagogisk Tidsskrift, 13(24), 55–68. https://doi.org/10.7146/dut.v13i24.96782 

 

Abstract:

Universitetsuddannelsen i idræt integrerer læring af praktiske kompetencer og akademisk faglig fordybelse. I denne artikel præsenterer vi ”authentic microtea-ching” som model, hvor medbestemmelse og formidlingsdimensionen indgår som centrale fokusområder i vores undervisning. Vores empiriske erfaringer med at ud-vikle modellen samt det lærings- og uddannelsesstrategiske sigte beskrives med udgangspunkt i et specifikt kursus, hvor vores studerende via små trefasede forløb bevæger sig fra at være deltagere i undervisning til selv at være formidlere af det faglige indhold i virkelighedsnære undervisningssituationer. I første fase introduce-res de studerende til praksisområdet i korte forløb tilrettelagt af universitetets un-dervisere, mens anden fase tager udgangspunkt i ”reciprocal peer teaching”, hvor de studerende underviser hinanden og udvikler deres egen praksis organiseret ud fra ”microteaching”-modellen. Tredje fase inkluderer korte undervisningsforløb med elever fra gymnasieskolen som deltagere i virkelighedsnære situationer ud fra ”au-tenthic pedagogy” og tilhørende refleksionspapirer (mini-underviser-portfolier) som parallel fordybelsesaktivitet.

 

Testable hypothesis?:

Nej: "I denne artikel præsenterer vi en didaktisk model, hvor de studerende engageres i den akademi-ske fordybelse ved at involvere dem i den faglige formidlingsdimension, hvilket adresserer rele-vante  problemstillinger  i  universitetspædagogisk  sammenhæng. " s55

 

Method/materials:

"I forbindelse med de tre faser udarbejder de studerende en individuel portfolio. Deres portfolio indeholder  selvevaluerende  perspektiver  på,  hvad  de  har  lagt  vægt  på  i  undervisningens  tre  fa-ser,  hvad  de  har  gjort  for  at  udvikle  deres  kompetencer,  og  hvilke  fremadrettede  planer  de  har  for  deres  videre  udvikling.  I  forbindelse  med  tredje  fase  laver  de  refleksionspapirer  fra  deres  undervisning,  der  lægges  i  deres  portfolio.  De  studerendes  portfolio  understøtter  den  dobbelte  læreproces  og  synliggør  deres  læreproces  for  dem  selv.  Samtidig  giver  de  os  et  indblik  i  deres  oplevelser, følelser, refleksioner og handlinger, som kan ses i de følgende afsnit, hvor vi kommer med eksempler fra vores undervisning." s60

 

Statistical generalizations:

1) "De ovenstående portfoliouddrag fortolker vi overordnet set som et udtryk for, at de studerende gennem arbejdet med vores didaktiske model får udviklet deres lederskab i undervisningssituationen." s66

2) "Vi mener på baggrund heraf, at kombinationen af tilgangen med praktikerforskning i form af portfolio og refleksionspapirer og de virkelighedsnære erfaringer, der giver value beyond school, er væsentlige, da det sætter subjektive oplevelser og fremtidig nytte i fokus. Derved er der ikke kun et snævert fokus på kompetence og skolastisk læring, men en bredere pædagogisk og uddannelsesmæssigt tilgang, hvor der også er et æstetisk, dannelsesmæssigt og subjektivt perspektiv på læringen." s66

 

Comments:

I have flagged this study for generalizations of type 4 and 5 (see typology).

(Rest in danish in order to avoid the extra work of having to translate quotes - i might on request)

Forskerne skriver utvetydigt i første citat at der tale om deres fortolkning af portfoliouddragene. Problemet er, ikke desto mindre, det samme som med de fleste andre eksempler at sådan et citat kan bruges af andre forskere som udtryk for etableret viden om at det er forventeligt at lignende tiltag "udvikler" studerendes "ledeskab i undervisningssituationen" i fremtidige applikationer. Derfor er der tale om en statistisk generalisering gjort på baggrund af for små data (type 4).

Andet citat er en række etiske påstande omkring adfærden krævet for en god implementering af systemet. Implikationen er at studiets resultater underbygger oåstandene og dermed gentageligheden af deres resultater i fremtiden (type 5).

Generalizations 14# Jensen, L. B., Jacobsen, K. A., & Husen, K. J. (2018)

At the current stage this project is about finding statistical generalizations in qualitative, danish educational research. That is to check my assumption that there is a tendency to make statistical generalizations on the basis of observations which cannot support such generalizations.

I will be posting excerpts from all those studies which to me seem problematic. This post is part of that and this is a link to the first post in the line.

Jensen, L. B., Jacobsen, K. A., & Husen, K. J. (2018)

Reference:

Jensen, L. B., Jacobsen, K. A., & Husen, K. J. (2018). Barrierer for det gode ph.d.-forløb og udvikling af et cafétilbud i biblioteket. Dansk Universitetspædagogisk Tidsskrift, 13(25), 71–90. https://doi.org/10.7146/dut.v13i25.96698

 

Abstract:

Denne artikel formidler et projekt, der blev gennemført i Syddansk Universitetsbib-liotek for at udvikle et støttetilbud til ph.d.-studerende. Projektet skulle dels afdæk-ke interessen, dels udvikle tilbuddets nærmere form og indhold. En bagvedliggende tanke var, at tilbuddet – for at blive en succes – skulle adressere de barrierer, ph.d.-studerende oplever i deres ph.d.-forløb.

Personlige interviews med ph.d.-studerende pegede på dårlig vejlederrelation, un-dervisningspres og manglende kendskab til egen organisation og rettigheder som nogle af de oplevede barrierer. Konsekvenserne var bl.a. oplevede dårlige kompe-tencer i tidsstyring og informationssøgning samt, på den psykosociale side, ensom-hed, faglig usikkerhed og dårlig trivsel.

På den baggrund har biblioteket udviklet et cafétilbud med det formål at understøt-te fagligt og socialt netværk blandt ph.d.-studerende på tværs af fagområder.

Det er forventningen, at projektets metode og resultater kan være til inspiration for andre, der er i berøring med studerende og ph.d.-studerende, f.eks. gennem vejled-ning eller andre supportfunktioner på videregående uddannelsesinstitutioner.

 

Testable hypothesis?:

Nej: "Hvad  er  barriererne  for  et  godt  ph.d.-forløb  set  med  de  ph.d.-studerendes  egne  øj-ne? Hvordan kan biblioteket byde ind? Med disse forhold kortlagt vil det være muligt at  udvikle  et  servicetilbud  til  ph.d.-studerende,  som  opfylder  et  reelt  oplevet  behov,  dvs.  et  servicetilbud,  som  ph.d.-studerende  både  vil  finde  relevant,  som  de  også  i  praksis  vil  benytte  sig  af,  og  som  potentielt  kan  medvirke  til  at  skabe  bedre  ph.d.-forløb.I  det  følgende  præsenterer  vi  fremgangsmåde  for  og  hovedresultater  af  det  udvik-lingsprojekt, vi har gennemført i regi af biblioteket for at undersøge og udvikle café-tilbuddet.  Derefter  beskrives  og  diskuteres  det  cafétilbud,  der  er  realiseret  på  bag-grund af projektet." s74

 

Method/materials:

"Interviewundersøgelsen blev gennemført med ph.d.-studerende på de fakulteter på SDU,  hvor  der  ikke  i  forvejen  er  fungerende  ph.d.-klubber1.  I  alt  12  personer  blev  interviewet,  fordelt  med  fire  fra  hhv.  det  samfundsvidenskabelige  fakultet,  det  hu-manistiske  fakultet  og  det  tekniske  fakultet. " s75

 

Statistical generalizations:

None

 

Comments:

I have flagged this study for generalizations of type 1 which means that there are none of concern (see typology).

Generalizations 13# Vezzaro, L. (2018)

 At the current stage this project is about finding statistical generalizations in qualitative, danish educational research. That is to check my assumption that there is a tendency to make statistical generalizations on the basis of observations which cannot support such generalizations.

I will be posting excerpts from all those studies which to me seem problematic. This post is part of that and this is a link to the first post in the line.

Vezzaro, L. (2018)

Reference:

Vezzaro, L. (2018). Introducing complexity and uncertainty of environmental models in the education of future engineers. Dansk Universitetspædagogisk Tidsskrift, 13(25), 194–210. https://doi.org/10.7146/dut.v13i25.104487 

 

Abstract:

Environmental models are affected by significant sources of uncertainties com-pared to other engineering fields. However, traditional courses tend to provide a deterministic perspective, where the various sources of uncertainty (e.g. model structure, input data, implementation) are often neglected. This issue was high-lighted during a university teachers’ training programme, where the trainee proposed a solution that aimed to improve student understanding of uncer-tainty sources. The proposed solution was implemented in an existing MSc course (with 90 students). The course, originally based on problem-solving group work, was revised by introducing an assignment inspired by Problem-Based Learning, which can be used to introduce engineering students to com-plex issues. The new assignment introduced the students to new uncertainty sources (model structural and technical uncertainty) that are essential in the development and application of environmental models. The effects of the new approach on the students’ learning were monitored by using course evaluation questionnaires and written feedback from the students. The open-ended as-signment challenged the common habits of the students, highlighting the sub-jectivity in model applications and result interpretation. The students’ response was mixed, with major concerns linked to the high workload, which limited the time for deep reflection. Nevertheless, the learning objectives were successfully achieved, providing future environmental engineers with better understanding of the complexity of environmental modelling.

 

Testable hypothesis?:

No: "This  article  aims  at  showing  how  understanding  of  different  sources  of  uncertainty  can be introduced within the structure of existing environmental modelling courses. " s195

 

Method/materials:

"The author thus proposed a modification of an  existing  MSc  introductory  course  on  environmental  modelling,  based  on  the  fol-lowing concepts:•There  are  several  modelling  approaches  that  can  be  used  to  solve  environ-mental problems (model structure uncertainty)•Modelling  results  are  affected  by  several  sources  of  uncertainty,  including  subjective choices made by the modeller him/herself (model technical uncer-tainty)." s195

"Several  methods  were  used  to  monitor  the  implementation  of  the  new  module  structure:•A pre-testing test, carried out in the days before the start of Module 5,  the re-sults of  which  were  actively  discussed  in  the  first  class.  The  pre-test  focuseson  the  preconceptions  that  the  students  might  have  on  the  applicability  ofenvironmental models, and it is therefore designed to challenge the studentsand their ‘engineering common sense’, i.e. mental structures which have beenbuilt  throughout  their  engineering  education  but  which  might  represent  anobstacle  to  a  successful  use  of  the  core  elements  of  the  course.  The  quiz  isused  to  introduce  and  explain  the  structure  of  the  assignment  (which  differsfrom the previous four).•The standard course evaluation questionnaire, which is provided to studentsat  the  end  of  all  the  university  courses  and  which  enables  comparison  withprevious  academic  years.  The  questionnaire  also  includes  a  free  commentfield,  which  usually  provides    the  most  important  insight  into  the  students’perception  of  the  course  (i.e.  students  can  provide  more  comprehensivefeedback to teachers).•A supplementary Course Experience Questionnaire (CEQ) based on Ramsden(1991) and with specific questions developed in collaboration with the univer-sity’s teaching counsellors.•Oral feedback and discussions between teachers and students during the ac-tivities in the computer room. This oral feedback was subsequently discussedamong teachers and teaching assistants." s201

"A total of 90 students followed the course, with 75% answering the overall final eval-uation of the course and about 69% answering the CEQ" s202

 

Statistical generalizations:

1) "The  critical  thinking  of  students  was  improved,  as  well  as  their  understanding  of  the  concepts  involved  in  uncertainty  analysis.  " s208

 

Comments:

I have flagged this study for generalizations of type 4 (see typology).

Aside from the fact that "critical thinking" is not a validated construct, this study could not have proven that improvement in said construct occurred. This is a classic version of one of the problems that i would like to rid the world of. The quotation that i pulled from this study (shown above) could easily become the primary takeaway quoted by others. The degree to which it lends itself to misuse, as part of other researchers arguments, is too great. 

Generalizations 12# Rønn, K. V., & Petersen, K. L. (2018)

At the current stage this project is about finding statistical generalizations in qualitative, danish educational research. That is to check my assumption that there is a tendency to make statistical generalizations on the basis of observations which cannot support such generalizations.

I will be posting excerpts from all those studies which to me seem problematic. This post is part of that and this is a link to the first post in the line.

Rønn, K. V., & Petersen, K. L. (2018)

Reference:

"Rønn, K. V., & Petersen, K. L. (2018). Collective supervision of Master’s thesis students: Experiences, expectations and new departures from the Security Risk Management programme. Dansk Universitetspædagogisk Tidsskrift, 13(25), 179–193. 

https://doi.org/10.7146/dut.v13i25.104440

 

Abstract:

Collective supervision has become a common way to provide supervision at schools of higher education. This is also true for the supervision of master’s thesis students on the Master’s Programme, Security Risk Management at the University of Copenhagen. Based on experiences with collective supervision of master thesis students, this paper engages with the many understandings of feedback and learning in play in the teaching situation. In the scholarly literature, features such as multivoicedness, dialogue, process- and student-orientation are empha-sized when addressing collective supervision. Yet, our findings show a clash of expectations between a majority of the students (and supervisors) and these ide-als of collective supervision. Indeed, many students still believe feedback should be troubleshooting and product-oriented. In the final part of the paper we out-line a handful of ideas on how to improve future collective supervision to explicit-ly address the gap between expectations and conceptions of good feedback.

 

Testable hypothesis?:

 Nej: "The paper  sketches out  some  of  the  core  dynamics  of  feedback  when  supervising  master  thesis  students  in  groups,  including  the  fact  students  and  supervisors  often view  this  approach  to  supervision as  second-rate  supervision.  The  hope  is  that  by prompting those involved to put forward their points of view the ground will be laid for  discussions  that  could  impact  the  implementation  of collective  supervision  else-where in the future. " s180

 

Method/materials:

"In  the  spring  semester  of  2016,   25  students,  mainly  from  Western  Europe,  wrote  their  master’s  thesis  as  part  of the  international  Security  Risk  Management pro-gramme. These 25 students were divided into four groups with four different super-visors. The collective sessions included the master’s thesis supervisor and his/her 5-6 master’s  students.5 Thirteen students,  affiliated  with  different  groups,  responded  to a   questionnaire relating to their experiences of collective supervision. The question-naire was sent out in May 2016 and it included 19 questions -  13 questions were de-signed  with  a  multiple-choice  answer  and  6  questions  invited  elaborations  in  free  text.  The  answers  to  the  latter questions  were  subsequently  grouped  into  themes  (such  as  positive  and  negative  experiences  with  feedback  respectively  from  peers  and  the  supervisor  at the  collective  setting).  The  questionnaire  was  divided  into  the categories: ‘The feedback at the collective supervision’, ‘General conditions for learn-ing  at  the  collective  sessions’ and ‘The  learning  process  in  general’, and  it  entailed  questions  designed  to  identify  the  students’  notion  of  good  feedback;  their  experi-ences  with  the  feedback  provided  by  respectively  their  supervisor  and  their  peers;  and their general experience with collective supervision." s184-185

 

Statistical generalizations:

1) "An  effort  needs to be made in order to succeed, which is likewise in line with the scholarly lit-erature on collective supervision. This effort could for example include the following six elements:  1.Make the virtues and core scope of collective supervision (co-responsibility,active learners etc.) visible to all students (the collective set-up is not a part ofa cost cutting round, but is founded in studies on how students learn). Thisemphasis of the idea behind the collective set-up could be a means to meetthe potential lack of engagement of the students and the feeling that the pro-vision of peer feedback is a waste of time. etc. " s191

2) "In other words, a power structure is embedded in all kinds of dialogism, which is not to be misused but has to be used constructively to create a structured learning space. This involves, at a minimum:1.A   fair and clear structure for each session in order to ensure that each projectand their commonalities are addressed.2.Prepare not only for individual comments, but use the set-up to enhance theunderstanding of ‘shared knowledge’.3.Take the peer-feedback serious and take ownership by continuously trying toimprove the quality.4.Stick to the outline and the rules set up in the beginning of the course.5.Use the student evaluations constructively." s192

 

Comments:

I have flagged this study for generalizations of type 5 (see typology).

 

Both quotations are clear examples of a type 5 generalization. A list is presented of ethical rules or suggestions implying that the results of the study are statistically generalizable in that such rules can only apply to expected, future situations.