Voor de laatste opdracht van de master Onderwijskunde bij de Open Universiteit woonde ik een conferentie bij over Eye-tracking in onderwijsonderzoek, met als titel Leren in beeld brengen. Ik moest hiervan een wetenschappelijke recensie schrijven en die publiceren. Hierbij dus de de hele recensie.
Inleiding
Hoe leren mensen eigenlijk? Hoe nemen we nieuwe informatie waar? Hoe verwerken we dat in ons geheugen? En hoe beïnvloedt ons geheugen onze waarneming? Deze vragen stonden centraal in het trends symposium Leren in beeld brengen, georganiseerd op 21 oktober 2022 door de Open Universiteit in Heerlen. De organisatie beloofde in de aankondiging dat het symposium inzicht zou geven in de basale processen van waarneming die leiden tot leren van beginners en professionals en de gevolgen die dit heeft voor het toetsen van vaardigheden en kennis. Daarnaast zou worden besproken welke conclusies we hieruit kunnen trekken om efficiënter instructiemateriaal te ontwerpen, meer valide testmateriaal te maken en het leren van professionals en experts te bevorderen (Open Universiteit, 2022). Ik keek deze conferentie online terug in januari 2023, omdat ik door omstandigheden niet in staat was de conferentie in oktober fysiek bij te wonen.
Sprekers
Het symposium startte met een lezing van Prof. Dr. Tamara van Gog, hoogleraar Onderwijswetenschappen aan de Universiteit van Utrecht en Distinguished International Professor of Learning and Instruction aan de LEAD Graduate School and Research Network van de Eberhard Karls Universität Tübingen, Duitsland. Zij zou daarin onderzoek bespreken naar verschillende manieren waarop zogenaamde gaze displays, weergaven van de oogbewegingen die door eye-tracking zijn vastgelegd, ingezet kunnen worden in het onderwijs. Ik wist hier nog heel weinig van, tot ik enkele artikelen las waaraan Van Gog meewerkte. Ik kwam erachter dat eye-tracking niet alleen ingezet wordt om te snappen hoe studenten leren, maar ook bij het ontwikkelen van goede instructievideo’s en het verbeteren van zelfgestuurd leren (Van Gog & Scheiter, 2010; Van Marlen et al., 2018). Helaas bleek deze sessie niet online terug te kijken, waardoor ik de lezing zelf niet heb kunnen horen. Ik zal in deze recensie wel aandacht besteden aan enkele publicaties waaraan Van Gog meewerkte, om een beeld te schetsen hoe eye-tracking kan bijdragen aan onderwijsonderzoek.
Na deze lezing volgden twee parallelsessies. Ik heb gekozen voor de sessies die het beste passen bij mijn vakgebied: het ontwikkelen van onderwijsmateriaal. Dr. Tamara Schleepen, universitair docent bij de vakgroep Online leren en instructie van de faculteit Onderwijswetenschappen van de Open Universiteit, stond in de eerste sessie stil bij het gebruik van multimedia bij toetsing, samen met Adriënne Kerckhoffs, die hier promotieonderzoek naar doet. Aangezien ik zelf regelmatig discussieer met collega’s over het gebruik van afbeeldingen bij toetsvragen, was ik benieuwd naar de wetenschappelijke inzichten hierover. De tweede sessie die ik bezocht, was Leren met video’s van dr. Kevin Ackermans, universitair docent bij de faculteit Onderwijswetenschappen aan de Open Universiteit, en Aline van der Hoof, coördinator van het team Multimedia bij het expertisecentrum voor onderwijs van de Open Universiteit. Zij beloofden praktische mogelijkheden, best practices en onderzoeksresultaten te delen over het ontwerpen van educatieve interactieve video’s. Deze sessie sprak me ook aan omdat ik zelf een e-learning heb gemaakt met video’s en nog regelmatig nieuwe educatieve video’s maak.
Het symposium werd afgesloten met een lezing van Dr. Matthias Böhm, vice-directeur van de middelbare school Siegfried-von-Vegesack in Regen, Duitsland. Hij sprak over een multi-level reading supportprogramma op een Duitse school voor voortgezet onderwijs. Dit interesseerde mij in eerste instantie minder, omdat ik me weinig bezighoud met het bevorderen van leesvaardigheid. Ik ben echter wel overtuigd van het belang van leesvaardigheid en maak me regelmatig zorgen over het niveau van leesvaardigheid van pabo-studenten, waar ik dagelijks mee werk.
Leervragen
Tijdens de conferentie nam ik met name twee belangrijke vragen in mijn achterhoofd mee. Allereerst de brede vraag wat eye-tracking onderzoek nu precies is, wat het voor relevante data oplevert en hoe het bijdraagt aan de kennis in de onderwijskunde. Een meer theoretische vraag dus, waar ik in de praktijk mogelijk niet direct iets mee zal doen, maar waarvan ik vind dat ik daar als onderwijskundige wel kennis over moet hebben. De tweede vraag is veel praktischer gericht: welke relevante kennis over het ontwerpen van multimedia-instructie, die volgt uit eye-tracking onderzoek, kan ik concreet toepassen in mijn werk als onderwijsontwikkelaar (voor voortgezet onderwijs en hoger onderwijs, zowel fysiek als afstandsonderwijs)? Ik realiseerde me voordat ik de conferentie bezocht dat mijn kennis over het ontwerpen van onderwijs wellicht achterhaald is, doordat ik me er vooral rond 2010 in verdiepte, onder meer door het lezen van het boek Multimedia Learning (Mayer, 2009). Ik heb in de loop van de tijd wel wat nieuwe ontwikkelingen meegekregen, maar deze conferentie zag ik als een goede manier om die kennis op te vijzelen en als uitgangspunt te gebruiken voor verdere ontwikkeling op dit gebied.
Van Gog: Eye-tracking in onderwijsonderzoek
Ik kon de lezing van Van Gog helaas niet terugkijken. Wel had ik toegang tot haar powerpoint en een aantal publicaties van haar hand. Met deze informatie probeer ik weer te geven wat zij ongeveer zal hebben verteld over eye-tracking onderzoek. De lezing begon met een duidelijke omschrijving van wat eye-tracking is: het traceren van de beweging van de oogbol(len) om te bepalen waar iemand kijkt, voor hoe lang en in welke volgorde. Daarbij zijn twee termen van belang: fixatie, dat aangeeft dat het oog stil staat en er informatie opgenomen wordt, en saccade, dat een beweging van het oog aangeeft. Onderzoeken laten zien dat de ogen bij bijvoorbeeld lezen niet steeds bewegen, maar sprongen maken (i.e. saccades) en dan even fixeren. De eerste onderzoeken naar oogbewegingen werden al in de achttiende eeuw gedaan, maar sinds ongeveer 2005 nemen de publicaties in onderwijsonderzoek enorm toe (Strohmaier et al, 2020).
Van Gog benoemde vervolgens een aantal functies van eye-tracking bij onderwijsonderzoek. Allereerst kan een opname van oogbewegingen gebruikt worden om achteraf verbaal te rapporteren over de gedachten die iemand had tijdens het uitvoeren van een taak (Van Gog et al., 2005). Maar er zijn ook manieren om eye-tracking in te zetten om leren en instructie te verbeteren. Daarbij noemde van Gog drie methoden. De eerste is om lerenden de opnamen van anderen (experts, docenten of peers) te laten zien om van te leren. Dat kan bijvoorbeeld door in een instructievideo de oogbeweging van de docent zichtbaar te maken, zodat studenten automatisch naar de juiste plaats op het beeld kijken tijdens het verhaal. Dit kan helpen bij het richten van de aandacht en bij het ontwikkelen van zoek- of oplosstrategieën (Van Marlen et al, 2018). Dit effect is aangetoond voor lerenden van allerlei leeftijden, van primair onderwijs tot universitair onderwijs. Daarnaast kunnen opnamen van de eigen oogbewegingen tijdens het uitvoeren van een taak gebruikt worden voor zelf-monitoring, zelfregulatie en het bevorderen van leren. De opnamen kunnen dan gebruikt worden in een meta-cognitieve analyse van een gemaakte taak. Dit blijkt te leiden tot meer metacognitieve uitingen dan bij hard-op denken of achteraf rapporteren zonder cue (Van Gog et al., 2005). Het terugkijken van eigen opnamen bleek lerenden die al enige voorkennis hadden daadwerkelijk te helpen hun eigen prestatie te evalueren (Kostons et al., 2009). Tot slot kan eye-tracking gebruikt worden door docenten, die opnamen van de oogbewegingen van studenten kunnen gebruiken om het leerproces van de lerende beter te reguleren. Dit onderzoek staat echter nog in de kinderschoenen.
Hoewel ik deze lezing niet heb kunnen terugluisteren, kan ik uit de powerpoint wel opmaken dat Van Gog een duidelijk beeld heeft geschetst van de mogelijkheden van eye-tracking voor onderwijsonderzoek. De toepassingen die ze hierin genoemd heeft komen overeen met de toepassingen die in publicaties van Van Gog en anderen genoemd worden (Van Gog & Scheiter, 2010; Van Marlen et al., 2018). De toepassingen waren voor mij niet meer verrassend omdat ik ze al in deze publicaties had gelezen, maar hebben me wel overtuigd dat eye-tracking onderzoek relevanter is voor mijn eigen werk dan ik van tevoren dacht. In het systematisch review van Strohmaier et al. (2020), waar Van Gog in haar powerpoint naar verwijst, staan nog wel wat kritische kanttekeningen bij eye-trackingonderzoek in het onderwijs. Na een analyse van 161 publicaties tussen 1921 en 2018 concluderen ze dat eye-trackingonderzoek vooral nut heeft als het gaat om processen, en minder bij leeruitkomsten. Dit type onderzoek is vooral goed voor het laten zien van mentale representatie en onbewuste aspecten van bijvoorbeeld wiskundig denken.
Multimedia in toetsen
Schleepen en Kerckhoffs lieten in hun workshop een interessante toepassing van eye-tracking onderzoek zien: het onderzoek naar effectief gebruik van multimedia in toetsen. De workshop begon met een interactief gedeelte, waarbij deelnemers werd gevraagd om aan te geven waarom ze multimedia gebruikten bij de ontwikkeling van toetsen. Men bleek dit vooral te doen om de vraag authentieker te maken of te verduidelijken. Sommigen gebruiken multimedia ook om toetsen leuker of mooier te maken en de taalbarrière te verkleinen. Vervolgens vertelde Schleepen kort wat we uit de literatuur weten over het effectief gebruik van multimedia bij toetsing. Allereerst liet ze zien dat multimedia volgens die literatuur vooral gebruikt worden voor het authentieker en meer valide maken van een vraag, bijvoorbeeld bij toetsing van anatomie of natuurkunde. In zo’n geval zijn afbeeldingen noodzakelijk voor valide toetsing. Een tweede conclusie die Schleepen trok uit de literatuur is dat multimedia kan afleiden van een vraag. Ook de locatie van de afbeelding maakt uit: een afbeelding naast de vraag wordt vaak genegeerd, een afbeelding die in de vraag geïntegreerd is, wordt wel gezien. Een laatste conclusie is dat afbeeldingen soms kunnen helpen het werkgeheugen te ontlasten, omdat er dan naast tekstuele informatie ook visuele informatie verwerkt kan worden. In andere gevallen, als de afbeeldingen afleiden of niet fucntioneel zijn, kan multimedia echter juist zorgen voor onnodige mentale belasting. Bij dit overzicht van de literatuur gaf Schleepen helaas geen bronnen. Een overzicht van deze literatuur vond ik wel terug in Lindner (2020).
Er is nog niet veel onderzoek gedaan naar multimedia in toetsen. Er is wel veel bekend over de inzet van multimedia in instructie, maar Schleepen legt uit dat de principes voor multimedia leren niet één op één vertaald kunnen worden naar toetsen, omdat toetsing een ander doel heeft en iets anders vraagt van het geheugen, namelijk het aanroepen van informatie uit het langetermijngeheugen, en niet het opslaan daarvan (Lindner, 2020). Onderzoeken naar multimedia in toetsen blijken elkaar vaak tegen te spreken, waarschijnlijk omdat toetsen onderling op allerlei manieren kunnen verschillen. Zo maakt het uit of een afbeelding een inhoudelijke functie heeft of alleen een decoratieve, en of de afbeelding nieuwe informatie geeft of een herhaling is van de leerstof (Lindner, 2020). Om toetsitems onderling te kunnen vergelijken, ontwikkelde Kerckhoffs een observatieschema, waarmee het mogelijk is om alle eigenschappen van een toetsitem te coderen. Haar vertrekpunt is een uitgebreid schema, waarvan ze in haar promotieonderzoek uiteindelijk enkele punten gerichter te onderzoeken. Kerckhoffs vroeg de deelnemers van de workshop om een aantal toetsvragen met behulp van dit schema te coderen. Omdat ik niet zelf op de workshop aanwezig was, maar wel nieuwsgierig ben naar welke factoren gekeken wordt, heb ik dit schema per e-mail opgevraagd bij de spreker. Het schema vraagt in feite twee dingen: het doel van de afbeelding (bijvoorbeeld decoratief, representatief, informatief, transformationeel of opzettelijke afleider) en een beoordeling op de richtlijnen die we kennen van multimedia leren. In het schema wordt hierbij gelet op het coherentieprincipe (vermijd het toevoegen van niet-essentiële, maar wel aan het onderwerp gerelateerde informatie, of het toevoegen van niet aan het onderwerp gerelateerde maar wel interessante informatie), het redundantieprincipe (vermijd tekstuele uitleg als een afbeelding zelf duidelijk genoeg is) en het contiguiteitsprincipe (vermijd een lay-out waarbij de visuele aandacht gesplitst moet worden). Deze principes herkende ik van Mayer et al. (2009), maar had ik nooit toegepast op toetsen. Ik heb een paar biologie toetsvragen voor vwo bekeken en kwam erachter dat in deze toetsen vooral het coherentieprincipe en contiguiteitsprincipe lang niet altijd goed worden toegepast: afbeeldingen zijn niet altijd noodzakelijk en worden soms apart van de tekst gepresenteerd, in plaats van geïntegreerd. Maar uiteindelijk moet het onderzoek van Kerckhoffs uitwijzen welke principes nu daadwerkelijk effect hebben op de kwaliteit van toetsen.
De workshop was dus interactief, wat voor deelnemers vaak fijn is; zelf luister ik liever naar een concreet verhaal, maar ik denk dat ze wel een goede balans hadden gevonden tussen interactieve werkvormen en inhoudelijke diepgang. Wel vond ik het jammer dat de sprekers zo weinig concreet konden worden over principes die je kunt gebruiken bij het gebruik van multimedia bij toetsing, maar dat is begrijpelijk omdat het onderzoek nog niet zover is. Ik vond het leuk dat de principes die zij noemden voor multimedia learning dezelfde principes zijn die ik van mijn opleiding van tien jaar geleden nog herkende (Mayer, 2009) en die ook tot stand zijn gekomen met eye-tracking onderzoek (Mayer, 2010). Dat de auteurs de luisteraars vroegen om een paar toetsvragen te analyseren vond ik interessant, omdat het een inkijkje geeft in de manier waarop Kerckhoffs het onderzoek aanpakt. Ik heb even contact per e-mail gehad met Kerckhoffs, maar op het moment van schrijven heeft ze de resultaten van het onderzoek nog niet klaar. Daardoor bleef het verhaal nogal abstract. Wat ik vooral meeneem, is dat afbeeldingen in toetsen alleen gebruikt moeten worden als ze noodzakelijk zijn, en dan geïntegreerd in de vraag, niet in een apart kader aan de zijkant van de vraag. Voor de rest blijf ik voorlopig de ontwerpprincipes van multimedia learning gebruiken zoals Mayer (2009) ze gebruikt, totdat er uit onderzoek meer bekend wordt.
Leren met educatieve video’s
In de workshop Leren met video’s nam Ackermans de luisteraars eerst mee in een kort verhaal over de inzet van educatieve video’s in het onderwijs. Zijn vakgroep houdt zich bezig met de vraag hoe je educatieve video’s eigenlijk moet ontwerpen om het doel, namelijk leren, te bereiken. Daarbij liet hij zien dat je al gauw dilemma’s tegen kan komen: zo moet je bij een goede instructievideo liever geen docent in beeld hebben, omdat die kan afleiden van de inhoud, maar voor de motivatie kan het juist wel noodzakelijk zijn om een persoon in beeld te hebben (gevoel van relatie) (Ackermans et al., 2019). Hij liet zien dat je dit dilemma deels kunt ondervangen door bijvoorbeeld de eerste paar minuten van de video vooral motiverend te maken door de focus op personalisatie te leggen, en de focus te verleggen naar instructie, met de principes die daarbij horen. Al gauw stapte Ackermans over naar praktische tips. Hij liet zien hoe je met behulp van de website h5p.org zelf interactieve video’s kan maken, met bij een bepaalde scene bijvoorbeeld een link naar meer informatie, of een meerkeuzevraag die de kijker eerst moet beantwoorden voordat de video verder gaat. Ackermans laat daarna in sneltreinvaart allerlei onderzoeken zien die aantonen dat het leren met dergelijke interactieve video’s het leren daadwerkelijk bevordert.
Vervolgens liet Van Hoof een voorbeeld zien van een interactieve ‘game’ die de Open Universiteit al een aantal jaar inzet bij de studie Rechtswetenschappen. De game is een vervolgverhaal van een aantal weken, waarbij een waargebeurde casus wordt nagespeeld. Het gaat om een moord en internationale handel in crystal meth. De scènes die we te zien kregen deden mij erg aan politieseries als Flikken Maastricht denken. Studenten krijgen wekelijks een aantal scènes te zien en kruipen dan in de rol van politieagent, officier van justitie, advocaat of rechter. Ze krijgen tijdens het kijken vragen voorgeschoteld, die ze moeten beantwoorden voordat de video verder gaat. Deze video is al drie jaar gebruikt en is, volgens de betrokken docent die ook in de zaal zat, een succes, vooral omdat de game echt geïntegreerd is in het onderwijs. De scènes die studenten bekijken staan niet op zichzelf, maar zijn gekoppeld aan de leerstof die in de betreffende week in de colleges wordt behandeld. Bovendien is er wekelijks een virtuele klas waar wordt doorgepraat naar aanleiding van de aflevering van die week. Het geeft studenten de gelegenheid vragen te stellen en de gebeurtenissen uit de game daadwerkelijk te koppelen aan de leerstof. De conclusie van de aanwezige docent was dan ook dat de game motiveert, dat het studenten enthousiast heeft gemaakt over strafrecht, wat daarvoor volgens haar vaak als taaie leerstof werd ervaren. Of deze game daadwerkelijk invloed heeft op de prestaties in tentamencijfers, is nog niet onderzocht.
In deze parallelsessie stond lopend onderzoek veel minder centraal dan in de vorige workshop. Wel kwam Ackermans met heel praktische tips, waar ik direct iets aan heb. Zo kende ik de website h5p.org nog niet. Ik vind het interessant dat er inmiddels een website is waar je gratis interactieve video’s kan maken en ben dan ook van plan om de mogelijkheden hiervan voor mijn eigen e-learningvideo’s te onderzoeken. Voor de rest inspireerde deze workshop me minder, omdat het voor mijn gevoel vrij oppervlakkig bleef; het ging vooral over heel praktische toepassingen, maar minder over onderzoek naar wat wel en niet werkt. Ik had meer diepgang verwacht, nadat ik de publicatie van Ackermans over video had gelezen (Ackermans et al., 2019). Daarin beargumenteert hij dat video een goede aanvulling is bij tekstuele rubrics als het gaat om het aanleren van complexe vaardigheden. Hoewel hij dit in zijn lezing wel even aanstipte, ging hij hier verder weinig op in. Jammer, omdat ik denk dat er in het onderwijs nog veel te veel tekstueel wordt gewerkt, met een video hooguit als aanvulling, maar vrijwel nooit als vervanging. In zijn lezing verwees Ackermans wel naar een aantal onderzoeken, maar dat ging zo snel, dat ik juist de resultaten ervan niet kon volgen. Een deel heb ik nog wel opgezocht, daaruit heb ik nog wat praktische richtlijnen voor mezelf kunnen destilleren. Zo verwijst hij naar de posterpresentatie van drs. Mariëtte Bliekendaal tijdens de lunch van de conferentie. Zij toonde aan dat functionele handgebaren effectief kunnen zijn bij het leren van een instructievideo, mits de lerende de gebaren als natuurlijk vindt overkomen (Bliekendaal, 2022). Ook liet hij zien dat verschillende onderzoeken hebben geleid naar een meta-analyse over de retentie van educatieve video’s, waaruit blijkt dat educatieve video’s met name voor een langere retentie zorgen als ze meerdere keren worden bekeken. Dit ging echter om een scriptie van Björn Vandevelde, die niet terug te vinden is. Ik heb deze resultaten dus niet verder kunnen nakijken.
Uit de praktijk: Leesvaardigheid verbeteren met eye-tracking
De laatste lezing was van de Duitse schooldirecteur Matthias Böhm. Hij liet zien hoe de school waar hij werkt eye-tracking inzet om de leesvaardigheid van zwakke lezers te verbeteren. Dit project ontstond omdat er op zijn school relatief veel slechte lezers bleken te zijn in de 4e graad (9 – 10-jarigen): maar liefst 32,2 procent haalt niet de norm voor leesvaardigheid. Normaal gesproken is dat ongeveer 10 procent. De andere 20 procent zou volgens Böhm te verbeteren moeten zijn. De oorzaken voor leesproblemen kunnen in drie domeinen liggen, volgens het Componential Model for Reading (Aaron et al., 2008): het cognitieve domein (woordherkenning en begrip), het psychologische domein (motivatie en interesse, leraarverwachting, genderverschillen en aangeleerde hulpeloosheid) en het ecologische domein (thuissituatie, betrokkenheid van ouders, klassenomgeving, dialect en orthografie). Het eerste domein is het gemakkelijkst te beïnvloeden met behulp van oefening en training, het derde het moeilijkst. De cognitieve componenten blijken 40-80% van de variatie in leesvaardigheid te verklaren. Het ligt dus voor de hand om vooral op dat domein in te zetten om leesvaardigheid te verbeteren.
De school waar Böhm werkt is een school voor leerlingen van 10 – 17 jaar. In totaal zijn er zo’n 600 leerlingen. Alle vijfde-graders krijgen een leesscreening (10 – 11-jarigen). Dit is een schriftelijke test van zo’n 20 minuten. Op basis van deze tekst worden de zwakke lezers geselecteerd. De 10-20% zwaktste lezers krijgen vervolgens een uitgebreider onderzoek. De leerlingen doen een leestest waarbij met eye-tracking de oogbewegingen gevolgd worden, en een psychologische leestest. Böhm gaat niet in op deze laatste test, omdat deze geen rol speelt bij het verhaal over eye-tracking. Met behulp van deze tests kan een diagnose gesteld worden: er wordt vastgesteld met welke aspecten van lezen een leerling vooral moeite heeft. Op basis daarvan krijgt de leerling een oefenprogramma waar hij thuis of na schooltijd op school – onder begeleiding van ouders of een leerkracht – mee aan het werk gaat. Het gaat hierbij om simpele leesoefeningen, bijvoorbeeld in een powerpoint. Na zes maanden doen de leerlingen opnieuw een test om te zien hoe hun prestaties zijn verbeterd. Böhm liet het effect van het programma zien: waar de gemiddelde leerling 13% beter is geworden in leessnelheid, is de groep zwakke lezers met 23% verbeterd.
Böhm toonde in zijn lezing veel meer details van het programma: de aspecten van lezen waarop getest wordt, en allerlei verschillende oefeningen die het leesniveau verbeteren. Ik was niet heel geïnteresseerd in de details van het leesprogramma, omdat ik me daar in mijn werk ook vrijwel niet mee bezig houdt. Wat mij interesseerde was de rol van eye-tracking hierbij. Ik vond het dan ook interessant dat Böhm een opname liet zien van vijf verschillende lezers, zodat je het verschil in lezen goed zag. Het is interessant dat uit zo’n opname zoveel informatie gehaald kan worden. Wel vroeg ik me af of dit ook op andere scholen haalbaar zou zijn. Dit werd ook al snel gevraagd in de zaal. Het eerlijke antwoord van Böhm: de apparatuur is prijzig, maar zeker wel de investering waard. Een groter obstakel is dat het arbeidsintensief is – anderhalf uur testen per leerling – en je de expertise in huis moet hebben om de tests goed te interpreteren. Dat hebben veel scholen niet. Böhm denkt dan ook dat het heel nuttig zou zijn om dit systeem op meer scholen te gaan gebruiken, maar dat het niet eenvoudig is om het daadwerkelijk te gaan implementeren.
Böhm gaf in deze lezing een mooi praktisch voorbeeld hoe je eye-tracking ook echt kunt inzetten voor leren. In feite maakt Böhm praktisch wat ik in publicaties al in theorie had gelezen (bijvoorbeeld in Luegi et al., 2011 en Paolazzi et al., 2021). Dat sprak mij enorm aan, ook al heb ik weinig met leesvaardigheid. Tegelijkertijd zie ik wel dat dit niet voor elke school haalbaar is, omdat het zo arbeidsintensief is en je voldoende experts binnen d eschool moet hebben op het gebied van eye-tracking. Ik zie er voor mijn werkpraktijk als onderwijsontwikkelaar en docent op de pabo niet direct praktische toepassingen in, maar vind het wel interessant om te weten dat deze manier van werken bestaat. De details van deze lezing over verschillende facetten van leesvaardigheid zijn bij mij niet blijven hangen omdat ik het niet interessant genoeg vond, maar een best practice als deze voegde voor mij wel echt wat toe aan de dag.
Geleerde lessen
De Trendsconferentie Leren in beeld brengen bracht me veel meer interessante informatie dan ik van tevoren had durven hopen. De onderwerpen die aan bod kwamen klopten goed met de aankondiging. Ik vond het vooral fijn dat het niet bleef bij een wetenschappelijk verhaal met een paar kleinschalige onderzoeken, maar dat de theorie werd afgewisseld met praktische voorbeelden. In eerdere conferenties die ik volgde, had ik soms moeite om kleinschalige onderzoeken te vertalen naar iets wat ik in mijn eigen werk zou kunnen gebruiken. In dit geval was dat helemaal niet moeilijk. De lezingen hingen goed samen: een theoretisch overzicht van de mogelijkheden voor onderwijsonderzoek als eerste lezing, dan een aantal praktische toepassingen en voorbeelden van lopend onderzoek in de parallelsessies en een best practice uit de onderwijspraktijk als afsluiting. Ook had ik het gevoel dat de informatie die we meekregen behoorlijk compleet was. In de literatuur die ik voorafgaand en na afloop heb gelezen, ben ik geen andere onderwerpen tegengekomen dan ik in de conferentie gehoord heb. Ook de inaugurele rede na afloop van de conferentie van Halszka Jarodzka, die is aangesteld als hoogleraar online instructieontwerp aan de Open Universiteit, kwam goed overeen met wat er op de conferentie is verteld. Ik heb haar rede niet meer opgenomen in deze conferentie omdat ik al veel te veel woorden had, maar doordat ook haar verhaal congruent was met wat ik de rest van de conferentie al hoorde en met de literatuur, denk ik dat deze conferentie een goed en compleet beeld heeft gegeven.
De twee leervragen die ik had zijn bij deze conferentie zeker beantwoord. Ik wilde graag een beeld krijgen van de rol van eye-tracking in onderwijsonderzoek. Die is veel groter dan ik op voorhand dacht, en is eigenlijk samen te vatten in een aantal deelaspecten: eye-tracking kan allereerst inzicht geven in wat werkt in onderwijs, door te onderzoeken waar de aandacht van lerenden naartoe wordt getrokken en wat afleidende facetten zijn (bijvoorbeeld in het onderzoek naar effectieve onderwijsvideo’s en multimediagebruik bij toetsing). Daarnaast kan het ingezet worden bij het ontwerpen van instructievideo’s om de aandacht van lerenden te trekken, door de oogbewegingen van een docent tijdens het inspreken van de video in beeld te brengen. Een derde toepassing is het gebruik van eye-tracking voor het leerproces: als diagnostisch middel zoals Böhm in zijn lezing liet zien, of als middel om lerenden zelf te laten zien hoe ze hun ogen gebruikt hebben tijdens een taak en zo metacognitieve reflectie te stimuleren. Daarnaast was ik op zoek naar praktische handvatten bij het ontwikkelen van lesmateriaal. Voor toetsen geldt dat ik me bewuster wil zijn van de principes die we kennen uit multimedia learning, zoals het vermijden van onnodig gebruik van afbeeldingen en de plaatsing van afbeeldingen (zo dicht mogelijk bij de relevante tekst). Ik ben nieuwsgierig in hoeverre deze principes inderdaad ook bij toetsing gelden en wil daarom het onderzoek van Kerckhoffs blijven volgen. Voor het maken van e-learningvideo’s geldt dat ik nog eens goed wil nadenken of ik zelf nog wel in beeld wil zijn, omdat blijkt dat een docent in beeld alleen maar afleidt, maar aan de andere kant wel motiverend kan werken (Ackermans et al., 2019), hoewel ik ook onderzoeken tegen ben gekomen waarin een gezicht juist wel effectief bleek (Van Gog et al., 2014). Ook wil ik meer werken met visuele cues, signalen zoals een gele stip die laten zien waar op dat moment over gesproken wordt; ik heb niet de middelen om dat met eye-tracking te doen, maar er zijn ook andere manieren om het deel van een afbeelding waarover gesproken wordt, in beeld te brengen. Dat kan ik zeker inzetten.
Naast dat mijn leervragen zijn beantwoord, ben ik ook enthousiast geworden van deze conferentie. Ik heb nog de ambitie om zelf onderwijsonderzoek te gaan doen binnen mijn werk, en wil uitzoeken in hoeverre eye-tracking daarbij een goed hulpmiddel kan zijn. Dat kan ik nu nog niet zeggen, omdat ik nog geen concreet onderzoeksonderwerp heb. Ik wil in de toekomst publicaties dan ook blijven volgen; ik zal onderzoekers als Tamara van Gog en de nieuwe hoogleraar Halszka Jarodzka dan ook zeker in de gaten blijven houden.
Bronnen
Aaron, P., Joshi, R. M., Gooden, R., & Bentum, K. E. (2008). Diagnosis and Treatment of Reading Disabilities Based on the Component Model of Reading. Journal of Learning Disabilities, 41(1), 67–84. https://doi.org/10.1177/0022219407310838
Ackermans, K., Rusman, E., Brand-Gruwel, S., & Specht, M. (2019). Solving instructional design dilemmas to develop a Video Enhanced Rubric with modeling examples to support mental model development of complex skills: the Viewbrics-project use case. Educational Technology Research and Development, 67(4), 983–1002. https://doi.org/10.1007/s11423-019-09668-1
Bliekendaal, M. (2022, 21 oktober). Gestures in a view: a Bayesian meta-analysis of the effects of teacher gestures in instructional videos on retention in higher-education students. [Posterpresentatie] Trendsconferentie Leren in beeld brengen, Heerlen. Geraadpleegd op 26 januari van https://youlearn.ou.nl/documents/359280964/359281255/Workshop_KevinAline.pdf/bf31b91c-13a8-3317-454d-6440a4520f38?t=1666877257533
Kostons, D., van Gog, T., & Paas, F. (2009). How do i do? Investigating effects of expertise and performance-process records on self-assessment. Applied Cognitive Psychology, 23(9), 1256–1265. https://doi.org/10.1002/acp.1528
Lindner, M. A. (2020). Representational and decorative pictures in science and mathematics tests: Do they make a difference? Learning and Instruction, 68, 101345. https://doi.org/10.1016/j.learninstruc.2020.101345
Luegi, P., Costa, A., & Faria, I. H. (2011). Using eye-tracking to detect reading difficulties. Journal of Eye Tracking, Visual Cognition and Emotion, 1, 41–49.
Mayer, R. E. (2009). Multimedia Learning (2nd ed.). Cambridge University Press.
Mayer, R. E. (2010). Unique contributions of eye-tracking research to the study of learning with graphics. Learning and Instruction, 20(2), 167–171. https://doi.org/10.1016/j.learninstruc.2009.02.012
Open Universiteit (Red.). (2022). Trendsconferentie: Leren in beeld brengen. https://www.ou.nl/en/-/trendsconferentie-leren-in-beeld-brengen
Paolazzi, C. L., Grillo, N., Cera, C., Karageorgou, F., Bullman, E., Chow, W. Y., & Santi, A. (2021). Eyetracking while reading passives: an event structure account of difficulty. Language, Cognition and Neuroscience, 37(2), 135–153. https://doi.org/10.1080/23273798.2021.1946108
Strohmaier, A. R., MacKay, K. J., Obersteiner, A., & Reiss, K. M. (2020). Eye-tracking methodology in mathematics education research: A systematic literature review. Educational Studies in Mathematics, 104(2), 147–200. https://doi.org/10.1007/s10649-020-09948-1
Van Gog, T., Paas, F., van Merriënboer, J. J. G., & Witte, P. (2005). Uncovering the Problem-Solving Process: Cued Retrospective Reporting Versus Concurrent and Retrospective Reporting. Journal of Experimental Psychology: Applied, 11(4), 237–244. https://doi.org/10.1037/1076-898x.11.4.237
Van Gog, T., & Scheiter, K. (2010). Eye tracking as a tool to study and enhance multimedia learning. Learning and Instruction, 20(2), 95–99. https://doi.org/10.1016/j.learninstruc.2009.02.009
Van Gog, T., Verveer, I., & Verveer, L. (2014). Learning from video modeling examples: Effects of seeing the human model’s face. Computers and Education, 72, 323-327. https://doi.org/10.1016/j.compedu.2013.12.004
Van Marlen, T., van Wermeskerken, M., Jarodzka, H., & van Gog, T. (2018). Effectiveness of eye movement modeling examples in problem solving: The role of verbal ambiguity and prior knowledge. Learning and Instruction, 58, 274–283. https://doi.org/10.1016/j.learninstruc.2018.07.005
