Data science in het onderwijs

Hoeveel data heb je nodig?

Het goede nieuws is dat een middelbare school heel veel data verzamelt tijdens het verblijf van een leerling: de eindtoets en het advies van de basisschool, repetitie- en rapportcijfers, gegevens over zittenblijven, verzuimcijfers, wel of geen diploma. Scholen kunnen al deze data gebruiken als hefboom voor goed onderbouwde adviezen die het vertrouwen genieten van leerlingen en ouders. Hoe? Binnen de context van een continu verbeterende, datagedreven organisatie.

Er zijn regelmatig cruciale keuzemomenten. Wat is het advies na de brugklas: havo of vwo? Wiskunde A of B aan het einde van klas 3? Is het gekozen profiel een goede keuze met het oog op de arbeidsmarkt? Naast de inschatting van de docenten moeten zulke adviezen zoveel mogelijk gebaseerd zijn op feiten, op harde data, en bij voorkeur op zoveel mogelijk data.

Datagedreven werken in het onderwijs

Datagedreven werken in het onderwijs houdt in dat je dagelijks meer inzicht en kennis verwerft en meer gefundeerde beslissingen neemt op basis van betrouwbare data.

Feiten uit de school worden verzameld als data (repetitiecijfers bijvoorbeeld), geanalyseerd en omgezet in informatie (zoals samenvattende scores). Samen met onderwijskennis en de juiste interpretatie ontstaan bruikbare inzichten, op basis waarvan een zo geïnformeerd mogelijke beslissing over verbeteringen wordt genomen. Je stuurt niet meer alleen op onderbuikgevoel of meningen.

De PDCA-cyclus in het onderwijs

Nauw verbonden met datagedreven werken is het continu verbeteren van je processen met de PDCA-cyclus (Plan-Do-Check-Act), ontwikkeld door W. Edwards Deming. De vier activiteiten zorgen uiteindelijk voor een betere kwaliteit, en het cyclische karakter garandeert dat kwaliteitsverbetering onder de aandacht blijft:

• Plan: kijk naar de huidige werkzaamheden, ontwerp een verbeterplan en stel doelstellingen vast.
• Do: voer de geplande verbetering uit in een gecontroleerde proefopstelling.
• Check: meet het resultaat, vergelijk het met de oorspronkelijke situatie en toets het aan de doelstellingen.
• Act: stel bij aan de hand van de gevonden resultaten.

Voorbeeld 1: advies wiskunde A of B

Vwo-leerlingen moeten in klas 3 kiezen tussen wiskunde A en B. Die keuze hangt af van de beoogde vervolgstudie, maar ook van de capaciteiten en motivatie van de leerling. En dan zijn er ouders die denken dat wiskunde B beter of verstandiger is en soms extreme druk uitoefenen. De praktijk laat een voorkeur voor wiskunde B zien, en dat houdt een risico in: een leerling die ten onrechte B koos en terug moet naar A (een ‘overstapper’) moet veel stof inhalen, wat lastig blijkt. Een goed onderbouwd advies helpt om de juiste keuze te maken.

Supervised learning: de kans op succes voorspellen

Wat we willen is gedurende klas 3 regelmatig de kans op succes met wiskunde B voorspellen, zodat docent en leerling continu feedback krijgen en tijdig kunnen bijsturen. Het model valt binnen machine learning, specifiek supervised learning: het wordt getraind op historische data. Van leerlingen die in klas 3 wiskunde B kozen en klas 4 hebben afgerond verzamelen we:

• rapport- en repetitiecijfers wiskunde van klas 1, 2 en 3;
• leerlinggegevens zoals verzuim;
• de overstapgegevens uit klas 4: moest de leerling terug naar wiskunde A?

Het model krijgt dus inputdata met de bijbehorende uitkomst, en het leeralgoritme zoekt naar relevante voorspellers. In een praktijkcase op een gymnasium was de kans op overstappen van B naar A in klas 4 goed te voorspellen met de eindrapportcijfers wiskunde van klas 1 en 2 en de cijfers van negen repetities in klas 3 over onderwerpen die relevant zijn voor wiskunde B. Het eerste voorspelmoment is na de eerste repetitie in klas 3, als er nog maar drie voorspellers bekend zijn. De betrouwbaarheid is dan nog niet hoog; ze neemt toe naarmate er meer cijfers bekend zijn. Omdat het aantal voorspellers per moment groeit, worden er in totaal negen modellen gemaakt.

Discriminantanalyse

Het gebruikte algoritme is discriminantanalyse, dat goed onderscheid maakt tussen categorieën, hier wiskunde A en B. Voor elk voorspelmoment geeft het model een advies (B of A) met een probabiliteit, een maat voor de betrouwbaarheid. Voor een fictieve leerling is de eerste voorspelling in klas 3 wiskunde B met een probabiliteit van 0,75; daarna verandert het advies naar wiskunde A en gaat de probabiliteit voor B gedurende het jaar richting 0. De docent kan deze informatie gebruiken om de keuze met de leerling te bespreken. Let op: dit is geen trend in een tijdreeks, maar een reeks voorspellingen op basis van specifieke repetitiecijfers en andere kenmerken.

Leerlingvolgsysteem versus leerlingvoorspelsysteem

Het voorspelsysteem vult het volgsysteem aan.

Het adviesproces verbeteren met PDCA

• Plan: het huidige percentage overstappers is 10% en volgend schooljaar wil je dit terugbrengen naar 5%.
• Do: je houdt vaker voorlichtingssessies over de verschillen tussen wiskunde A en B en geeft gedetailleerd aan voor welke universitaire studies wiskunde B verplicht is.
• Check: aan het einde van het schooljaar evalueer je: hebben de sessies geholpen? Welke feedback gaven leerlingen? Had het voorspelmodel toegevoegde waarde, en klopt het advies met je eigen beeld van de leerling?
• Act: je breidt het voorlichtingsprogramma uit en vult na een jaar het model aan met de nieuwe data, zodat het nog beter voorspelt.

Voorbeeld 2: wiskunderesultaten in klas 4 voorspellen en verbeteren

Los van de keuze is het nuttig om tijdens klas 3 een prognose te geven van de resultaten in klas 4. Het hier gekozen model is multipele regressie: een numerieke waarde (het eindrapportcijfer wiskunde in klas 4) wordt voorspeld uit meerdere voorspellers. Uit vooronderzoek kwamen twaalf repetities in klas 1, 2 en 3 naar voren met voorspellende waarde. Elk repetitiecijfer is een aparte voorspeller, omdat de lesstof per repetitie anders is; repetitiecijfers zijn dus veel specifieker dan rapportcijfers. Zaken als verzuim worden als voorspeller toegevoegd. De prognose heeft een betrouwbaarheidsinterval dat smaller wordt naarmate de overgang naar klas 4 nadert: aan het begin van klas 3 kan het voorspelde cijfer een 7 zijn met een interval tussen 5 en 9.

De PDCA-aanpak helpt ook om de cijfers zelf te verbeteren. Plan: het huidige percentage onvoldoendes is 10% en je wilt dit terugbrengen naar 5%. Do: je experimenteert met extra schriftelijke overhoringen in een parallelklas. Check: je vergelijkt de cijfers met een statistische toets. Act: bij positieve resultaten voer je de extra overhoringen in alle klassen in. Zo kun je eindeloos experimenteren met oefeningen, projecten en lesduur.

Waar te beginnen: het laaghangende fruit

Wil je anders gaan werken, dan is het verstandig met kleine stappen te beginnen, een geschikt project te kiezen en met een enthousiast team aan de slag te gaan: een evolutionaire aanpak van evidence-based verbeteren. Laaghangend fruit betekent dat je een bekend probleem kiest, het proces verbetert en tegelijk de organisatie erbij betrekt en enthousiast maakt.

Conclusie

Data science kan een belangrijke bijdrage leveren aan scholen die meer datagedreven willen werken. Vooral supervised learning en multipele regressiemodellen bieden grote voorspellende waarde voor de toekomstige prestaties van leerlingen. Een betere onderbouwing verhoogt de kwaliteit van adviezen, en dat is goed voor leerlingen, docenten, scholen en niet in de laatste plaats de gemoedsrust van ouders.

Verder lezen

• Data science
• Machine learning
• PDCA-cyclus
• Blog: Intelligent forecasten

Over de auteur

Herman van Dellen is een zeer ervaren data scientist die zijn kennis van machine learning en statistiek al jarenlang inzet bij organisaties, op terreinen als CRM, BI, datawarehousing en ETL. Daarnaast heeft hij ervaring met Python en diverse cloudplatforms.

Over Diamond Decisions

Diamond Decisions helpt organisaties beter te worden door betere beslissingen mogelijk te maken. We starten niet bij data, dashboards of AI, maar bij de beslissing die beter moet, en bouwen van daaruit terug naar KPI’s, data en technologie. Dat doen we in vier stappen: inspiratie en alignment, business modeling, analytics en dataplatform en datagedreven beslissers. Zo zorgen we dat BI en AI geen IT-project blijven, maar elke dag waarde opleveren.