‘Wetenschappelijk bekeken: deze 6 problemen doen het centraal aanmeldsysteem de das om’

Wouter Rogiest van de UGent houdt het aanmeldsysteem voor het onderwijs tegen het licht. Hij ziet zes problemen die opgelost moeten worden om te vermijden dat er volgend jaar niet opnieuw problemen opduiken.

Er is al veel inkt gevloeid over het aanmeldsysteem voor het middelbaar. Op 2 maart was het aan Gent, komende vrijdag (23 maart) is Antwerpen aan de beurt. De resultaten in Gent liegen er niet om: er is iets grondig mis met het aanmeldsysteem. Alle reden om het systeem eens met de bril van een wetenschapper te bekijken. We treffen niet minder dan 6 problemen aan, die samen zorgen dat het systeem dringend compleet herzien moet worden, zodat het ons straks of volgend jaar niet terug liggen heeft.

De politiek had gesproken: schoolkamperen moet verleden tijd zijn, een algoritme moet alles oplossen. Utopisch?

De getuigenissen, we hebben ze gehoord. Tweelingen die uit elkaar getrokken worden, kinderen met autisme die plots twee uur van huis verwijderd zitten met hun toegewezen school, en nog steeds meer dan honderd (!) kinderen in Gent die geen enkele school toegewezen kregen. Ronduit choquerend.

Was het politieke druk of gewoon een berg van goede bedoelingen zonder gezond verstand, het resultaat is hetzelfde: een ramp. Als gevolg van gebreken van het systeem, dat is zeker, maar ook door een politieke dwarsboom, want die dubbele contingentering, hoe nobel ook in theorie, zit ferm in de weg. Ik identificeerde 6 problemen.

1. De tweede en derde keus leiden tot een verkeerd optimalisatiedoel

Het algoritme van het aanmeldsysteem laat toe om een tweede, derde en zelfs verdere schoolkeuze op te geven. Zoiets klinkt, naïef beschouwd, helemaal niet zo een slecht idee. We weten dat er een capaciteitsprobleem is in Gent, en we willen kinderen die hun eerste keus niet krijgen niet in de kou laten staan. Klinkt juist. Of toch niet?

Over algoritmes is te weten dat zij met een ijzeren logica te werk gaan. Een algoritme houdt geen rekening met wat het niet weet, en dit geldt ook voor het aanmeldsysteem. Als er niet geweten is dat het kind tot een tweeling behoort, dan kan het algoritme daar geen rekening mee houden. Het algoritme kan dan onmogelijk voorkomen dat tweelingen uiteen gehaald worden. Ook krijgt het algoritme geen enkele hoogte van concrete wensen van het kind. Of het kind per se een bepaalde school wenst, of integendeel vooral bezorgd is of zijn beste vriend of vriendin meekomt, daar heeft het algoritme het raden naar. Tenzij je het aan het algoritme vertelt.

Waar kan het algoritme dan wel rekening mee houden? Een cruciale vraag. Het is niet moeilijk om een algoritme te bedenken als er maar één voorkeur is. Eenvoudig eigenlijk. Maar zodra er een tweede school als alternatief opduikt, gebeurt er iets merkwaardig: het algoritme dat nodig is valt buiten de leerstof van de gemiddelde technische opleiding, en behoort doorgaans zelfs niet tot het curriculum van de betere ingenieursopleiding. Het is een geavanceerd optimalisatieprobleem.

Gaan we even kort in op het geval met maar één voorkeur per kind. Laten we onze verbeelding de vrije loop, dan komen we bijvoorbeeld tot het volgende algoritme, waarbij elk kind in een eerste ronde precies één voorkeursschool opgeeft. Het systeem ontvangt de voorkeuren, doet de check en wijst toe. Voor scholen met minder vraag dan aanbod geraken alle kinderen ingeschreven. Simpel. In scholen waar er niet genoeg capaciteit is wordt er opnieuw nagedacht. Daar kan een stukje van de plaatsen reeds uitgedeeld worden door lottrekking, of kan de school ervoor kiezen om nog geen enkele plaats uit te delen. De overige plaatsen worden dan verdeeld in een tweede ronde, en liefst in overleg met de kinderen en hun ouders. Het liefst maken de scholen voor de aanvang van de tweede ronde het aantal nog beschikbare plaatsen bekend, want dat zou ouders en kinderen toelaten om meer bezonnen te kiezen. En desnoods, als het moet, te gaan schoolkamperen voor de school, omdat het hun kind is. Maar zo is het dus niet gegaan.

Terug naar het aanmeldsysteem, met een tweede en desnoods verdere schoolkeuzes. Een dergelijk optimalisatieprobleem gaat gepaard met een optimalisiedoel. In het geval van een algoritme waar kinderen enkel een eerste keuze school opgeven, is er niet veel om te optimaliseren, want iedereen wil natuurlijk zijn eerste en enige keuze. Dus het aantal kinderen dat zijn eerste keuze krijgt is niet vatbaar voor optimalisatie. Als kinderen twee of meer keuzes moeten opgeven, dan verandert er iets fundamenteels: het is niet meer geweten hoe wenselijk de eerste, tweede of derde keuze eigenlijk is. Men kan de ouders en kinderen vragen in welke mate ze een school verkiezen met behulp van gewichten, door bv. 10 punten te verdelen over de scholen van keuze, met bijvoorbeeld 7 punten voor de eerste school, 2 punten voor de tweede school en 1 punt voor de derde school. Men kan dan als optimalisatiedoel stellen dat er zoveel mogelijk punten over alle kinderen heen “behaald” worden, en van een succes spreken als dit puntenaantal hoog ligt. Maar van een dergelijk optimalisatiedoel is geen spoor in het algoritme van het aanmeldsysteem. Dan rijst de vraag met welk doel het algoritme eigenlijk aan het optimaliseren is?

En dat is nu net waar het schoentje knelt: bij het aanmeldsysteem is opgeroepen om zoveel mogelijk scholen in te vullen, en dus behalve een tweede keus ook nog een derde, vierde en liefst ook nog vijfde en zesde keus in te vullen. Het optimalisatiedoel is dus een complexe mix van wensen, die beoogt om zoveel mogelijk mensen een zogenaamde “school van keuze” toewijzen.

Dit klinkt ook door in de manier waarop de resultaten in Gent naar buiten gebracht zijn: “96% van de mensen heeft de school van zijn keuze gekregen, waarvan 87% de school van de eerste keuze”. Die 96% is echter inhoudsloos, omdat velen van de gedupeerden net in grote groep van 9% zitten die wel een school toegewezen kregen maar niet hun eerste keuze. Het meer belangrijke cijfer is dus 87%, al schijnt dit ook onterecht optimistisch te zijn, omdat de broers en zussen van leerlingen en kinderen van personeelsleden, die sowieso een plaats krijgen, hier ook zouden in verrekend zijn. Maar de tendens is duidelijk. Wie de lijn doortrekt, bekomt het limietgeval waarin voor elk kind alle scholen aangevinkt staan. Het algoritme doet zijn ding, 100% heeft de school van zijn keuze gekregen, en één of andere lage fractie, nog lager dan 87%, krijgt dan zijn school van eerste keuze.

En nu komt de kat op het koord. Het algoritme is helemaal niet gemaakt om kinderen hun school van eerste keuze te geven, het is meer geschikt om iedereen zo veel mogelijk een school toe te kennen, desnoods van laatste keuze. Wie zat eigenlijk te wachten op dit experiment? Alvast niet de ouders met wie ik sprak. Want wat is de reële waarde van de tweede keuze of derde keuze, als het algoritme niet eens in staat is om gewichten in rekening te brengen? Zijn er überhaupt kinderen of ouders die daar blij van worden? In de eerste schoolkeuze zit zoveel informatie vervat, die we niet uitgedrukt krijgen in het algoritme: de nabijheid van de woonplaats van de grootouders, dat precieze leerprogramma dat op geen enkele andere school wordt aangeboden, enzovoort.

Die eerste keuze is voor velen heilig. Maar dat is nu net de keuze die het algoritme zoveel als mogelijk met de voeten treedt, om toch maar zoveel mogelijk kinderen een school toe te wijzen, en het percentage mensen met “een school van keuze” verder op te drijven. En zo slaagt het aanmeldsysteem erin om in Gent “beter” te presteren dan zijn tegenhanger in Brussel, omdat het Brusselse aanmeldsysteem, met een ander algoritme, een stuk meer leerlingen deed eindigen zonder ticket. Helaas een pyrrusoverwinning, want er werden wel veel tickets uitgedeeld in Gent, maar al te vaak de verkeerde.

2. Het algoritme probeert het aantal mensen die beroep kunnen aantekenen te maximaliseren

En dat is niet het enige kwaad met tweede en derde keuzes, ze zijn bovendien juridisch ongewenst. Want heeft elkeen die het verkeerde ticket kreeg niet het recht om tegen die beslissing in beroep te gaan? Wat is het aanmeldsysteem anders dan een verzamelpot van verzoekschriften, waarop voor elk kind staat naar welke school zij willen gaan? En is elk antwoord dat geen toekenning is van de eerste keuze van school niet per definitie een verwerping van het verzoek, waartegen beroep kan aangetekend worden? Het is verder ook zeer de vraag of dergelijk juridische twist moet opgelost worden ter hoogte van het aanmeldsysteem, want naar ons aanvoelen zou dit een aangelegenheid tussen de school en de betrokkenen moeten zijn.

In dit licht heeft het aanmeldsysteem dus wel een heel vreemde modus operandi, waarin het de verzoekschriften zodanig behandelt dat het aandeel van ouders en kinderen dat niet zijn eerste keuze krijgt als het ware maximaliseert. In dat opzicht probeert het algoritme dus het aantal mensen die beroep kunnen aantekenen te maximaliseren. Gelukkig niet letterlijk, want niemand zijn eerste keuze geven, dat zou nog erger zijn, en daar bestaat allicht ook een algoritme voor. Maar dat doet hier niet ter zake.

3. Het algoritme is gebrekkig geprogrammeerd

En dan is er nog een verontrustend element opgedoken sinds de trekking plaatsvond. Want hoe is het te rijmen dat het ene kind school X wil en school Y krijgt, terwijl het andere kind school Y wil en school X krijgt? In Gent zijn niet minder dan 28 dergelijke gevallen vastgesteld, met dus 56 kinderen betrokken. met bovendien een verbod op ruilen, omdat “voorbijsteken” niet mag.

Nader bekeken stellen wij echter vast dat dit helemaal niet gaat om voorbijsteken. En of ruilen kan of niet is eigenlijk een geheel aparte kwestie. Het gaat hier wel om een teken aan de wand dat het algoritme verkeerd geprogrammeerd is. Een pure fout in de programmering, niet meer, niet minder. Een grove vergetelheid ter hoogte van de laatste stap van het algoritme, die allesbehalve geruststellend is, en de vraag doet rijzen of de andere stappen in het algoritme wel correct geprogrammeerd zijn.

4. Wie geen “ticket” krijgt, valt uit de boot

Wie van het aanmeldsysteem geen school toegewezen krijgt, blijft sowieso verweesd achter. Geen school, dus dan maar zelf op zoek? Blijkbaar is dat ook het opzet, want wie geen school toebedeeld krijgt, moet weer van voor af aan beginnen. Alsof er nooit een aanmelding geweest is. U leest het goed: mensen die bij de loterij uit de boot vielen, krijgen geen enkele voorrang op mensen die nog nooit ingetekend hadden. Hier moet vast en zeker een betere oplossing voor zijn?

5. De dubbele contingentering maakt het tekort nog (veel) nijpender

En dan zijn er nog problemen waar het aanmeldsysteem niet kan aan helpen, maar die de taak van het aanmeldsysteem serieus bemoeilijken: de dubbele contingentering. Er wordt een aparte lijst bijgehouden voor indicatorleerlingen en niet-indicatorleerlingen. Opnieuw een nobel idee, maar aan systeemtechnische overwegingen is niet voldoende gedacht. Door aparte contingenten bij te houden, creëert men een kunstmatig tussenschot, waardoor aparte bottlenecks kunnen ontstaan op ofwel de ene of de andere lijst.

En dat is wel degelijk nefast voor de aanmelding, met veel meer kans op capaciteitstekort op één van beide lijsten dan indien er een enkele lijst zou zijn. Dit is overigens hetzelfde capaciteitstekort dat optreedt doordat toiletten gescheiden zijn in plaats van genderneutraal, zoals toegelicht in dit college voor de Universiteit van Vlaanderen.. Dit kan bijvoorbeeld opgelost worden door op te houden met aparte lijsten te werken, en gewoon terug te vallen op de willekeurig gespreide verdeling van de bevolking: als het bij bv. 30% van de personen die zich aanmelden gaat om indicatorleerlingen, dan zal een willekeurige trekking ook met goede benadering dat aandeel van 30% vertonen. (Met dank aan Nicolaas Lumen voor dit voorbeeld.)

Ook zou er in de toewijzing gewoon een grotere statistische kans kunnen gegeven worden aan indicatorleerlingen bij de trekking, indien deze ondervertegenwoordigd zouden zijn in de groep die zich aanmeldt. Die laatste oplossing is mogelijks nog eleganter. Allemaal alternatieven die niet leiden tot de nefaste toename van capaciteitsproblemen, zoals dit nu het geval is. Het is moeilijk om het precieze aandeel van de dubbele contingentering in het capaciteitsprobleem af te schatten, en om dit verder te preciseren is eigenlijk een aparte simulatie nodig, die alle factoren tegelijk in rekening brengt. Wel weten we uit onze studie van genderneutrale toiletten dat dit in gangbare scenario’s meer dan 10% of zelfs 20% toename van het capaciteitsprobleem kan veroorzaken. En dat kan nijpen.

6. De check voor indicatorleerlingen zit scheef

En dan is er nog het debat van indicatorleerlingen: wie aanmeldt als indicatorleerling, kan aanmelden op een aparte, typisch minder drukke lijst, met dan ook betere kansen om in te schrijven in de school van eerste keuze. Een kind wordt als indicatorleerling omschreven als ofwel het gezin in het schooljaar van of voor de inschrijving minstens één schooltoelage van de Vlaamse Gemeenschap heeft gekregen, ofwel de moeder niet in het bezit is van een diploma of getuigschrift secundair onderwijs.

Bij dit laatste gaat het jeuken, want is het niet geweten dat het erkennen van buitenlandse diploma’s uit niet-Europese landen in België administratief een zware dobber is? Stel bijvoorbeeld dat een moeder al maanden geen erkenning krijgt van haar diploma in België. Kunnen wij dan van haar verwachten dat ze verklaringen over dat niet-erkend diploma begint af te leggen, als dit in het nadeel van haar eigen kind is? En als haar diploma niet erkend is, ook al heeft ze een diploma, is haar kind dan niet per definitie een indicatorleerling? Een moeilijk punt.

En kom ik hierboven tot de zes voornaamste problemen, het zijn er her en der nog meer. Van dhr. Guy Dalcq, algemeen directeur van het Sint-Barbaracollege in Gent, verneem ik nog twee verdere zorgen. Zo zou het aanmeldsysteem het aantal indicatorleerlingen rechtvaardiger over verschillende scholen moeten spreiden, maar lijkt dit op de eigen school niet het geval, met zelfs een daling van het aantal indicatorleerlingen. Hoe het op dat vlak zit op de andere scholen moet nog blijken. En dan is er nog het pijnlijke gegeven dat leerlingen van de eigen basisschool geen voorrang krijgen, omdat de herhaaldelijke aanvraag van de school om een campusschool te mogen vormen tot nog toe niet gehoord is.

Straks Antwerpen, dan genadeloos terug Gent?

Soit. Het aanmeldsysteem is zeer gebrekkig, maakt van inschrijven een pijnlijke ervaring, en in combinatie met de dubbele contingentering wordt het capaciteitstekort des te nijpender. Of het aanmeldsysteem, met al haar gebreken, voldoende presteert om op vrijdag 23 maart de Antwerpenaren te overtuigen? Dat zal vooral afhangen van het reële capaciteitstekort. Want als er geen tekort zou blijken, dan kan zelfs dit gebrekkige aanmeldsysteem de klus succesvol klaren.

Wat wel zeker is, is dat het systeem in Gent eerder deze maand genadeloos heeft geklunsd. En dat het dat, bij een volgende stress-test in Gent in 2019, als er niets verandert, opnieuw zal doen. Het is de hoogste tijd voor actie.

Prof. dr. ir. Wouter Rogiest is onderzoeker aan de Universiteit Gent met specialisatie in ICT en wachtlijntheorie. Daarnaast is hij patent adviser bij brantsandpatents. Hij publiceerde al eerder over wachtrijen met maatschappelijk belang bij Knack, en ook bij Eos Wetenschap.