Het artikel gaat hieronder verder.
Met meer dan 12 miljoen bezoekers en ruim 300.000 sollicitaties per jaar is Werken voor Nederland (zeer waarschijnlijk) de grootste corporate recruitmentsite en het grootste niet-commerciële carrièreplatform van Nederland. Die schaal is ook de reden dat het team niet alleen bezig is met kleine verbeteringen aan de bestaande site, maar werkt aan een bredere visie. ‘We willen uiteindelijk één opportunity marketplace worden voor de hele Rijksoverheid’, aldus senior employer branding strateeg en projectleider Bart Schoevaars. Waarbij het uitgangspunt volgens hem steeds hetzelfde is: staat de kandidaat centraal?
‘Voorheen vonden bezoekers hun informatie vaak niet, terwijl die wel degelijk op de site stond.’
Met dat uitgangspunt in het achterhoofd is ook de slimme A.I.-zoekmachine ontwikkeld, die sinds kort op de site draait, legt hij uit. ‘De huidige zoekfunctie op de sites was niet effectief genoeg, merkten we. Mensen vonden hun informatie vaak niet, terwijl die wel degelijk op de site stond, en de platte zoekmachine leverde onvoldoende resultaten. Er was dus echt een behoefte aan een systeem dat die vragen sneller en beter kan beantwoorden.’
RAG-model
Toen de eerste versies van ChatGPT 3 jaar geleden doorbraken, zag hij al snel de mogelijke potentie om dit voor de kandidaat te verbeteren. Met uiteindelijk dus de zoekmachine aan wie nu iedere bezoeker vragen kan stellen. Daaronder ligt overigens geen ‘gewoon’ LLM, maar een zogeheten Retrieval Augmented Generation–systeem, of RAG: een A.I.-model dat uitsluitend put uit de content van Werken voor Nederland zelf, en niet uit het bredere internet. ‘Zo kunnen we betrouwbaarheid en herleidbaarheid garanderen’, benadrukt Schoevaars. ‘Anders krijg je te maken met verouderde of onjuiste informatie, en dat wilden we absoluut niet.’
‘Wij wilden alleen onze eigen, betrouwbare content als bron.’
De keuze heeft ook een ‘keerzijde’ die volgens Schoevaars juist waardevol blijkt. ‘Als een kandidaat een vraag stelt waarover geen content op de site staat, geeft de tool dat eerlijk aan in plaats van iets te verzinnen of te hallucineren. Dat geeft ons inzicht in waar de behoefte van de kandidaat ligt. Dat kun je zelf niet altijd bedenken.’
Alarmbellen
Waarschijnlijk heeft de Rijksoverheid met het RAG-A.I.-model op de site een primeur in Nederland. Dat is ook wel eens mooi, zegt Schoevaars lachend. ‘Als het gaat om innovatie, kan de Rijksoverheid niet altijd vooroplopen. Als het bij ons misgaat, staat dat breed uitgemeten in de krant. We moeten daarom zorgvuldig te werk gaan, en zorgen dat het technisch en ethisch verantwoord is. Veiligheid is topprioriteit, dus alle risico’s moesten we goed afwegen.’
‘Veiligheid is topprioriteit, dus alle risico’s moesten we goed afwegen.’
Volgens hem waren er uiteindelijk dan ook ‘ontzettend veel stakeholders’ bij betrokken, die aanvankelijk vrijwel allemaal huiverig waren. ‘Zodra er ergens een A.I.-labeltje op zit, gaan er binnen de overheid alle alarmbellen af. Dan moet je ze overtuigen.’
Ethical hacker
Maar inmiddels zijn alle DPIA’s en IAMA’s doorlopen, vertelt hij trots, en door goede samenwerking vanuit de verschillende disciplines is het uiteindelijk dus gelukt. Ook werd een ethical hacker ingehuurd om te proberen het systeem te kraken. ‘Daar kwam niets noemenswaardigs uit, en de kleine dingen die hem wel lukten, zijn meteen opgelost.’
‘Het hele systeem draait op informatie die al openbaar was. Het is nu alleen veel toegankelijker geworden.’
En na ook nog een half jaar intern proefdraaien in een zogeheten sandbox-omgeving, kunnen vanaf half juni dit jaar dus ook alle potentiële sollicitanten van buiten vragen stellen aan het systeem. ‘Het hele systeem draait op informatie die al openbaar was. Het is nu alleen veel beter toegankelijk geworden’, aldus Schoevaars, die het een soort conversational A.I. noemt.
‘Vectorafstand berekend’
‘We zien in onze data dat mensen ook al via ChatGPT naar vacatures bij de Rijksoverheid zoeken’, legt hij verder uit. ‘Dit systeem is echter veel betrouwbaarder. Wij willen zeker weten dat de antwoorden komen uit content die wij zelf hebben gemaakt en waar we achter staan. En omdat dit systeem alleen maar gevoed wordt met informatie van de site, kunnen we dit ook garanderen.’

Als een kandidaat een vraag stelt, bepaalt de tool eerst de zogeheten ‘vectorafstand’ tussen de vraag en de beschikbare content, om zo het best passende stuk tekst als antwoord te geven. ‘Meer dan dat is het eigenlijk niet’, zegt Schoevaars. Elk antwoord bevat bovendien een bronvermelding, zodat kandidaten ook kunnen controleren waar de informatie vandaan komt. Persoonlijke informatie die iemand in een vraag typt, wordt automatisch verwijderd voordat die wordt opgeslagen, zegt hij. Wel houdt zijn team ‘sentiment’ en het type vragen bij, zodat bij eventuele klachten ook te herleiden is welke bronnen zijn geraadpleegd.
Tot 80% tevreden
Sinds de tool op 15 juni officieel live ging op WerkenvoorNederland zijn er al meer dan 4.500 vragen aan gesteld. ‘Tussen de 75% en 80% van de kandidaten is tevreden met het gekregen antwoord, al verschilt dat percentage wat per week’, aldus Schoevaars. ‘Zo’n 70% tot 80% van de vragen gaat over vacatures, en 5% tot 10% gaat over hoe iemand een open sollicitatie kan doen, informatie die per organisatie verschilt.’
Sinds de tool op 15 juni officieel live ging zijn er al meer dan 4.500 vragen aan gesteld.
Voor bijvoorbeeld interne mobiliteit en loopbaancoaching bleek de tool tijdens eerdere tests minder goede antwoorden te geven, ‘simpelweg omdat het model alleen openbare informatie mag gebruiken en die openbare informatie daar niet over gaat’.
Vragen.ai
De RAG-tool die momenteel wordt getest heet vragen.ai en is ontwikkeld door de Leidse leverancier SWIS. ‘Wij hebben deze gezamenlijk verder ingericht voor ons platform. We hebben het RAG-model ook getest met het eigen zogeheten VLAM-systeem (wat staat voor Veilige Lokale AI-Modellen), dat is ontwikkeld door SSC-ICT voor de Nederlandse Rijksoverheid.’
‘Het platform draait binnen een beveiligd overheidsdatacenter, op eigen servers, en maakt gebruik van open-source Europese taalmodellen (zoals die van Mistral AI of vergelijkbare alternatieven) om data binnen de landsgrenzen en onder eigen controle te houden. Ook dit gaf waardevolle informatie voor de toekomst’, aldus Schoevaars.
‘Mes snijdt aan 3 kanten’
De ‘normale’ zoekfunctie is nog niet verdwenen van de site, benadrukt hij. ‘We willen mensen niet tot een keuze dwingen om A.I. te gebruiken.’ Maar al met al noemt hij de nieuwe functie wel ‘een mes dat aan 3 kanten snijdt’. Zo wordt niet alleen de kandidaat veel sneller geholpen dan ooit, en levert het recruiters en hiring managers ook veel minder telefoontjes met basisvragen op. ‘Zij kunnen zich daardoor veel meer richten op de complexere of persoonlijkere vragen die een kandidaat heeft in een persoonlijk gesprek.’
‘We kregen voor onze content nog nooit eerder zo directe input.’
Maar het belangrijkste effect is nog wel: het team van Schoevaars ziet nu beter dan ooit waar de behoeften van kandidaten liggen, zodat ze de site daarmee verder kunnen verbeteren met content die antwoord geeft op de meest gestelde vragen. ‘Dat haalden we eerst vooral uit logisch nadenken, ervaring, interviews en data. Maar de input was nog nooit zo direct als we die nu krijgen.’
Meerwaarde
Eind oktober volgt de evaluatie. Daarna kijkt het team wat er verder mogelijk is, mogelijk samen met andere overheidsorganisaties die nu nog niet zijn aangesloten. ‘Ik denk dat dit voor veel organisaties wel een meerwaarde kan zijn. Je kunt kandidaten betrouwbare informatie aanbieden, op een natuurlijke wijze, en hopelijk sneller en beter antwoord geven op hun vragen dan ze ooit eerder hadden gekregen.’ Of het ook al extra sollicitaties oplevert? ‘Dat weten we niet. We weten niet welke vragenstellers solliciteren. Sollicitaties gaan ook naar de aangesloten organisaties zelf, daar hebben we geen zicht op. Maar we hopen het natuurlijk wel.’
‘Mensen blijven echt dóórvragen, dat is leuk om te zien.’
Maar vooral hoopt hij dat het kwalitatieve kandidaten oplevert die béter geïnformeerd beginnen aan een sollicitatie, zegt hij. ‘Je ziet nu al dat er meer vragen gesteld worden. Mensen blijven ook echt dóórvragen, dat is leuk om te zien.’ En nodig ook, benadrukt hij. ‘We willen als Rijksoverheid net zo goed die schaarse IT’er binnenhalen als elke andere commerciële partij. We bevinden ons op datzelfde speelveld. Dan is het in onze employer branding ook leuk om te kunnen laten zien hoe innovatief je bent.’ Om daar snel aan toe te voegen: ‘Als het maar gedegen en veilig gebeurt. Ook al kost dat dan af en toe iets meer tijd dan je wilt…’


