Zo ontwikkelen we onze tests: het ontwikkelproces van assessments

Fase 1: elke test begint met een blauwdruk

De ontwikkeling van een test begint al ruim voor de eerste vraag. Elke HireValid-test heeft een schriftelijke blauwdruk die antwoord geeft op de vragen die een zorgvuldige hiring manager zou stellen:

• Wat meet de test en voor welke functies? Een zin die de vaardigheid en de geschikte functies beschrijft, zoals te zien is in de testbibliotheek.
• Welke deelvaardigheden? Elke test is opgedeeld in benoemde deelvaardigheden met een eigen weging, zoals tabellen lezen of fouten herkennen. Zo krijgt een werkgever een overzicht van elk resultaat zonder ooit een vraag te zien.
• Hoe lang duurt de test en hoe moeilijk is die? De meeste tests duren 15 minuten of korter. Elke vragenbank bevat vragen van verschillende moeilijkheidsgraden, bijvoorbeeld 30% makkelijk, 50% gemiddeld en 20% moeilijk. In de blauwdruk staat hoeveel vragen uit elke categorie komen.
• Welke hulpmiddelen zijn toegestaan? Een rekenmachine op het scherm of kladpapier, als het werk daarom vraagt. Dit staat vermeld op de introductiekaart voor kandidaten.
• Voor wie is de test eerlijk? Bij elke test hoort een toelichting op de eerlijkheid. Daarin staat wat er is gedaan om de test eerlijk te houden en wanneer een desktop nodig is in plaats van een telefoon.

De blauwdruk zorgt ervoor dat de test gericht blijft op de functie. Een vraag die geen van de deelvaardigheden toetst, hoort er niet in.

Fase 2: vragen op basis van de blauwdruk

Elke vragenpool heeft een eigen specificatie: het onderwerp, de deelvaardigheid waarvoor de vraag bedoeld is, de te gebruiken vraagvormen en de verdeling van moeilijkheidsgraden. Met hulp van AI stellen we vragen op volgens die specificatie. Daardoor kunnen we veel grotere pools samenstellen dan met een volledig handgeschreven test mogelijk zou zijn, zodat elke kandidaat een andere set kan krijgen.

Voor elke vraag gelden deze schrijfrichtlijnen:

• Eén juist antwoord. Elke vraag die meetelt voor de score heeft precies één verdedigbaar antwoord. Elke foute optie is geloofwaardig, maar duidelijk onjuist voor iemand met de juiste vaardigheid.
• Vraagvormen die AI minder goed kan beantwoorden. We geven de voorkeur aan tabellen, figuren, reeksen en details uit scenario's boven tekst die makkelijk naar een chatbot kan worden gekopieerd. Minstens een derde van elke cognitieve test is gebaseerd op tabellen of figuren.
• Passende tijdslimieten. Iemand met de juiste vaardigheden kan de vraag ruim binnen de tijd beantwoorden. De tijdslimiet is kort genoeg om opzoeken onpraktisch te maken.
• Eerlijke taal. Geen enkele vraag is afhankelijk van cultuurgebonden kennis, uitdrukkingen, sport, valuta of feestdagen die niet nodig zijn voor de functie. Namen en scenario's zijn gevarieerd en het leesniveau past bij de functie.

Een nieuwe vraag die te veel lijkt op een vraag die al in de pool staat, wordt automatisch afgewezen. Zo worden de pools gevarieerder in plaats van gevuld met bijna identieke vragen.

Fase 3: een onafhankelijke controle van elke vraag

Voordat een vraag bij een kandidaat terechtkomt, wordt die onafhankelijk beoordeeld. Het AI-model dat de beoordeling uitvoert, komt uit een andere modelreeks dan het model waarmee de vraag is opgesteld. Zo hebben de twee niet dezelfde blinde vlekken.

De beoordeling bestaat uit twee delen. Eerst beantwoordt het model de vraag zonder de antwoordsleutel te zien, precies zoals een kandidaat dat zou doen. Als het niet op het antwoord uit de sleutel uitkomt, is de vraag niet duidelijk genoeg en wordt die niet gepubliceerd. Daarna beoordeelt het model de vraag aan de hand van een checklist: is het antwoord uit de sleutel juist en het enige verdedigbare antwoord, zijn de foute opties geloofwaardig, is de moeilijkheidsgraad passend, toetst de vraag de genoemde deelvaardigheid en bevat die geen culturele aannames? Bevatten tabellen en afbeeldingen de informatie die nodig is? Heeft elke afbeelding alt-tekst waarmee een gebruiker van een schermlezer de vraag kan beantwoorden?

Een vraag met een score van 80 of hoger wordt gepubliceerd. Een lagere score betekent dat de vraag wordt afgewezen en de redenen worden vastgelegd. In de volgende schrijfronde wordt de vraag vervangen. Naast de beoordeling voeren we automatische controles uit: antwoorden in spreadsheets worden opnieuw berekend met onze eigen formule-engine, code-antwoorden worden getest met de bijbehorende testcases en teksten worden gecontroleerd op Amerikaanse spelling en beweringen die we nooit doen. Als een vraag later wordt aangepast, wordt het een nieuwe versie en doorloopt die opnieuw dezelfde beoordeling.

Fase 4: een vaste versie publiceren

Een test wordt pas gepubliceerd als elke pool minstens drie keer zoveel goedgekeurde vragen bevat als de test eruit gebruikt, en vijf keer zoveel voor cognitieve tests. Zo krijgt elke kandidaat een andere selectie, in een andere volgorde en met antwoordopties die door elkaar zijn gehusseld. Een test heeft ook een oefenset nodig: vier eenvoudige vragen die elke gebruikte vraagvorm behandelen. Kandidaten zien deze voordat de vragen voor de score beginnen.

Elke gepubliceerde test is een vaste versie. Wanneer een werkgever een vacature activeert, blijft die vacature gekoppeld aan de versie waarmee deze is gestart. Bij elke score wordt vastgelegd welke versie voor de beoordeling is gebruikt. Als een test later wordt verbeterd, behouden eerdere resultaten hun oorspronkelijke betekenis en kun je altijd uitleggen hoe een eerdere uitslag tot stand kwam. Er wordt nooit iets verwijderd: een vraag die uit gebruik wordt genomen, wordt gearchiveerd met de reden. Ook de geschiedenis ervan blijft bewaard.

Antwoordmodellen en pools verlaten onze servers nooit. Kandidaten krijgen één vraag tegelijk en werkgevers zien scores per deelvaardigheid in plaats van de vraagtekst. Zo blijft de inhoud veilig voor de volgende kandidaat. In het overzicht van onze aanpak tegen fraude lees je hoe dit ontwerp tests AI-bestendig maakt.

Fase 5: live monitoring en benchmarks van echte kandidaten

Zodra kandidaten een test maken, houdt een dagelijkse statistische controle bij hoe elke vraag in de praktijk presteert: hoe vaak die goed wordt beantwoord en of sterke kandidaten de vraag vaker goed beantwoorden dan minder sterke kandidaten. Dat is de kern van itemanalyse. Een vraag die niet goed presteert, wordt tijdelijk buiten gebruik gesteld voor beoordeling en vervangen door een nieuwe vraag.

Dezelfde gegevens worden gebruikt om de benchmark van de test op te bouwen. De benchmarks van HireValid zijn gebaseerd op eigen kandidaten, apart voor elke testversie. Een test toont percentielen zodra 50 kandidaten de test hebben afgerond. Tot de steekproef 200 kandidaten omvat, wordt elk percentiel aangeduid als een voorlopige benchmark, met vermelding van de steekproefgrootte. Vanaf 200 kandidaten wordt het aangeduid als een benchmark van HireValid-kandidaten, eveneens met vermelding van de steekproefgrootte. Benchmarks worden dagelijks opnieuw berekend en bijgewerkt naarmate de steekproef groeit. Elk resultaat vermeldt de benchmarkversie waarmee het is vergeleken. Op de benchmarkpagina lees je hoe je een percentiel interpreteert.

Validiteit en betrouwbaarheid van tests: onze kijk op beide

Betrouwbaarheid gaat over de vraag of een test consistent meet. Validiteit gaat over de vraag of een test meet wat de functie vereist. Beide beginnen met het ontwerp: een test die is opgebouwd rond de vaardigheden die iemand in een functie echt gebruikt, met duidelijke deelscores en genoeg vragen per vaardigheid voor een stabiel beeld.

Het proces hierboven draagt bij aan beide. Bij de onafhankelijke beoordeling worden dubbelzinnige vragen en vragen met een fout antwoordmodel verwijderd, omdat die ruis veroorzaken. Grote vragenbanken met een gecontroleerde verdeling van de moeilijkheidsgraad zorgen ervoor dat de tests van verschillende kandidaten vergelijkbaar zijn. Vraagstatistieken van echte kandidaten laten zien welke vragen onderscheid maken tussen sterkere en minder sterke prestaties. Vragen die dat niet doen, worden verwijderd. Naarmate de steekproeven groter worden, leveren die statistieken steeds meer bewijs voor elke test, verzameld bij de mensen die de test daadwerkelijk maken.

Voor werkgevers zijn de praktische regels eenvoudig: kies tests die passen bij de functie, geef elke kandidaat dezelfde test en dezelfde tijd, bied op verzoek een aanpassing aan en controleer na elke ronde de selectiepercentages. Onze aanpak voor eerlijkheid en de gids over testen vóór indiensttreding gaan uitgebreider op deze stappen in.

Eerlijkheidscontroles die na de lancering doorgaan

Eerlijkheid controleer je niet één keer. Bij elke test staat informatie over eerlijkheid. Kandidaten kunnen extra tijd krijgen en dankzij oefenvragen hoeft niemand een onbekende vraagvorm voor het eerst onder tijdsdruk te zien.

Werkgevers moeten ook hun eigen resultaten controleren. Vergelijk na elke wervingsronde de selectiepercentages tussen groepen sollicitanten. De vier-vijfde-regel is een veelgebruikte eerste controle. Een verschil is aanleiding om de test, de functie en het proces nader te bekijken. Op zichzelf is het nooit een oordeel.

HireValid wijst kandidaten nooit automatisch af, verbergt ze niet en rangschikt ze niet. Scores, benchmarks en integriteitsinformatie helpen de werkgever bij de beoordeling. De werkgever neemt alle beslissingen.