Comment nous créons nos tests : le processus de développement des évaluations

Étape 1 : chaque test commence par un plan

La conception d’un test commence bien avant la première question. Chaque test HireValid s’appuie sur un plan écrit qui répond aux questions que se poserait un responsable du recrutement attentif :

• Que mesure-t-il et pour quels postes ? Une phrase qui précise la compétence évaluée et les postes concernés, présentée dans la bibliothèque de tests.
• Quelles compétences secondaires ? Chaque test est divisé en compétences secondaires nommées et pondérées, comme la lecture de tableaux ou le repérage d’erreurs. L’employeur peut ainsi consulter le détail de chaque résultat sans jamais voir de question.
• Quelle durée et quel niveau de difficulté ? La plupart des tests durent 15 minutes ou moins. Chaque banque de questions comprend différents niveaux de difficulté, par exemple 30% de questions faciles, 50% de questions de niveau intermédiaire et 20% de questions difficiles. Le plan indique le nombre de questions tirées de chaque banque.
• Quelles aides sont autorisées ? Une calculatrice à l’écran ou du papier brouillon, lorsque la tâche le justifie. Ces aides sont indiquées sur la fiche de présentation destinée au candidat.
• Pour qui le test est-il équitable ? Chaque test comporte une note sur l’équité qui décrit les mesures prises pour le rendre équitable et précise s’il nécessite un ordinateur plutôt qu’un téléphone.

Le plan permet de garder le test centré sur le poste. Toute question qui ne porte pas sur l’une des compétences secondaires n’a pas sa place dans le test.

Étape 2 : des questions conçues selon le plan

Chaque banque de questions possède son propre cahier des charges : le sujet, la compétence secondaire ciblée, les formats de questions à utiliser et la répartition des niveaux de difficulté. Les questions sont rédigées à l'aide de l'IA en suivant ce cahier des charges. Nous pouvons ainsi créer des banques bien plus importantes qu'avec un test entièrement rédigé à la main, afin que chaque candidat puisse recevoir un ensemble différent.

Toutes les questions doivent respecter les règles de rédaction suivantes :

• Une seule bonne réponse. Chaque question notée comporte exactement une réponse défendable. Chaque mauvaise réponse est plausible, mais clairement incorrecte pour une personne possédant la compétence évaluée.
• Des formats qui limitent le recours à l'IA. Nous privilégions les tableaux, les figures, les suites et les détails de mise en situation plutôt que les textes faciles à copier dans un chatbot. Au moins un tiers de chaque test cognitif repose sur des tableaux ou des figures.
• Des durées adaptées. Une personne compétente peut répondre sans difficulté dans le temps imparti, qui est suffisamment court pour rendre les recherches peu pratiques.
• Un langage équitable. Aucune question ne repose sur des connaissances culturelles, des expressions idiomatiques, des sports, des devises ou des jours fériés qui ne sont pas nécessaires pour le poste. Les noms et les situations varient, et le niveau de lecture est adapté au poste.

Toute nouvelle question trop similaire à une question déjà présente dans la banque est automatiquement écartée. Les banques se diversifient ainsi au lieu de se remplir de questions presque identiques.

Étape 3 : une vérification indépendante de chaque question

Avant qu'une question ne soit présentée à un candidat, elle fait l'objet d'une évaluation indépendante. Le modèle chargé de l'évaluer appartient à une famille de modèles d'IA différente de celle du modèle qui a rédigé la question. Les deux ne partagent donc pas les mêmes angles morts.

L'évaluation se déroule en deux étapes. D'abord, le modèle répond à la question à l'aveugle, exactement comme le ferait un candidat, sans voir la réponse attendue. S'il ne parvient pas à trouver la réponse prévue, la question n'est pas assez claire et n'est pas publiée. Ensuite, il note la question à l'aide d'une liste de contrôle : la réponse attendue est-elle correcte et la seule défendable ? Les mauvaises réponses sont-elles plausibles ? Le niveau de difficulté est-il adapté ? La question évalue-t-elle bien la compétence ciblée ? Est-elle exempte de présupposés culturels ? Les tableaux et les images fournissent-ils les éléments nécessaires ? Chaque image possède-t-elle un texte alternatif permettant à une personne utilisant un lecteur d'écran de répondre à la question ?

Une question qui obtient une note de 80 ou plus est publiée. Toute note inférieure entraîne le rejet de la question, avec consignation des raisons ; la prochaine série de questions la remplacera. Des contrôles automatiques sont effectués en parallèle de l'évaluation : les réponses aux questions sur les feuilles de calcul sont recalculées avec notre propre moteur de formules, les réponses de programmation sont exécutées à l'aide de leurs cas de test, et le texte est vérifié pour repérer les formes d'orthographe américaines et les affirmations que nous ne faisons jamais. Si une question est modifiée par la suite, elle devient une nouvelle version et fait l'objet de la même évaluation.

Étape 4 : publication d’une version définitive

Un test n’est publié que si chaque banque contient au moins trois fois plus de questions approuvées que le nombre de questions qui en sont tirées, et cinq fois plus pour les tests cognitifs. Chaque candidat peut ainsi recevoir une sélection différente, dans un ordre différent, avec des choix de réponse mélangés. Le test doit aussi comporter une série d’exercices d’entraînement : quatre questions faciles couvrant chaque format utilisé, que les candidats voient avant de commencer les questions notées.

Chaque test publié est une version fixe. Lorsqu’un employeur active un poste, celui-ci conserve la version avec laquelle il a été lancé, et chaque résultat indique la version utilisée pour la notation. Si le test est amélioré par la suite, les résultats antérieurs conservent leur signification d’origine, et vous pouvez toujours expliquer comment un résultat passé a été obtenu. Rien n’est supprimé : une question retirée du service est mise hors circulation, la raison de son retrait est consignée et son historique est conservé.

Les corrigés et les banques de questions ne quittent jamais nos serveurs. Les candidats reçoivent une question à la fois, et les employeurs voient les scores par compétence plutôt que le texte des questions, ce qui protège le contenu pour les prochains candidats. La présentation de notre approche contre la triche explique comment cette conception rend les tests résistants à l’IA.

Étape 5 : suivi en conditions réelles et références établies à partir de vrais candidats

Dès que les candidats commencent à passer un test, un suivi statistique quotidien examine le comportement de chaque question en pratique : la fréquence des bonnes réponses et le fait que les candidats les plus performants y répondent correctement plus souvent que les moins performants. C’est le principe même de l’analyse des questions. Une question qui présente des anomalies est retirée du test pour être examinée et remplacée par une nouvelle question.

Ces mêmes données servent à établir le référentiel du test. Les référentiels de HireValid sont fondés sur ses propres candidats, séparément pour chaque version du test. Un test affiche des percentiles lorsque 50 candidats l’ont terminé. Tant que l’échantillon n’a pas atteint 200 candidats, chaque percentile est indiqué comme un référentiel provisoire, avec la taille de l’échantillon ; à partir de 200 candidats, il est indiqué comme un référentiel des candidats HireValid, avec la taille de l’échantillon. Les référentiels sont recalculés chaque jour et mis à jour à mesure que chaque échantillon s’agrandit. Chaque résultat indique la version du référentiel avec laquelle il a été comparé. La page des référentiels explique comment lire un percentile.

Validité et fiabilité des tests : notre approche

La fiabilité indique si un test mesure une compétence de façon constante, tandis que la validité indique s’il mesure ce dont le poste a besoin. Les deux reposent d’abord sur le plan du test : il doit être conçu autour des compétences réellement utilisées dans le poste, évalué selon des sous-compétences clairement définies et comporter assez de questions pour chacune afin de donner une image stable.

Le processus décrit ci-dessus contribue à préserver les deux. L’examen indépendant élimine les questions ambiguës ou comportant une erreur de réponse, qui fausseraient les résultats. Des banques de questions importantes, avec une répartition contrôlée des niveaux de difficulté, permettent de comparer les tests de différents candidats. Les statistiques des questions, établies à partir des réponses de vrais candidats, montrent quelles questions distinguent les performances les plus fortes des plus faibles, et permettent de retirer celles qui ne le font pas. À mesure que les échantillons s’étoffent, ces statistiques constituent une base de données probantes de plus en plus importante pour chaque test, recueillie auprès des personnes qui le passent réellement.

Pour l’employeur, les règles pratiques sont simples : choisir des tests adaptés au poste, faire passer le même test pendant la même durée à chaque candidat, proposer un aménagement sur demande et vérifier les taux de sélection après chaque vague de recrutement. Notre approche en matière d’équité et notre guide sur les tests de recrutement détaillent ces étapes.

Des contrôles d'équité qui se poursuivent après le lancement

L'équité ne se vérifie pas une seule fois. Chaque test est accompagné d'une note sur l'équité, les candidats peuvent bénéficier de temps supplémentaire et les questions d'entraînement permettent à chacun de se familiariser avec le format avant de passer le test chronométré.

Les employeurs doivent également vérifier leurs propres résultats. Après chaque campagne de recrutement, comparez les taux de sélection entre les différents groupes de candidats ; la règle des quatre cinquièmes constitue une première vérification courante. Une différence invite une personne à examiner de plus près le test, le poste et le processus ; elle ne constitue jamais à elle seule un verdict.

HireValid ne rejette, ne masque ni ne classe automatiquement aucun candidat. Les scores, les références et les éléments de preuve liés à l'intégrité éclairent l'employeur, qui prend toutes les décisions.