Come realizziamo i nostri test: il processo di sviluppo delle valutazioni

Fase 1: ogni test inizia con un progetto

Lo sviluppo di un test inizia molto prima della prima domanda. Ogni test HireValid ha un documento di progettazione che risponde alle domande che si porrebbe un responsabile delle assunzioni attento:

• Che cosa misura e per quali ruoli? Una breve descrizione della competenza e dei ruoli più adatti, visibile nella raccolta di test.
• Quali competenze specifiche? Ogni test è suddiviso in competenze specifiche, con nome e peso, come leggere tabelle o individuare errori. In questo modo, il datore di lavoro vede il dettaglio di ogni risultato senza vedere le domande.
• Quanto dura e quanto è difficile? La maggior parte dei test dura 15 minuti o meno. Ogni serie di domande presenta un mix di difficoltà, ad esempio 30% facili, 50% di difficoltà media e 20% difficili. Il documento indica quante domande provengono da ciascuna serie.
• Quali strumenti sono consentiti? Se il compito lo richiede, una calcolatrice sullo schermo o fogli per gli appunti. Gli strumenti consentiti sono indicati nella scheda introduttiva per i candidati.
• Per chi è equo? Ogni test include una nota sull'equità, che descrive le misure adottate per renderlo equo e specifica quando serve un computer desktop invece di un telefono.

Il documento mantiene il test incentrato sul lavoro. Una domanda che non serve a valutare una delle competenze specifiche non dovrebbe essere inclusa.

Fase 2: domande formulate in base al progetto

Ogni pool di domande ha specifiche proprie: l'argomento, la competenza specifica a cui si riferisce, i formati delle domande da usare e la distribuzione dei livelli di difficoltà. Le domande vengono redatte in base a queste specifiche con l'aiuto dell'IA. Questo ci permette di creare pool molto più ampi di quanto sarebbe possibile con un test scritto a mano, così ogni candidato può ricevere una serie diversa.

A ogni domanda si applicano regole di scrittura:

• Una sola risposta corretta. Ogni domanda valutata ha esattamente una risposta difendibile e ogni opzione errata è plausibile, ma chiaramente sbagliata per chi possiede la competenza.
• Formati che ostacolano l'IA. Si preferiscono tabelle, figure, sequenze e dettagli di uno scenario a testi che si possono copiare facilmente in un chatbot. Almeno un terzo di ogni test cognitivo si basa su tabelle o figure.
• Limiti di tempo adeguati. Una persona competente può rispondere agevolmente entro il limite, che è abbastanza breve da rendere poco pratico cercare la risposta.
• Linguaggio equo. Nessuna domanda dipende da conoscenze specifiche di una cultura, modi di dire, sport, valute o festività, oltre a quanto richiesto dal lavoro. Nomi e scenari sono vari e il livello di lettura è adatto al ruolo.

Una nuova domanda troppo simile a una già presente nel pool viene rifiutata automaticamente. Così i pool aumentano la varietà, non le domande quasi identiche.

Fase 3: revisione indipendente di ogni domanda

Prima di arrivare a un candidato, ogni domanda viene sottoposta a una revisione indipendente. Il modello che la esamina appartiene a una famiglia di modelli di IA diversa da quella usata per redigerla, così i due non condividono gli stessi punti ciechi.

La revisione si svolge in due parti. Per prima cosa, il modello risponde alla domanda alla cieca, esattamente come farebbe un candidato, senza vedere la risposta corretta. Se non riesce a individuare la risposta indicata come corretta, la domanda non è abbastanza chiara e non viene pubblicata. In secondo luogo, valuta la domanda in base a una checklist: la risposta indicata è corretta ed è l'unica difendibile? Le opzioni errate sono plausibili? La difficoltà è adeguata? La domanda verifica davvero la competenza specifica dichiarata? È priva di presupposti culturali? Le tabelle e le immagini forniscono le informazioni necessarie? Ogni immagine ha un testo alternativo che consente a chi usa uno screen reader di rispondere?

Le domande con un punteggio pari o superiore a 80 vengono pubblicate. Quelle con un punteggio inferiore vengono rifiutate e i motivi vengono registrati; la successiva sessione di scrittura le sostituisce. In parallelo alla revisione vengono eseguiti controlli automatici: le risposte sui fogli di calcolo vengono ricalcolate con il nostro motore di formule, le risposte di programmazione vengono testate con i relativi casi di test e i testi vengono controllati per verificare l'ortografia statunitense e l'assenza di affermazioni che non facciamo mai. Se una domanda viene modificata in seguito, diventa una nuova versione e viene sottoposta di nuovo alla stessa revisione.

Fase 4: pubblicazione di una versione definitiva

Un test viene pubblicato solo quando ogni banca contiene almeno tre volte il numero di domande approvate da cui il test attinge, e cinque volte tale numero per i test cognitivi. Questo permette a ogni candidato di ricevere una selezione diversa, in un ordine diverso e con le opzioni di risposta mescolate. Ogni test deve includere anche una serie di esercitazione: quattro domande facili che coprono tutti i formati utilizzati, mostrate ai candidati prima dell’inizio delle domande valutate.

Ogni test pubblicato corrisponde a una versione fissa. Quando un datore di lavoro attiva una posizione, questa mantiene la versione iniziale e ogni punteggio indica la versione usata per calcolarlo. Se il test viene migliorato in seguito, i risultati precedenti conservano il loro significato originale ed è sempre possibile spiegare come si è arrivati a un risultato passato. Non viene mai eliminato nulla: le domande ritirate dal servizio vengono archiviate insieme al motivo del ritiro e alla relativa cronologia.

Le risposte corrette e le banche di domande non lasciano mai i nostri server. I candidati ricevono una domanda alla volta e i datori di lavoro visualizzano i punteggi per competenza, non il testo delle domande. In questo modo i contenuti restano protetti per il candidato successivo. La panoramica sulla prevenzione delle frodi spiega come questa progettazione renda i test a prova di IA.

Fase 5: monitoraggio in tempo reale e parametri di riferimento basati su candidati reali

Quando i candidati iniziano a svolgere un test, un controllo statistico giornaliero monitora il comportamento di ogni domanda nella pratica: con quale frequenza riceve una risposta corretta e se i candidati più competenti rispondono correttamente più spesso di quelli meno competenti. Questo è il principio fondamentale dell’analisi degli item. Le domande che presentano anomalie vengono sospese per una verifica e sostituite con domande nuove.

Gli stessi dati permettono di creare il benchmark del test. I benchmark di HireValid si basano sui suoi candidati e vengono calcolati separatamente per ogni versione del test. Un test mostra i percentili quando è stato completato da 50 candidati. Fino al raggiungimento di un campione di 200 candidati, ogni percentile è indicato come benchmark provvisorio con la dimensione del campione; a partire da 200 candidati, è indicato come benchmark dei candidati HireValid, sempre con la dimensione del campione. I benchmark vengono ricalcolati ogni giorno e aggiornati man mano che il campione cresce. Ogni risultato registra la versione del benchmark con cui è stato confrontato. La pagina dei benchmark spiega come leggere un percentile.

Validità e affidabilità dei test: il nostro approccio

Attendibilità indica se un test misura in modo coerente, mentre la validità indica se misura ciò che serve per il lavoro. Entrambe partono dalla progettazione: un test basato sulle competenze effettivamente utilizzate nel ruolo, con punteggi assegnati in base a competenze secondarie ben definite e un numero sufficiente di domande per ciascuna, così da ottenere un quadro stabile.

Il processo descritto sopra tutela entrambe. La revisione indipendente elimina le domande ambigue o con chiavi di risposta errate, che introdurrebbero elementi di disturbo. Banche di domande ampie, con una distribuzione controllata dei livelli di difficoltà, permettono di confrontare i test di candidati diversi. Le statistiche sulle singole domande, raccolte da candidati reali, mostrano quali distinguono le prestazioni più alte da quelle più basse; le domande che non lo fanno vengono eliminate. Con l’aumentare dei campioni, queste statistiche forniscono a ogni test una base di evidenze sempre più ampia, raccolte da chi svolge davvero il test.

Per il datore di lavoro, le regole pratiche sono semplici: scegliere test adatti al ruolo, assegnare a ogni candidato lo stesso test e lo stesso tempo, offrire su richiesta un adattamento e verificare i tassi di selezione dopo ogni ciclo. Il nostro approccio all’equità e la guida ai test pre-assunzione approfondiscono questi passaggi.

Controlli di equità che proseguono dopo il lancio

L'equità non si verifica una volta sola. Ogni test include una nota sull'equità, ai candidati si può concedere più tempo e le domande di esercitazione permettono a tutti di familiarizzare con il formato prima di affrontarlo con un limite di tempo.

Anche i datori di lavoro dovrebbero verificare i propri risultati. Dopo ogni ciclo di selezione, confronta i tassi di selezione tra i gruppi di candidati; la regola dei quattro quinti è un controllo iniziale comune. Una differenza invita una persona a esaminare più da vicino il test, il ruolo e il processo, ma non costituisce mai da sola un verdetto.

HireValid non rifiuta, nasconde né classifica automaticamente i candidati. Punteggi, benchmark ed evidenze sull'integrità forniscono informazioni al datore di lavoro, che prende ogni decisione.