Cómo creamos nuestras pruebas: el proceso de desarrollo de evaluaciones

Etapa 1: toda prueba comienza con un diseño

El desarrollo de una prueba empieza mucho antes de la primera pregunta. Cada prueba de HireValid tiene un plan por escrito que responde a las preguntas que se haría un responsable de contratación cuidadoso:

• ¿Qué mide y para qué puestos? Una descripción breve de la habilidad y de los puestos para los que resulta adecuada, disponible en la biblioteca de pruebas.
• ¿Qué subhabilidades incluye? Cada prueba se divide en subhabilidades identificadas y ponderadas, como leer tablas o detectar errores. Así, el empleador puede ver un desglose de cada resultado sin ver ninguna pregunta.
• ¿Cuánto dura y qué nivel de dificultad tiene? La mayoría de las pruebas dura 15 minutos o menos. Cada conjunto de preguntas incluye distintos niveles de dificultad, por ejemplo, 30% fáciles, 50% de dificultad media y 20% difíciles. El plan también indica cuántas preguntas aporta cada conjunto.
• ¿Qué ayudas se permiten? Cuando la tarea lo requiere, se indica si se puede usar una calculadora en pantalla o papel para hacer anotaciones en la tarjeta de presentación para el candidato.
• ¿Para quién es justa? Cada prueba incluye una nota sobre imparcialidad que registra las medidas tomadas para que sea justa e indica cuándo se necesita una computadora de escritorio en lugar de un teléfono.

El plan mantiene la prueba centrada en el puesto. Si una pregunta no evalúa una de sus subhabilidades, no debería incluirse.

Etapa 2: preguntas redactadas según el diseño

Cada banco de preguntas tiene sus propias especificaciones: el tema, la subhabilidad que evalúa, los formatos de preguntas que se usarán y la combinación de niveles de dificultad. Las preguntas se redactan con ayuda de IA conforme a esas especificaciones. Esto nos permite crear bancos mucho más grandes de lo que sería viable con una prueba redactada a mano, para que cada candidato pueda recibir un conjunto distinto.

Todas las preguntas deben cumplir estas reglas de redacción:

• Una respuesta correcta. Cada pregunta puntuable tiene exactamente una respuesta defendible, y cada opción incorrecta es plausible, pero claramente equivocada para alguien que domina la habilidad.
• Formatos que resisten la IA. Se prefieren tablas, figuras, secuencias y detalles de situaciones a textos que se puedan copiar fácilmente en un chatbot. Además, al menos un tercio de cada prueba cognitiva se basa en tablas o figuras.
• Límites de tiempo adecuados. Una persona competente puede responder sin apuros dentro del límite, que es lo bastante corto como para que buscar la respuesta no resulte práctico.
• Lenguaje justo. Ninguna pregunta depende de conocimientos culturales específicos, modismos, deportes, monedas o festividades que no sean necesarios para el puesto. Los nombres y las situaciones son variados, y el nivel de lectura se adapta al puesto.

Las preguntas nuevas que se parecen demasiado a las que ya están en el banco se rechazan automáticamente, para que los bancos aumenten en variedad y no en preguntas casi idénticas.

Etapa 3: revisión independiente de cada pregunta

Antes de que una pregunta llegue a un candidato, pasa por una revisión independiente. El modelo que la revisa pertenece a una familia de modelos de IA distinta de la del modelo que redactó la pregunta, así que no comparten los mismos puntos ciegos.

La revisión consta de dos partes. Primero, el modelo responde la pregunta sin ver la respuesta correcta, exactamente como lo haría un candidato. Si no puede llegar a la respuesta indicada, la pregunta no es suficientemente clara y no se publica. Después, evalúa la pregunta con una lista de criterios: ¿la respuesta indicada es correcta y la única que puede defenderse?, ¿las opciones incorrectas son plausibles?, ¿la dificultad es adecuada?, ¿evalúa la subhabilidad que afirma evaluar?, ¿está libre de suposiciones culturales?, ¿las tablas y las imágenes aportan la información necesaria?, ¿todas las imágenes tienen un texto alternativo que permita responder a una persona que usa un lector de pantalla?

Las preguntas que obtienen una puntuación de 80 o más se publican. Las que obtienen una puntuación menor se rechazan y se registran los motivos; se reemplazan en la siguiente ronda de redacción. Junto con la revisión, se realizan comprobaciones automáticas: nuestro propio motor de fórmulas vuelve a calcular las respuestas de hojas de cálculo, las respuestas de programación se ejecutan con sus casos de prueba y se revisa el contenido para detectar diferencias con la ortografía estadounidense y afirmaciones que nunca hacemos. Si una pregunta se edita más adelante, pasa a ser una nueva versión y se somete de nuevo a la misma revisión.

Etapa 4: publicación de una versión fija

Una prueba se publica solo cuando cada banco contiene al menos tres veces más preguntas aprobadas que las que utiliza la prueba, y cinco veces más en el caso de las pruebas cognitivas. Esto permite que cada candidato reciba una selección diferente, en un orden distinto y con las opciones de respuesta reorganizadas. La prueba también necesita un conjunto de práctica: cuatro preguntas sencillas que cubren todos los formatos que utiliza y que se muestran a los candidatos antes de empezar las preguntas puntuadas.

Cada prueba publicada es una versión fija. Cuando un empleador activa un puesto, este conserva la versión con la que comenzó y cada puntuación registra la versión de puntuación que la generó. Si la prueba se mejora más adelante, los resultados anteriores mantienen su significado original y usted siempre puede explicar cómo se obtuvo un resultado pasado. Nunca se elimina nada: las preguntas que se retiran del servicio se archivan junto con el motivo, y se conserva su historial.

Las claves de respuestas y los bancos nunca salen de nuestros servidores. Los candidatos reciben una pregunta a la vez y los empleadores ven puntuaciones por subhabilidad, no el texto de las preguntas. Así, el contenido se mantiene protegido para el siguiente candidato. El resumen sobre la prevención de trampas explica cómo este diseño hace que las pruebas sean a prueba de IA.

Etapa 5: seguimiento continuo y referencias basadas en candidatos reales

Cuando los candidatos empiezan a hacer una prueba, un seguimiento estadístico diario analiza cómo se comporta cada pregunta en la práctica: con qué frecuencia se responde correctamente y si los candidatos con mejores resultados la responden bien con más frecuencia que quienes obtienen resultados más bajos. Esto es fundamental para el análisis de preguntas. Las preguntas que no se comportan como se espera se retiran para revisarlas y se sustituyen por otras nuevas.

Los mismos datos se usan para crear la referencia de la prueba. Las referencias de HireValid se basan en sus propios candidatos y se calculan por separado para cada versión de la prueba. Una prueba muestra percentiles cuando 50 candidatos la han completado. Hasta que la muestra llega a 200, cada percentil se etiqueta como referencia provisional e indica el tamaño de la muestra; a partir de 200, se etiqueta como referencia de candidatos de HireValid e indica el tamaño de la muestra. Las referencias se recalculan a diario y se actualizan a medida que crece cada muestra. Cada resultado registra la versión de la referencia con la que se comparó. La página de referencias explica cómo interpretar un percentil.

Validez y fiabilidad de las pruebas: cómo entendemos ambos conceptos

La fiabilidad indica si una prueba mide de manera consistente, y la validez indica si mide lo que requiere el puesto. Ambas comienzan con el diseño de la prueba: una prueba basada en las habilidades que realmente se usan en un puesto, con una puntuación para subcompetencias claramente definidas y suficientes preguntas para cada una, a fin de ofrecer un panorama estable.

El proceso anterior protege ambas. La revisión independiente elimina las preguntas ambiguas o con respuestas clave incorrectas que añadirían ruido. Los bancos amplios, con una distribución de dificultad controlada, permiten comparar las pruebas de distintas personas candidatas. Las estadísticas de las preguntas, basadas en personas candidatas reales, muestran cuáles distinguen entre un rendimiento más alto y uno más bajo, y permiten retirar las que no lo hacen. A medida que crecen las muestras, esas estadísticas aportan a cada prueba una base de evidencia cada vez mayor, recopilada de las personas que realmente la realizan.

Para el empleador, las pautas prácticas son sencillas: elija pruebas que se ajusten al puesto, dé a todas las personas candidatas la misma prueba y el mismo tiempo, ofrezca una adaptación cuando se solicite y revise las tasas de selección después de cada ronda. Nuestro enfoque de equidad y la guía sobre pruebas previas al empleo explican esos pasos con más detalle.

Comprobaciones de equidad que continúan después del lanzamiento

La equidad no se comprueba una sola vez. Cada prueba incluye una nota sobre equidad, se puede dar más tiempo a los candidatos y las preguntas de práctica permiten familiarizarse con un formato antes de enfrentarse a él con el reloj en marcha.

Los empleadores también deben revisar sus propios resultados. Después de cada ronda de contratación, compare las tasas de selección entre los grupos de postulantes; la regla de los cuatro quintos es una comprobación inicial habitual. Una diferencia invita a revisar con más atención la prueba, el puesto y el proceso; por sí sola, nunca es un veredicto.

HireValid no rechaza, oculta ni clasifica automáticamente a ningún candidato. Las puntuaciones, los puntos de referencia y las evidencias de integridad orientan al empleador, que toma todas las decisiones.