Como criamos nossos testes: o processo de desenvolvimento das avaliações

Etapa 1: todo teste começa com um plano

O desenvolvimento de um teste começa muito antes da primeira pergunta. Cada teste da HireValid tem um plano escrito que responde às perguntas que um gestor de contratação cuidadoso faria:

• O que ele avalia e para quais cargos? Uma descrição breve da habilidade e dos cargos para os quais ela é relevante, exibida na biblioteca de testes.
• Quais sub-habilidades? Cada teste é dividido em sub-habilidades identificadas e ponderadas, como interpretar tabelas ou encontrar erros. Assim, o empregador vê uma análise detalhada de cada resultado sem ter acesso às perguntas.
• Quanto tempo dura e qual é o nível de dificuldade? A maioria dos testes dura 15 minutos ou menos. Cada conjunto de perguntas tem uma combinação de níveis de dificuldade, por exemplo, 30% fáceis, 50% médias e 20% difíceis. O plano informa quantas perguntas vêm de cada conjunto.
• Quais recursos são permitidos? Calculadora na tela ou papel para rascunho, quando forem necessários para a tarefa, indicados no cartão de apresentação da pessoa candidata.
• Para quem o teste é justo? Cada teste inclui uma observação sobre equidade, que registra as medidas adotadas para torná-lo justo e informa quando é necessário usar um computador em vez de um celular.

O plano mantém o teste focado no trabalho. Uma pergunta que não avalia uma de suas sub-habilidades não deve fazer parte dele.

Etapa 2: perguntas elaboradas de acordo com o plano

Cada banco de perguntas tem sua própria especificação: o tema, a sub-habilidade que aborda, os formatos de pergunta a usar e a distribuição dos níveis de dificuldade. As perguntas são elaboradas com ajuda de IA de acordo com essa especificação. Isso nos permite criar bancos muito maiores do que seria viável com um teste escrito manualmente, para que cada pessoa candidata possa receber um conjunto diferente.

Todas as perguntas seguem estas regras de elaboração:

• Uma resposta correta. Cada pergunta pontuada tem exatamente uma resposta defensável, e cada opção incorreta é plausível, mas claramente errada para quem tem a habilidade.
• Formatos que dificultam o uso de IA. Damos preferência a tabelas, figuras, sequências e detalhes de cenários, em vez de textos que podem ser facilmente copiados para um chatbot. Pelo menos um terço de cada teste cognitivo é baseado em tabelas ou figuras.
• Limites de tempo adequados. Uma pessoa competente consegue responder com tranquilidade dentro do limite, que é curto o suficiente para tornar impraticável procurar a resposta.
• Linguagem justa. Nenhuma pergunta depende de conhecimentos culturais específicos, expressões idiomáticas, esportes, moedas ou feriados além do que o trabalho exige. Os nomes e cenários são variados, e o nível de leitura é adequado à função.

Uma pergunta nova muito parecida com outra já existente no banco é rejeitada automaticamente, para que os bancos ganhem variedade, e não cópias quase idênticas.

Etapa 3: revisão independente de cada pergunta

Antes de chegar a uma pessoa candidata, cada pergunta passa por uma análise independente. O modelo que faz a análise pertence a uma família de modelos de IA diferente daquela usada para elaborar a pergunta, para que os dois não compartilhem os mesmos pontos cegos.

A análise tem duas etapas. Primeiro, o modelo responde à pergunta sem ver o gabarito, exatamente como faria uma pessoa candidata. Se não conseguir chegar à resposta do gabarito, a pergunta não está clara o suficiente e não é publicada. Depois, avalia a pergunta com base em uma lista de verificação: o gabarito está correto e é a única resposta defensável? As opções incorretas são plausíveis? O nível de dificuldade é adequado? A pergunta avalia a sub-habilidade que se propõe a avaliar? Ela está livre de pressupostos culturais? Tabelas e imagens incluem as informações necessárias? Todas as imagens têm texto alternativo que permita a uma pessoa usuária de leitor de tela responder à pergunta?

Uma pergunta com pontuação igual ou superior a 80 é publicada. As que recebem uma pontuação menor são rejeitadas, com os motivos registrados, e substituídas na próxima rodada de elaboração. A análise também é acompanhada por verificações automáticas: as respostas de planilhas são recalculadas pelo nosso próprio mecanismo de fórmulas, as respostas de programação são executadas com os casos de teste, e o texto é verificado quanto à ortografia do inglês dos EUA e a afirmações que nunca fazemos. Quando uma pergunta é editada posteriormente, ela se torna uma nova versão e passa novamente pela mesma análise.

Etapa 4: publicação de uma versão fixa

Um teste só é publicado quando cada banco de questões tem pelo menos três vezes mais perguntas aprovadas do que as usadas no teste, e cinco vezes mais no caso dos testes cognitivos. Isso permite que cada candidato receba uma seleção diferente, em uma ordem diferente, com as alternativas embaralhadas. O teste também precisa de um conjunto de prática: quatro perguntas fáceis que abrangem todos os formatos usados e são apresentadas aos candidatos antes do início das perguntas pontuadas.

Cada teste publicado é uma versão fixa. Quando um empregador ativa uma vaga, ela mantém a versão com a qual foi iniciada, e cada pontuação registra a versão usada para calculá-la. Se o teste for aprimorado posteriormente, os resultados anteriores mantêm seu significado original, e você sempre pode explicar como um resultado passado foi obtido. Nada é apagado: uma pergunta retirada de uso é arquivada, junto com o motivo, e seu histórico é mantido.

Os gabaritos e os bancos de questões nunca saem dos nossos servidores. Os candidatos recebem uma pergunta por vez, e os empregadores veem as pontuações por sub-habilidade, em vez do texto das perguntas. Assim, o conteúdo permanece seguro para o próximo candidato. A visão geral sobre prevenção de cola explica como esse design torna os testes resistentes à IA.

Etapa 5: monitoramento contínuo e parâmetros de comparação baseados em candidatos reais

Quando os candidatos começam a fazer um teste, um monitoramento estatístico diário observa o desempenho de cada questão na prática: com que frequência ela é respondida corretamente e se os candidatos com melhor desempenho acertam mais do que os candidatos com desempenho mais baixo. Esse é o princípio da análise de itens. Uma questão que apresenta problemas é retirada de uso para revisão e substituída por uma nova.

Os mesmos dados formam o benchmark do teste. Os benchmarks da HireValid vêm dos próprios candidatos da plataforma, separadamente para cada versão do teste. Um teste exibe percentis quando 50 candidatos o concluem. Até a amostra chegar a 200, cada percentil é identificado como benchmark provisório, junto com o tamanho da amostra; a partir de 200, é identificado como benchmark de candidatos da HireValid, também com o tamanho da amostra. Os benchmarks são recalculados diariamente e atualizados conforme cada amostra cresce, e cada resultado registra a versão do benchmark usada na comparação. A página de benchmarks explica como interpretar um percentil.

Validade e confiabilidade dos testes: como entendemos esses conceitos

Confiabilidade indica se um teste mede de forma consistente, e validade indica se ele mede o que a função exige. Ambas começam pelo planejamento do teste: ele deve ser elaborado com base nas habilidades realmente usadas na função e avaliar sub-habilidades bem definidas, com perguntas suficientes para oferecer um panorama estável.

O processo acima ajuda a proteger a confiabilidade e a validade. A revisão independente remove perguntas ambíguas ou com gabarito incorreto, que poderiam gerar ruído. Bancos extensos, com distribuições de dificuldade controladas, mantêm os testes de diferentes pessoas candidatas comparáveis. As estatísticas das questões, obtidas com pessoas candidatas reais, mostram quais perguntas diferenciam desempenhos mais fortes dos mais fracos e permitem retirar as que não fazem essa distinção. À medida que as amostras aumentam, essas estatísticas formam uma base de evidências cada vez maior para cada teste, reunida a partir das pessoas que realmente o fazem.

Para o empregador, as recomendações práticas são simples: escolha testes adequados à função, aplique o mesmo teste e conceda o mesmo tempo a todas as pessoas candidatas, ofereça uma adaptação quando solicitada e verifique as taxas de seleção após cada etapa. Nossa abordagem de equidade e o guia sobre testes pré-contratação explicam essas etapas em mais detalhes.

Verificações de equidade que continuam após o lançamento

A equidade não é uma verificação feita uma única vez. Cada teste inclui uma nota sobre equidade, as pessoas candidatas podem receber mais tempo, e as perguntas de prática evitam que alguém encontre um formato desconhecido pela primeira vez durante o teste.

As empresas também devem verificar seus próprios resultados. Depois de cada rodada de contratação, compare as taxas de seleção entre os grupos de pessoas candidatas. A regra dos quatro quintos é uma verificação inicial comum. Uma diferença é um sinal para que uma pessoa analise melhor o teste, a função e o processo, nunca uma conclusão por si só.

Nada na HireValid rejeita, oculta ou classifica automaticamente uma pessoa candidata. As pontuações, as referências e as evidências de integridade ajudam a empresa, que toma todas as decisões.