КАК РАБОТАЕТ HIREVALID · РАЗРАБОТКА ТЕСТОВ

Как мы разрабатываем тесты: процесс создания оценочных заданий

Каждый тест HireValid создаётся по единому процессу разработки оценочных тестов: письменная спецификация, вопросы, проверенные независимыми рецензентами, большие банки вопросов, выпуск версий и нормативы, сформированные на основе данных реальных кандидатов.

  • У каждого теста есть письменный план
  • На каждый вопрос отвечают вслепую до его публикации
  • Сравнительные данные от реальных кандидатов HireValid
Числовое мышление · версия 3
  1. План тестаНавыки, сложность и время настроены
  2. Составленные вопросыСоставлено по структуре
  3. Независимая проверкаОтветы без указания личности, проверка на предвзятость
  4. Опубликованная версияОдинаковые для всех кандидатов
  5. Сопоставлено с эталономКандидаты HireValid, n = 214
Иллюстративный предварительный просмотр, вымышленные данные.
ОТ СПЕЦИФИКАЦИИ ДО НОРМАТИВА

Тесты, разработанные с учетом справедливости, ясности и устойчивости к ИИ.

01

Сначала план теста

Каждый тест составляется с учётом навыков, необходимых для должности, распределения вопросов по сложности и временного ограничения.

02

Соответствует плану теста

Вопросы с одним обоснованным ответом, правдоподобными неверными вариантами и без подвоха в формулировках.

03

Независимая проверка

Незнакомый с ответами рецензент, использующий другую модель ИИ, отвечает на каждый вопрос и проверяет его на предвзятость.

04

Наблюдение во время использования

Статистика в реальном времени отслеживает каждый вопрос, а нормативы формируются на основе результатов реальных кандидатов.

Короткий ответ

Процесс разработки наших тестов состоит из пяти этапов. Для каждого теста сначала создаётся план, в котором определяются навыки, время и уровень сложности. Затем по этому плану составляются вопросы. Каждый вопрос проходит независимую проверку: проверяющий отвечает на него вслепую и оценивает его по контрольному списку качества. Публикуются только прошедшие проверку вопросы. Их достаточно много, чтобы каждый кандидат получал свой вариант теста. После публикации мы отслеживаем статистику по каждому вопросу, а нормативные показатели формируем на основе данных реальных кандидатов HireValid.

КАК ЭТО РАБОТАЕТ

Кратко о разработке оценочных тестов HireValid

  1. План теста

    Что измеряет тест, какие навыки и с каким весом он оценивает, а также его уровень, время прохождения и распределение вопросов по сложности.

  2. Написать

    Вопросы составляются по требованиям к каждому набору, а почти точные копии уже существующих вопросов исключаются.

  3. Проверить

    При независимой проверке на каждый вопрос отвечают вслепую, как это сделал бы кандидат, а затем оценивают его по контрольному списку качества.

  4. Опубликовать

    Тест публикуется как фиксированная версия только тогда, когда объёма каждого пула достаточно и тренировочные вопросы одобрены.

  5. Монитор

    Ежедневная статистика по каждому активному вопросу и нормативы, сформированные на основе данных кандидатов HireValid по мере увеличения выборки.

01

Этап 1: каждый тест начинается с плана

Разработка теста начинается задолго до появления первого вопроса. Для каждого теста HireValid есть письменная спецификация, которая отвечает на вопросы, важные для ответственного руководителя по найму:

  • Что измеряет тест и для каких должностей предназначен? Краткое описание навыка и подходящих должностей указано в библиотеке тестов.
  • Какие навыки оцениваются? Каждый тест разделен на поднавыки с названиями и весами, например чтение таблиц или поиск ошибок. Так работодатель видит подробную разбивку результата, не видя ни одного вопроса.
  • Сколько длится тест и насколько он сложный? Большинство тестов занимает не более 15 минут. В каждом наборе вопросов предусмотрено разное соотношение уровней сложности, например 30% простых, 50% средней сложности и 20% сложных. В спецификации указано, сколько вопросов берется из каждого набора.
  • Какие вспомогательные средства разрешены? Если этого требует задание, кандидату на вводной карточке сообщают, что можно пользоваться калькулятором на экране или черновиком.
  • Для кого тест справедлив? К каждому тесту прилагается примечание о справедливости. В нем указано, что сделано для обеспечения справедливости и когда нужен компьютер, а не телефон.

Спецификация помогает сосредоточить тест на требованиях работы. В него не включают вопросы, которые не относятся к одному из его поднавыков.

02

Этап 2: вопросы составляются по плану

Для каждого банка вопросов предусмотрена собственная спецификация: тема, проверяемый навык, используемые форматы вопросов и распределение по уровням сложности. Вопросы составляются с помощью ИИ в соответствии с этой спецификацией. Это позволяет создавать гораздо более крупные банки, чем можно было бы составить вручную, чтобы каждый кандидат мог получить свой набор.

Для каждого вопроса действуют правила составления:

  • Один правильный ответ. У каждого вопроса, оцениваемого в баллах, есть ровно один обоснованный ответ, а каждый неправильный вариант выглядит правдоподобно, но очевидно неверен для человека, владеющего проверяемым навыком.
  • Форматы, устойчивые к ИИ. Вместо текста, который легко скопировать в чат-бот, мы предпочитаем таблицы, рисунки, последовательности и детали сценариев. Не менее трети каждого теста на когнитивные способности состоит из таблиц или рисунков.
  • Подходящие временные ограничения. Компетентный человек может спокойно ответить в отведённое время, которое достаточно коротко, чтобы поиск ответа был непрактичным.
  • Корректный язык. Вопросы не требуют культурно-специфических знаний, понимания идиом, знаний о спорте, валюте или праздниках, если это не нужно для работы. Имена и сценарии разнообразны, а уровень чтения соответствует должности.

Новый вопрос, слишком похожий на уже имеющийся в банке, автоматически отклоняется. Так банки становятся разнообразнее, а не пополняются почти одинаковыми вопросами.

03

Этап 3: независимая проверка каждого вопроса

Прежде чем вопрос попадёт к кандидату, он проходит независимую проверку. Для проверки используется модель из другого семейства ИИ-моделей, чем та, которая составила вопрос, поэтому их слабые места не совпадают.

Проверка состоит из двух частей. Сначала модель отвечает на вопрос вслепую, точно как кандидат, не видя ключа с ответом. Если она не может дать ответ из ключа, вопрос недостаточно понятен и не публикуется. Затем она оценивает вопрос по контрольному списку: верен ли ответ в ключе и является ли он единственным обоснованным ответом; правдоподобны ли неправильные варианты; соответствует ли заявленному уровень сложности; проверяет ли вопрос именно тот навык, который заявлен; свободен ли он от культурных предположений; содержат ли таблицы и изображения нужную для ответа информацию; есть ли у каждого изображения альтернативный текст, которого достаточно для ответа пользователя программы чтения с экрана?

Вопросы с оценкой 80 или выше публикуются. Вопросы с более низкой оценкой отклоняются, а причины фиксируются. Их заменяют в следующем цикле подготовки вопросов. Параллельно с проверкой выполняются автоматические проверки: ответы в заданиях с электронными таблицами пересчитываются с помощью нашей собственной системы формул, ответы в заданиях по программированию проверяются на тестовых случаях, а текст проверяется на американское написание и утверждения, которых мы никогда не делаем. Если вопрос впоследствии редактируется, он становится новой версией и проходит ту же проверку заново.

СРАВНЕНИЕ
Что независимая проверка оценивает в каждом вопросе
Что проверяетсяПочему это важно для вас
Правильный ответ, один вариантОтвет вслепую совпадает с ключом; есть только один обоснованный ответОценки отражают навыки, а не неоднозначность формулировок
Правдоподобные неверные вариантыОчевидно неверный для человека с нужным навыком, но заманчивый для того, кому его не хватаетВопрос помогает различать кандидатов
Точная оценка сложности и отдельных навыковСложность и проверяемый навык соответствуют тому, что действительно проверяет вопросНадёжная оценка отдельных навыков
Справедливо для каждого кандидатаБез проверки культурных знаний, идиом или стереотипов; подходящий уровень чтенияПроверка навыков для работы, а не биографии
ДоступноТаблицы остаются таблицами; альтернативный текст помогает пользователям программ экранного доступа отвечатьКандидаты, использующие вспомогательные технологии, не оказываются в невыгодном положении
04

Этап 4: публикация зафиксированной версии

Тест публикуется, только если в каждом пуле есть как минимум втрое больше одобренных вопросов, чем используется в тесте, а для когнитивных тестов - впятеро больше. Благодаря этому каждый кандидат получает разный набор вопросов в разном порядке, с перемешанными вариантами ответов. Для теста также нужен тренировочный набор: четыре простых вопроса, охватывающих все используемые в нём форматы. Кандидаты видят их до начала оценочной части.

Каждый опубликованный тест представляет собой фиксированную версию. Когда работодатель активирует вакансию, для неё сохраняется первоначальная версия теста, а в каждом результате указывается версия системы оценки, которая его сформировала. Если тест позднее улучшат, прежние результаты сохранят исходное значение, и вы всегда сможете объяснить, как был получен результат. Ничего не удаляется: вопрос, выведенный из использования, архивируется с указанием причины, а история его изменений сохраняется.

Ключи ответов и пулы вопросов никогда не покидают наши серверы. Кандидаты получают вопросы по одному, а работодатели видят оценки по отдельным навыкам, а не текст вопросов. Это помогает защитить содержимое для следующих кандидатов. В обзоре мер против списывания объясняется, как эта структура помогает защитить тесты от использования ИИ.

05

Этап 5: текущий мониторинг и сравнительные показатели по реальным кандидатам

Когда кандидаты начинают проходить тест, система ежедневно анализирует статистику по каждому вопросу: как часто на него отвечают правильно и чаще ли правильный ответ дают сильные кандидаты, чем менее сильные. Это основа анализа заданий. Вопрос, который ведёт себя некорректно, временно снимают с использования для проверки и заменяют новым.

На основе тех же данных формируется ориентир для теста. Ориентиры HireValid основаны на результатах кандидатов, прошедших тесты HireValid, и рассчитываются отдельно для каждой версии теста. Процентили отображаются, когда тест завершили 50 кандидатов. Пока выборка не достигла 200 кандидатов, каждый процентиль помечается как предварительный ориентир с указанием размера выборки. При выборке от 200 кандидатов он помечается как ориентир по кандидатам HireValid с указанием размера выборки. Ориентиры пересчитываются ежедневно и обновляются по мере увеличения каждой выборки. В каждом результате указана версия ориентира, с которой его сравнивали. На странице ориентиров объясняется, как интерпретировать процентиль.

06

Валидность и надежность тестов: наш подход

Надёжность показывает, насколько последовательно тест измеряет результат, а валидность - насколько он измеряет то, что требуется для работы. И то и другое начинается с плана теста: он должен охватывать навыки, которые действительно нужны на должности, оценивать понятные отдельные навыки и содержать достаточно вопросов по каждому из них, чтобы дать устойчивую картину.

Описанный выше процесс помогает обеспечить и надёжность, и валидность. Независимая проверка устраняет неоднозначные вопросы и вопросы с неверными ключами ответов, которые могли бы добавить шума. Большие банки заданий с контролируемым соотношением вопросов разной сложности помогают сравнивать результаты разных кандидатов. Статистика по ответам реальных кандидатов показывает, какие вопросы позволяют отличить более сильные результаты от более слабых, а вопросы, которые этого не делают, исключаются. По мере накопления данных у каждого теста растёт доказательная база, сформированная на основе ответов людей, которые действительно проходят этот тест.

Для работодателя практические правила просты: выбирайте тесты, соответствующие должности, предлагайте всем кандидатам один и тот же тест и одинаковое время на его выполнение, по запросу предоставляйте разумные условия и проверяйте показатели отбора после каждого раунда. Подробнее об этих шагах рассказывают наш подход к справедливости и руководство по тестированию при приёме на работу.

07

Проверки справедливости продолжаются и после запуска

Справедливость нельзя проверить только один раз. К каждому тесту прилагается пояснение о справедливости. Кандидатам можно дать дополнительное время, а тренировочные вопросы помогают заранее познакомиться с форматом, чтобы никто не сталкивался с ним впервые во время теста.

Работодателям также следует проверять результаты собственного отбора. После каждого этапа найма сравнивайте долю отобранных кандидатов в разных группах; правило четырёх пятых - распространённая отправная точка. Различие - повод внимательнее изучить тест, должность и процесс, но не самостоятельный вердикт.

HireValid ничего не отклоняет, не скрывает и не ранжирует автоматически. Результаты, сравнительные показатели и данные о добросовестности помогают работодателю принять решение. Все решения принимает работодатель.

ПОПРОБУЙТЕ ПРИ СЛЕДУЮЩЕМ НАЙМЕ

Ознакомьтесь с тестами

Просмотрите библиотеку, попробуйте тренировочный вопрос и за несколько минут соберите набор тестов для вакансии. Бесплатно для трёх кандидатов.

Начать бесплатноПросмотреть библиотеку тестов Тариф Free. Банковская карта не нужна.
ОТВЕТЫ НА ВАШИ ВОПРОСЫ

Часто задаваемые вопросы

Ещё сомневаетесь? Начните с тарифа Free и попробуйте его для реальной вакансии.

Начать бесплатно
Кто составляет вопросы для тестов HireValid?+

Вопросы создаются с помощью ИИ в соответствии с подробными требованиями к каждому набору вопросов. Команда HireValid составляет эти требования на основе плана теста. Затем каждый вопрос проходит независимую проверку моделью из другого семейства ИИ. Модель отвечает на вопрос вслепую и оценивает его по контрольному списку качества. Публикуются только прошедшие проверку вопросы.

Как вы проверяете, что у каждого вопроса только один правильный ответ?+

При независимой проверке каждый вопрос решают вслепую, не видя правильного ответа. Затем проверяют, совпадает ли ответ с ключом и нельзя ли обосновать другой вариант. Ответы в электронных таблицах пересчитываются нашим механизмом формул, а решения задач по программированию проверяются на тестовых примерах. Вопрос, не прошедший хотя бы одну из этих проверок, не публикуется.

Почему каждый кандидат получает свой вариант теста?+

В каждом пуле есть как минимум втрое больше одобренных вопросов, чем попадает в один тест, а для тестов на когнитивные способности - впятеро больше. Для каждого кандидата тест формирует новую подборку вопросов в другом порядке и перемешивает варианты ответов. Так тесты остаются сопоставимыми, а общие вопросы становятся гораздо менее полезными.

Что происходит, если вопрос плохо показывает себя на реальных кандидатах?+

Ежедневный статистический мониторинг отслеживает каждый используемый вопрос: как часто на него отвечают правильно и чаще ли правильный ответ дают более сильные кандидаты, чем менее сильные. Вопрос, который показывает некорректные результаты, временно снимается с использования для проверки и заменяется, а его история сохраняется. Для предыдущих результатов сохраняется версия вопроса, по которой они оценивались.

Откуда берутся сравнительные показатели HireValid?+

Данные берутся у кандидатов HireValid отдельно для каждой версии теста. Перцентили появляются после того, как тест завершат 50 кандидатов. Пока число участников не достигнет 200, перцентили помечаются как предварительные, с указанием размера выборки. По мере роста выборки они пересчитываются ежедневно. В каждом результате указана версия сравнительного показателя, с которой его сопоставили, поэтому смысл результата не меняется незаметно.

Влияют ли изменения теста на уже полученные результаты?+

Нет. После активации вакансии для неё сохраняется версия теста, с которой она была запущена. В каждой оценке указываются использованные версии системы оценки и ориентира. Если позднее тест улучшат, новые вакансии получат обновлённую версию, а результаты по существующим вакансиям сохранят первоначальный смысл, и их всегда можно будет объяснить.

КОГДА ВЫ БУДЕТЕ ГОТОВЫ

Нанимайте с помощью справедливых тестов, устойчивых к списыванию с помощью ИИ

Выберите набор тестов для вакансии, отправьте одну ссылку и сравните реальные навыки кандидатов. Без годового контракта.

Начать бесплатноПосмотреть цены Тариф Free. Банковская карта не нужна.

Источники

  1. Единые руководящие принципы, 29 CFR 1607.4 (текст Cornell LII), проверено 2026-10-02
  2. EEOC США: тесты при приёме на работу и процедуры отбора, проверено 2026-10-01

О редакционной команде

Текст подготовлен и проверен редакционной командой HireValid. Источники проверены . Ознакомьтесь с редакционной политикой.

Тариф Free. Банковская карта не нужна.Начать бесплатно