Сначала план теста
Каждый тест составляется с учётом навыков, необходимых для должности, распределения вопросов по сложности и временного ограничения.
Каждый тест HireValid создаётся по единому процессу разработки оценочных тестов: письменная спецификация, вопросы, проверенные независимыми рецензентами, большие банки вопросов, выпуск версий и нормативы, сформированные на основе данных реальных кандидатов.
Каждый тест составляется с учётом навыков, необходимых для должности, распределения вопросов по сложности и временного ограничения.
Вопросы с одним обоснованным ответом, правдоподобными неверными вариантами и без подвоха в формулировках.
Незнакомый с ответами рецензент, использующий другую модель ИИ, отвечает на каждый вопрос и проверяет его на предвзятость.
Статистика в реальном времени отслеживает каждый вопрос, а нормативы формируются на основе результатов реальных кандидатов.
Процесс разработки наших тестов состоит из пяти этапов. Для каждого теста сначала создаётся план, в котором определяются навыки, время и уровень сложности. Затем по этому плану составляются вопросы. Каждый вопрос проходит независимую проверку: проверяющий отвечает на него вслепую и оценивает его по контрольному списку качества. Публикуются только прошедшие проверку вопросы. Их достаточно много, чтобы каждый кандидат получал свой вариант теста. После публикации мы отслеживаем статистику по каждому вопросу, а нормативные показатели формируем на основе данных реальных кандидатов HireValid.
Что измеряет тест, какие навыки и с каким весом он оценивает, а также его уровень, время прохождения и распределение вопросов по сложности.
Вопросы составляются по требованиям к каждому набору, а почти точные копии уже существующих вопросов исключаются.
При независимой проверке на каждый вопрос отвечают вслепую, как это сделал бы кандидат, а затем оценивают его по контрольному списку качества.
Тест публикуется как фиксированная версия только тогда, когда объёма каждого пула достаточно и тренировочные вопросы одобрены.
Ежедневная статистика по каждому активному вопросу и нормативы, сформированные на основе данных кандидатов HireValid по мере увеличения выборки.
Разработка теста начинается задолго до появления первого вопроса. Для каждого теста HireValid есть письменная спецификация, которая отвечает на вопросы, важные для ответственного руководителя по найму:
Спецификация помогает сосредоточить тест на требованиях работы. В него не включают вопросы, которые не относятся к одному из его поднавыков.
Для каждого банка вопросов предусмотрена собственная спецификация: тема, проверяемый навык, используемые форматы вопросов и распределение по уровням сложности. Вопросы составляются с помощью ИИ в соответствии с этой спецификацией. Это позволяет создавать гораздо более крупные банки, чем можно было бы составить вручную, чтобы каждый кандидат мог получить свой набор.
Для каждого вопроса действуют правила составления:
Новый вопрос, слишком похожий на уже имеющийся в банке, автоматически отклоняется. Так банки становятся разнообразнее, а не пополняются почти одинаковыми вопросами.
Прежде чем вопрос попадёт к кандидату, он проходит независимую проверку. Для проверки используется модель из другого семейства ИИ-моделей, чем та, которая составила вопрос, поэтому их слабые места не совпадают.
Проверка состоит из двух частей. Сначала модель отвечает на вопрос вслепую, точно как кандидат, не видя ключа с ответом. Если она не может дать ответ из ключа, вопрос недостаточно понятен и не публикуется. Затем она оценивает вопрос по контрольному списку: верен ли ответ в ключе и является ли он единственным обоснованным ответом; правдоподобны ли неправильные варианты; соответствует ли заявленному уровень сложности; проверяет ли вопрос именно тот навык, который заявлен; свободен ли он от культурных предположений; содержат ли таблицы и изображения нужную для ответа информацию; есть ли у каждого изображения альтернативный текст, которого достаточно для ответа пользователя программы чтения с экрана?
Вопросы с оценкой 80 или выше публикуются. Вопросы с более низкой оценкой отклоняются, а причины фиксируются. Их заменяют в следующем цикле подготовки вопросов. Параллельно с проверкой выполняются автоматические проверки: ответы в заданиях с электронными таблицами пересчитываются с помощью нашей собственной системы формул, ответы в заданиях по программированию проверяются на тестовых случаях, а текст проверяется на американское написание и утверждения, которых мы никогда не делаем. Если вопрос впоследствии редактируется, он становится новой версией и проходит ту же проверку заново.
| Что проверяется | Почему это важно для вас | |
|---|---|---|
| Правильный ответ, один вариант | Ответ вслепую совпадает с ключом; есть только один обоснованный ответ | Оценки отражают навыки, а не неоднозначность формулировок |
| Правдоподобные неверные варианты | Очевидно неверный для человека с нужным навыком, но заманчивый для того, кому его не хватает | Вопрос помогает различать кандидатов |
| Точная оценка сложности и отдельных навыков | Сложность и проверяемый навык соответствуют тому, что действительно проверяет вопрос | Надёжная оценка отдельных навыков |
| Справедливо для каждого кандидата | Без проверки культурных знаний, идиом или стереотипов; подходящий уровень чтения | Проверка навыков для работы, а не биографии |
| Доступно | Таблицы остаются таблицами; альтернативный текст помогает пользователям программ экранного доступа отвечать | Кандидаты, использующие вспомогательные технологии, не оказываются в невыгодном положении |
Тест публикуется, только если в каждом пуле есть как минимум втрое больше одобренных вопросов, чем используется в тесте, а для когнитивных тестов - впятеро больше. Благодаря этому каждый кандидат получает разный набор вопросов в разном порядке, с перемешанными вариантами ответов. Для теста также нужен тренировочный набор: четыре простых вопроса, охватывающих все используемые в нём форматы. Кандидаты видят их до начала оценочной части.
Каждый опубликованный тест представляет собой фиксированную версию. Когда работодатель активирует вакансию, для неё сохраняется первоначальная версия теста, а в каждом результате указывается версия системы оценки, которая его сформировала. Если тест позднее улучшат, прежние результаты сохранят исходное значение, и вы всегда сможете объяснить, как был получен результат. Ничего не удаляется: вопрос, выведенный из использования, архивируется с указанием причины, а история его изменений сохраняется.
Ключи ответов и пулы вопросов никогда не покидают наши серверы. Кандидаты получают вопросы по одному, а работодатели видят оценки по отдельным навыкам, а не текст вопросов. Это помогает защитить содержимое для следующих кандидатов. В обзоре мер против списывания объясняется, как эта структура помогает защитить тесты от использования ИИ.
Когда кандидаты начинают проходить тест, система ежедневно анализирует статистику по каждому вопросу: как часто на него отвечают правильно и чаще ли правильный ответ дают сильные кандидаты, чем менее сильные. Это основа анализа заданий. Вопрос, который ведёт себя некорректно, временно снимают с использования для проверки и заменяют новым.
На основе тех же данных формируется ориентир для теста. Ориентиры HireValid основаны на результатах кандидатов, прошедших тесты HireValid, и рассчитываются отдельно для каждой версии теста. Процентили отображаются, когда тест завершили 50 кандидатов. Пока выборка не достигла 200 кандидатов, каждый процентиль помечается как предварительный ориентир с указанием размера выборки. При выборке от 200 кандидатов он помечается как ориентир по кандидатам HireValid с указанием размера выборки. Ориентиры пересчитываются ежедневно и обновляются по мере увеличения каждой выборки. В каждом результате указана версия ориентира, с которой его сравнивали. На странице ориентиров объясняется, как интерпретировать процентиль.
Надёжность показывает, насколько последовательно тест измеряет результат, а валидность - насколько он измеряет то, что требуется для работы. И то и другое начинается с плана теста: он должен охватывать навыки, которые действительно нужны на должности, оценивать понятные отдельные навыки и содержать достаточно вопросов по каждому из них, чтобы дать устойчивую картину.
Описанный выше процесс помогает обеспечить и надёжность, и валидность. Независимая проверка устраняет неоднозначные вопросы и вопросы с неверными ключами ответов, которые могли бы добавить шума. Большие банки заданий с контролируемым соотношением вопросов разной сложности помогают сравнивать результаты разных кандидатов. Статистика по ответам реальных кандидатов показывает, какие вопросы позволяют отличить более сильные результаты от более слабых, а вопросы, которые этого не делают, исключаются. По мере накопления данных у каждого теста растёт доказательная база, сформированная на основе ответов людей, которые действительно проходят этот тест.
Для работодателя практические правила просты: выбирайте тесты, соответствующие должности, предлагайте всем кандидатам один и тот же тест и одинаковое время на его выполнение, по запросу предоставляйте разумные условия и проверяйте показатели отбора после каждого раунда. Подробнее об этих шагах рассказывают наш подход к справедливости и руководство по тестированию при приёме на работу.
Справедливость нельзя проверить только один раз. К каждому тесту прилагается пояснение о справедливости. Кандидатам можно дать дополнительное время, а тренировочные вопросы помогают заранее познакомиться с форматом, чтобы никто не сталкивался с ним впервые во время теста.
Работодателям также следует проверять результаты собственного отбора. После каждого этапа найма сравнивайте долю отобранных кандидатов в разных группах; правило четырёх пятых - распространённая отправная точка. Различие - повод внимательнее изучить тест, должность и процесс, но не самостоятельный вердикт.
HireValid ничего не отклоняет, не скрывает и не ранжирует автоматически. Результаты, сравнительные показатели и данные о добросовестности помогают работодателю принять решение. Все решения принимает работодатель.
Просмотрите библиотеку, попробуйте тренировочный вопрос и за несколько минут соберите набор тестов для вакансии. Бесплатно для трёх кандидатов.
Ещё сомневаетесь? Начните с тарифа Free и попробуйте его для реальной вакансии.
Начать бесплатноВопросы создаются с помощью ИИ в соответствии с подробными требованиями к каждому набору вопросов. Команда HireValid составляет эти требования на основе плана теста. Затем каждый вопрос проходит независимую проверку моделью из другого семейства ИИ. Модель отвечает на вопрос вслепую и оценивает его по контрольному списку качества. Публикуются только прошедшие проверку вопросы.
При независимой проверке каждый вопрос решают вслепую, не видя правильного ответа. Затем проверяют, совпадает ли ответ с ключом и нельзя ли обосновать другой вариант. Ответы в электронных таблицах пересчитываются нашим механизмом формул, а решения задач по программированию проверяются на тестовых примерах. Вопрос, не прошедший хотя бы одну из этих проверок, не публикуется.
В каждом пуле есть как минимум втрое больше одобренных вопросов, чем попадает в один тест, а для тестов на когнитивные способности - впятеро больше. Для каждого кандидата тест формирует новую подборку вопросов в другом порядке и перемешивает варианты ответов. Так тесты остаются сопоставимыми, а общие вопросы становятся гораздо менее полезными.
Ежедневный статистический мониторинг отслеживает каждый используемый вопрос: как часто на него отвечают правильно и чаще ли правильный ответ дают более сильные кандидаты, чем менее сильные. Вопрос, который показывает некорректные результаты, временно снимается с использования для проверки и заменяется, а его история сохраняется. Для предыдущих результатов сохраняется версия вопроса, по которой они оценивались.
Данные берутся у кандидатов HireValid отдельно для каждой версии теста. Перцентили появляются после того, как тест завершат 50 кандидатов. Пока число участников не достигнет 200, перцентили помечаются как предварительные, с указанием размера выборки. По мере роста выборки они пересчитываются ежедневно. В каждом результате указана версия сравнительного показателя, с которой его сопоставили, поэтому смысл результата не меняется незаметно.
Нет. После активации вакансии для неё сохраняется версия теста, с которой она была запущена. В каждой оценке указываются использованные версии системы оценки и ориентира. Если позднее тест улучшат, новые вакансии получат обновлённую версию, а результаты по существующим вакансиям сохранят первоначальный смысл, и их всегда можно будет объяснить.
Выберите набор тестов для вакансии, отправьте одну ссылку и сравните реальные навыки кандидатов. Без годового контракта.