Разработка тестов
Случайный выбор вопросов, ограниченное время и практические задания помогают затруднить получение посторонней помощи.
ИИ может предложить ответ. Смотрите на способности, стоящие за результатом.
Снизьте риск нераскрытого использования помощи ИИ благодаря продуманной структуре тестов и сигналам, которые можно проверить. Изучите смоделированный Integrity Score и посмотрите, как разные сигналы влияют на результат.
Смоделированных поводов для беспокойства нет. Это не гарантирует, что работа выполнена без посторонней помощи.
Переключите сигнал, чтобы посмотреть, что изменится.
Онлайн-наблюдение при найме означает удалённый контроль за тестом кандидата в прямом эфире, с помощью записи или программного обеспечения. HireValid использует более мягкий подход, чем полноценное удалённое наблюдение: тесты с ограничением времени и случайным порядком вопросов, а также сигналы добросовестности, например переключение вкладок, вставку текста и необычное распределение времени. Проверка с помощью камеры проводится по желанию и только с согласия кандидата. Сигналы учитываются при формировании Integrity Score, который проверяет человек. Они никогда не доказывают нарушение и не приводят к автоматическому отклонению кандидата.
Могли ли прерывание или вспомогательная технология изменить фокус?
Была ли задача вам знакома, неправильно понята или прервана?
Какими инструментами разрешалось пользоваться для этого задания?
Какие ещё данные подтверждают это опасение? Детекторы ненадёжны.
Этот подход объединяет профилактику, сбор доказательств и оценку человеком.
Случайный выбор вопросов, ограниченное время и практические задания помогают затруднить получение посторонней помощи.
Внимание, время выполнения и другие контекстные сигналы помогают проверяющему задавать конкретные вопросы.
Дайте кандидату возможность объясниться. Один сигнал никогда не доказывает недобросовестное поведение.
При разработке тестов используются случайная выборка вопросов, ограничение времени на каждый вопрос и задания, в которых кандидатам нужно применить полученную информацию. Одноразовые приглашения и передача данных на стороне сервера помогают ограничить доступ к содержанию теста.
В некоторых тестах могут быть ограничены копирование, вставка или выход из полноэкранного режима. Кандидату необходимо объяснить эти настройки до начала теста. Они уменьшают возможности получить помощь, но не доказывают, что помощь невозможна.
В зависимости от включённых настроек к данным для оценки добросовестности могут относиться переключения фокуса браузера, события вставки, серии быстрых нажатий клавиш и необычное время ответа. При наличии соответствующего уведомления и согласия можно включить необязательные снимки с веб-камеры для проверки того, присутствует ли человек в кадре.
Дополнительный контекст могут дать закономерности в данных об устройстве и сети, сходство ответов и вероятность того, что текст создан ИИ. Вероятность создания текста ИИ - слабый сигнал, поскольку детекторы ненадёжны.
Иллюстративная оценка варьируется от 0 до 100 и включает три диапазона: «Высокая уверенность», «Рекомендуется проверка» и «Серьёзные поводы для беспокойства». Более высокие оценки указывают на меньшее количество поводов для беспокойства согласно заданным правилам, но не дают уверенности в том, что произошло.
В интерактивной демонстрации используются иллюстративные веса. Для правил, применяемых в рабочей версии, необходимы версионирование и проверка. Никогда не отклоняйте кандидата автоматически и не считайте один сигнал доказательством недобросовестного поведения.
Тесты в браузере не позволяют надёжно обнаружить каждое дополнительное устройство, наложение поверх экрана или постороннюю помощь. Мы не утверждаем, что обнаруживаем невидимые наложения. Обычные прерывания, вспомогательные технологии и проблемы с сетью также могут создавать сигналы.
Уточните контекст, проверьте выполненную работу и дайте кандидатам возможность объясниться на равных. Цель - собрать более убедительные данные, а не получить обвинение, сформированное программой.
Если функции камеры доступны, необходимо заранее уведомить об этом, получить согласие, ограничить доступ и раскрыть сроки хранения данных. Интерактивная демонстрация на этом сайте не собирает данные камеры или личности.
До начала тестирования работодатели должны сообщить сроки хранения данных, применяемые настройки мониторинга и доступные альтернативные способы оценки. Ознакомьтесь с Уведомлением о конфиденциальности для кандидатов и Политикой в отношении биометрических данных.
Удаленный прокторинг и сигналы добросовестности призваны повысить доверие к результатам тестирования, но работают по-разному и предъявляют к кандидатам разные требования.
Прокторинг в реальном времени предполагает, что наблюдатель находится с кандидатом на видеосвязи на протяжении всего тестирования. При записываемом прокторинге камера, микрофон или экран записываются для последующей проверки; программа часто отмечает моменты, на которые стоит обратить внимание. Защищенный браузер ограничивает действия кандидата на компьютере во время тестирования. Сигналы добросовестности - подход, который использует HireValid, - фиксируют отдельные события во время тестирования, например переход на другую вкладку, вставку текста или необычное время ответа, и обобщают их для проверки. Проверка с помощью камеры может проводиться дополнительно, только если она включена с предварительным уведомлением и согласия кандидата.
В таблице эти подходы сравниваются в общих чертах. Ни один из них не выявляет все случаи использования второго устройства, наложения поверх экрана или помощи со стороны; каждый подход снижает возможности для этого и предоставляет дополнительные свидетельства. Полный обзор ИИ-помощников на собеседованиях смотрите в руководстве для работодателей по инструментам для обмана с помощью ИИ на собеседованиях. Об отдельных инструментах читайте в статьях Можно ли обнаружить Cluely? и Cluely и Interview Coder. О том, как эти меры защиты объединены в одном продукте, читайте на странице Тесты для найма с защитой от ИИ.
| Затраты и усилия | Опыт кандидатов | Конфиденциальность | Что оно может выявить | |
|---|---|---|---|---|
| Прокторинг в реальном времени | Самый высокий: один человек на сеанс | Запланировано; наблюдение на протяжении всего теста | Проверка камеры, аудио и часто помещения | Помощники в поле зрения и поведение перед камерой |
| Записываемый прокторинг | Средние: программное обеспечение и время на проверку | По запросу; запись ведётся на протяжении всего теста | Сохраняет записи с камеры, аудио или экрана | Отмеченные моменты для проверки |
| Браузер с блокировкой действий | Низкий или средний: установка и поддержка | Требуется скачать программу на устройство для прохождения теста | Контролирует устройство для прохождения теста | Другие приложения на этом устройстве, а не второе устройство |
| Сигналы добросовестности (HireValid) | Низкий: встроено в тест | Ссылка в браузере; правила показаны до начала | События в браузере; камера - только с согласия | Переключения вкладок, вставки и временные закономерности для проверки |
У усиленного дистанционного наблюдения есть издержки, которые не указаны в прайс-листе. Для многих людей стрессово находиться под записью камеры в течение часа, а стресс может снизить результаты именно по тем навыкам, которые вы хотите оценить. Кандидатов, у которых нет тихого уединённого помещения, надёжной веб-камеры или современного компьютера, могут отметить по причинам, не связанным с честностью. Записи лиц, голосов и жилых помещений относятся к чувствительным персональным данным: их нужно хранить в безопасности, а затем удалять.
Это не значит, что наблюдение недопустимо: для некоторых должностей с высокими ставками оно может быть оправдано. Уровень контроля должен соответствовать этим ставкам, быть заранее разъяснённым и предусматривать получение согласия и альтернативный вариант для кандидатов, которым он необходим. В США рекомендации EEOC по тестам при приёме на работу и процедурам отбора разъясняют обязанность работодателей обеспечивать разумные условия при проведении тестов. Проверки с помощью камеры в HireValid необязательны, требуют предварительного уведомления и согласия, а срок хранения записей должен быть раскрыт. В наших материалах о подходе к справедливости и руководстве для кандидатов объясняется, какую информацию получают кандидаты.
При сравнении программ для прокторинга или предотвращения списывания при найме воспользуйтесь этим списком:
В центре сравнения можно узнать, как несколько поставщиков тестов описывают свои функции контроля добросовестности, со ссылками на источники.
Показатель Integrity Score суммирует сигналы, записанные в соответствии с включёнными вами настройками. Каждый тип сигнала, например переключение фокуса браузера, вставка текста, резкие всплески печати или необычное время ответа, учитывается по заданным правилам. Проверка с помощью камеры учитывается только в том случае, если она включена с согласия кандидата. Дополнительный контекст могут дать закономерности, связанные с устройством и сетью, сходство ответов и вероятность того, что текст создан ИИ. Вероятность использования ИИ - слабый сигнал, поскольку детекторы ненадёжны.
Иллюстративная оценка варьируется от 0 до 100 и включает три диапазона: «Высокая уверенность», «Рекомендуется проверка» и «Серьёзные поводы для беспокойства». Более высокая оценка означает меньше поводов для беспокойства согласно заданным правилам, но не даёт уверенности в том, что произошло. В интерактивной демонстрации на этой странице используются иллюстративные веса; для правил, применяемых в рабочей версии, необходимы версионирование и проверка. Простое определение приведено в глоссарии в статье Integrity Score.
У каждого сигнала могут быть невиновные объяснения. Переключение вкладки может быть вызвано уведомлением или использованием вспомогательных технологий. Вставка текста может означать, что кандидат переносит собственные заметки в письменное задание, где это разрешено. Необычное время ответа может быть связано с медленным соединением, прерыванием или тем, что кандидат хорошо знает материал. Поэтому низкий балл означает «разберитесь внимательнее», но никогда не означает «этот человек списывал».
Если результат вызывает вопросы, изучите конкретные события, учтите контекст, задайте кандидату нейтральный вопрос и дайте ему возможность честно продемонстрировать навык, например в коротком дополнительном задании или на структурированном собеседовании. Зафиксируйте результаты проверки и принимайте решение на основании всех имеющихся данных. В справочной статье как понимать сигналы добросовестности описаны необходимые шаги, а в руководстве по предотвращению списывания при онлайн-тестировании рассматривается разработка тестов.
Начните бесплатно: пять кандидатов в месяц. В план Starter входят данные о добросовестности и отчёты в формате PDF.
Это дистанционное наблюдение за прохождением кандидатом оценки: в реальном времени со стороны человека, с помощью записи видео, аудио или экрана для последующей проверки либо с помощью программы, которая ограничивает или записывает действия. Оно призвано повысить доверие к результатам, но также влияет на опыт кандидата и его конфиденциальность, поэтому уровень контроля должен соответствовать значимости оценки.
Не в смысле наблюдения за тестированием в прямом эфире или его записи. Во время теста HireValid фиксирует сигналы добросовестности, например переключение вкладок, вставку текста и необычное распределение времени. Проверка с помощью камеры проводится по желанию и только с согласия кандидата. Сигналы суммируются в Integrity Score для проверки человеком.
Тест под наблюдением проходит под контролем лично или дистанционно, что позволяет работодателю с большей уверенностью судить о том, как он был выполнен. При дистанционном наблюдении могут использоваться видео в реальном времени, записи или программные средства контроля. До начала теста кандидату следует объяснить, за чем именно ведётся наблюдение.
Это может сократить некоторые возможности для недобросовестного поведения, но ни один метод прокторинга не обнаруживает каждое второе устройство, оверлей или помощь со стороны. Тесты с ограничением по времени и случайным порядком заданий, вопросы, требующие самостоятельных рассуждений кандидата, и структурированные последующие собеседования не менее важны, чем наблюдение.
Нет. Низкий балл означает, что зафиксированные сигналы указывают на необходимость внимательнее изучить ситуацию. У каждого сигнала может быть невиновное объяснение, например уведомление, проблема с подключением или использование вспомогательных технологий. Проверьте события, задайте кандидату вопросы и принимайте решение на основании всех имеющихся данных.
Только если работодатель включит необязательную проверку с помощью камеры. Для этого необходимо заранее уведомить кандидатов, получить их согласие, ограничить доступ и сообщить срок хранения данных. Кандидатам, которые не могут или не хотят пользоваться камерой, следует предложить другой способ показать свои навыки.
Программы для защиты от списывания отслеживают или ограничивают действия во время теста. Хорошо составленный тест изначально снижает пользу посторонней помощи благодаря ограничениям по времени, случайному порядку вопросов и заданиям, требующим самостоятельного мышления кандидата. Эти два подхода лучше всего работают вместе, когда человек проверяет собранные данные.
Когда заявки, созданные с помощью ИИ, усложняют отбор, одного краткого обзора результатов может быть недостаточно. Сравните данные о добросовестности и отчётность в Starter с планом Free.