테스트 개발 과정: 평가 개발 단계

1단계: 모든 테스트는 설계안에서 시작합니다

테스트 개발은 첫 문항을 만들기 훨씬 전부터 시작됩니다. HireValid의 각 테스트에는 신중한 채용 담당자가 궁금해할 질문에 답하는 서면 설계안이 있습니다.

• 무엇을 측정하며, 어떤 직무에 적합한가요? 측정하는 역량과 적합한 직무를 한 줄로 설명하며, 테스트 라이브러리에서 확인할 수 있습니다.
• 어떤 세부 역량을 측정하나요? 모든 테스트는 표 읽기나 오류 찾기처럼 이름이 붙은 세부 역량으로 나뉘며, 각 역량의 비중도 표시합니다. 따라서 고용주는 문항을 보지 않고도 각 결과의 세부 내역을 확인할 수 있습니다.
• 시간과 난이도는 어떻게 되나요? 대부분의 테스트는 15분 이내에 진행됩니다. 각 문항 풀에는 난이도별 문항 비율이 있습니다. 예를 들어 쉬움 30%, 보통 50%, 어려움 20%로 구성할 수 있습니다. 설계안에는 각 문항 풀에서 몇 개의 문항을 출제하는지도 표시합니다.
• 어떤 도구를 사용할 수 있나요? 업무에 따라 화면 계산기나 메모지를 사용할 수 있으며, 허용되는 도구는 지원자 안내 카드에 표시됩니다.
• 누구에게 공정한가요? 각 테스트에는 공정성을 위해 취한 조치를 기록한 공정성 안내가 포함됩니다. 휴대전화가 아닌 데스크톱이 필요한 경우도 안내합니다.

설계안은 테스트가 직무에 초점을 맞추도록 합니다. 세부 역량을 측정하지 않는 문항은 포함하지 않습니다.

2단계: 설계안에 따라 질문을 작성합니다

각 문제 풀에는 주제, 평가하려는 세부 역량, 사용할 문제 형식, 난이도 구성 등 고유한 명세가 있습니다. AI의 도움을 받아 이 명세에 맞춰 문제를 작성합니다. 덕분에 사람이 직접 작성하는 테스트보다 훨씬 큰 문제 풀을 구성해 지원자마다 서로 다른 문제를 제공할 수 있습니다.

모든 문제에는 다음 작성 원칙이 적용됩니다.

• 정답은 하나입니다. 점수가 부여되는 모든 문제에는 타당한 답이 하나뿐입니다. 오답 선택지는 그럴듯하지만 해당 역량이 있는 사람에게는 명확히 틀린 답이어야 합니다.
• AI 사용에 강한 문제 형식. 챗봇에 그대로 붙여넣기 쉬운 문장보다 표, 그림, 순서 배열, 시나리오 세부 정보를 우선합니다. 모든 인지 능력 테스트에서 최소 3분의 1은 표나 그림을 활용합니다.
• 적절한 제한 시간. 역량이 있는 사람이라면 제한 시간 안에 무리 없이 답할 수 있어야 합니다. 제한 시간은 답을 찾아보는 것이 현실적으로 어렵도록 짧게 설정합니다.
• 공정한 언어. 직무에 필요한 경우를 제외하고 문화권별 지식, 관용구, 스포츠, 통화 또는 공휴일에 의존하는 문제는 없습니다. 이름과 시나리오는 다양하게 구성하고, 읽기 수준은 직무에 맞춥니다.

문제 풀에 이미 있는 문제와 지나치게 비슷한 새 문제는 자동으로 제외되므로, 문제 풀은 유사한 문제의 반복이 아니라 다양성을 갖추며 확장됩니다.

3단계: 모든 질문을 독립적으로 검토합니다

지원자에게 문제가 제공되기 전에 독립적인 검토를 거칩니다. 검토에 사용하는 모델은 문제를 작성한 모델과 다른 AI 모델 계열에 속하므로, 두 모델이 같은 사각지대를 공유하지 않습니다.

검토는 두 부분으로 진행됩니다. 먼저, 정답을 보지 않고 지원자와 똑같이 문제에 답합니다. 정답으로 설정된 답에 도달하지 못하면 문제가 충분히 명확하지 않은 것으로 보고 공개하지 않습니다. 다음으로 체크리스트에 따라 문제를 평가합니다. 정답이 옳고 유일하게 타당한 답인지, 오답 선택지가 그럴듯한지, 난이도가 적절한지, 의도한 세부 역량을 평가하는지, 문화적 전제에서 자유로운지, 표와 그림이 문제에 필요한 정보를 제공하는지, 모든 이미지에 스크린 리더 사용자가 답을 찾을 수 있는 대체 텍스트가 있는지 확인합니다.

80점 이상을 받은 문제는 공개됩니다. 그보다 낮은 점수를 받은 문제는 사유를 기록한 뒤 제외하고, 다음 문제 작성 단계에서 대체합니다. 검토와 함께 자동 검사도 진행합니다. 스프레드시트 답변은 자체 수식 엔진으로 다시 계산하고, 코딩 답변은 테스트 케이스로 실행하며, 문구는 미국식 철자와 사용하지 않는 주장이 포함되어 있는지 확인합니다. 나중에 문제를 수정하면 새 버전으로 처리하고 같은 검토 절차를 다시 거칩니다.

4단계: 고정된 버전을 게시합니다

각 문항 풀에 테스트에서 사용하는 문항 수의 최소 3배에 해당하는 승인 문항이 있어야 테스트를 공개합니다. 인지 능력 테스트의 경우에는 5배가 필요합니다. 이렇게 해야 모든 지원자에게 서로 다른 문항이 다른 순서로 제공되고 답변 선택지도 섞을 수 있습니다. 테스트에는 연습 세트도 필요합니다. 사용하는 모든 형식을 다루는 쉬운 문항 네 개를 채점 문항이 시작되기 전에 지원자에게 보여줍니다.

공개된 각 테스트는 고정 버전으로 관리됩니다. 고용주가 채용 건을 활성화하면 해당 채용 건에는 처음 시작한 버전이 유지되며, 모든 점수에는 그 점수를 산출한 채점 버전이 기록됩니다. 나중에 테스트가 개선되더라도 이전 결과는 원래 의미를 유지하므로 과거 결과가 어떻게 산출되었는지 언제든 설명할 수 있습니다. 어떤 내용도 삭제되지 않습니다. 사용을 중단한 문항은 사유와 함께 폐기 처리하고 이력을 보관합니다.

정답과 문항 풀은 서버 밖으로 전송되지 않습니다. 지원자에게는 한 번에 한 문항씩 제공되며, 고용주에게는 문항 텍스트 대신 하위 역량별 점수가 표시됩니다. 따라서 다음 지원자를 위해 문항 내용을 안전하게 보호할 수 있습니다. 부정행위 방지 개요에서 이러한 설계가 테스트를 AI 사용에 강하게 만드는 방법을 설명합니다.

5단계: 실제 지원자를 통한 실시간 모니터링과 벤치마크

지원자가 테스트를 시작하면 매일 통계를 확인해 실제로 각 문항이 어떻게 작동하는지 살펴봅니다. 정답률과 우수한 지원자가 상대적으로 낮은 지원자보다 더 자주 정답을 맞히는지 확인합니다. 이것이 문항 분석의 핵심입니다. 제대로 작동하지 않는 문항은 검토를 위해 사용을 중단하고 새 문항으로 교체합니다.

같은 데이터는 테스트의 벤치마크를 만드는 데 사용됩니다. HireValid의 벤치마크는 HireValid 지원자 데이터를 바탕으로 하며, 테스트 버전별로 별도 산출됩니다. 지원자 50명이 테스트를 완료하면 테스트에 백분위수가 표시됩니다. 표본이 200명에 도달하기 전까지 각 백분위수에는 표본 크기와 함께 잠정 벤치마크라고 표시됩니다. 표본이 200명에 도달하면 표본 크기와 함께 HireValid 지원자 벤치마크라고 표시됩니다. 벤치마크는 매일 다시 계산되며 표본이 늘어날 때마다 갱신됩니다. 각 결과에는 비교에 사용된 벤치마크 버전이 기록됩니다. 벤치마크 페이지에서 백분위수를 해석하는 방법을 확인할 수 있습니다.

테스트의 타당도와 신뢰도: 두 가지를 바라보는 관점

신뢰도는 검사가 일관되게 측정하는지를, 타당도는 직무에 필요한 것을 측정하는지를 살펴봅니다. 둘 다 검사 설계도에서 시작합니다. 실제 직무에서 사용하는 역량을 바탕으로 검사를 구성하고, 명확한 하위 역량별로 점수를 산출하며, 안정적인 결과를 얻을 수 있도록 각 역량에 충분한 문항을 포함해야 합니다.

앞서 설명한 절차는 신뢰도와 타당도를 모두 뒷받침합니다. 독립적인 검토를 통해 결과에 잡음을 더할 수 있는 모호한 문항이나 정답이 잘못 지정된 문항을 제거합니다. 난이도 구성을 관리한 대규모 문항 풀은 지원자별 검사 결과를 비교할 수 있게 해 줍니다. 실제 지원자의 문항별 통계를 통해 어떤 문항이 높은 성과와 낮은 성과를 구분하는지 파악하고, 그렇지 않은 문항은 사용을 중단합니다. 응시자 표본이 늘어날수록 실제 검사를 치른 사람들로부터 수집한 통계가 각 검사의 근거 자료를 확충합니다.

고용주가 지킬 실무 원칙은 간단합니다. 직무에 맞는 검사를 선택하고, 모든 지원자에게 같은 검사와 시간을 제공하며, 요청이 있으면 편의 제공을 하고, 각 채용 과정이 끝난 뒤 선발률을 확인하세요. 공정성 접근 방식과 채용 전 검사 안내에서 이러한 절차를 자세히 설명합니다.

출시 후에도 이어지는 공정성 점검

공정성은 한 번 점검하고 끝나는 일이 아닙니다. 모든 테스트에는 공정성 안내가 포함되며, 지원자에게 추가 시간을 제공할 수 있습니다. 연습 문제를 통해 제한 시간 안에 처음 보는 형식의 문제를 접하는 일을 방지합니다.

고용주도 채용 결과를 점검해야 합니다. 채용을 진행할 때마다 지원자 집단별 선발률을 비교하세요. 4/5 규칙은 일반적으로 처음 적용하는 점검 기준입니다. 차이가 발견되면 테스트, 직무, 절차를 더 자세히 살펴보도록 하세요. 차이만으로 결론을 내려서는 안 됩니다.

HireValid는 지원자를 자동으로 탈락시키거나 숨기거나 순위를 매기지 않습니다. 점수, 벤치마크, 신뢰도 증거는 고용주가 참고하는 정보이며, 모든 결정은 고용주가 내립니다.