テストの開発方法：アセスメント開発プロセス

ステージ1：すべてのテストは設計書から始まります

テストの開発は、最初の設問を作るずっと前から始まります。HireValidの各テストには、慎重な採用担当者が確認したい次の事項をまとめた設計書があります。

• 何を測り、どの職種に適しているか？ 測定するスキルと適した職種を一文で説明し、テスト一覧に掲載します。
• どのようなサブスキルがあるか？ 各テストを、表の読み取りや誤りの発見など、重み付けされた名称付きのサブスキルに分けます。雇用主は設問を見ずに、結果の内訳を確認できます。
• 所要時間と難易度はどのくらいか？ ほとんどのテストは15分以内です。設問プールごとに難易度の配分を設定します。たとえば、易しい問題が30%、普通が50%、難しい問題が20%です。設計書には各プールから出題する設問数も記載します。
• どの補助ツールを使えるか？ 課題に応じて、画面上の計算機やメモ用紙などを認め、受験者向けの案内カードに明記します。
• どのような人にとって公平か？ 各テストには公平性に関する注記があり、公平性を保つための対応を記録します。また、スマートフォンではなくデスクトップが必要な場合も明記します。

設計書によって、テストを職務に即した内容に保てます。サブスキルの測定に役立たない設問は含めません。

ステージ2：設計書に沿った問題の作成

各問題プールには、トピック、対象となるサブスキル、使用する問題形式、難易度の構成など、それぞれの仕様があります。AIを活用して仕様に沿った問題を作成することで、手作業で作るテストでは難しい規模のプールを構築でき、候補者ごとに異なる問題セットを出題できます。

すべての問題に、次の作成ルールを適用します。

• 正解は1つ。 採点対象の問題には、根拠のある答えが必ず1つだけあります。誤答の選択肢にも妥当性を持たせつつ、そのスキルを持つ人には明確に誤りだとわかる内容にします。
• AIを使った回答が難しい形式。 チャットボットに簡単に貼り付けられる文章よりも、表、図、並び順、シナリオの詳細などを優先します。各認知能力テストの少なくとも3分の1は、表や図を使った問題です。
• 適切な制限時間。 能力のある人が無理なく回答できる一方、調べて答えるのが現実的でない長さに設定します。
• 公平な表現。 職務上必要な範囲を超えて、特定の文化に関する知識、慣用句、スポーツ、通貨、祝日に依存する問題はありません。人名やシナリオに多様性を持たせ、職種に合った読解レベルにします。

プール内の既存問題と類似しすぎている新しい問題は、自動的に採用されません。そのため、プールには似た問題ではなく、多様な問題が増えていきます。

ステージ3：すべての問題を第三者が確認

候補者に出題する前に、すべての問題を独立してレビューします。レビューに使うモデルは、問題の作成に使ったものとは別のAIモデルファミリーに属するため、同じ弱点を共有しません。

レビューは2段階で行います。まず、正解を見ずに、候補者と同じように問題に回答します。設定された正解にたどり着けない場合、その問題は十分に明確ではないため公開しません。次に、チェックリストに沿って問題を評価します。正解が正しく、根拠のある回答がそれだけか、誤答の選択肢に妥当性があるか、難易度が適切か、意図したサブスキルを測れているか、文化的な前提に依存していないか、表や図に必要な情報が含まれているか、スクリーンリーダーの利用者が回答できる代替テキストが各画像にあるかを確認します。

80点以上の問題は公開されます。それ未満の問題は理由を記録したうえで不採用とし、次の作成分で補います。レビューと並行して自動チェックも行います。表計算の回答は独自の数式エンジンで再計算し、コーディングの回答はテストケースで実行します。また、文章は米国式のスペルと、当社が行わない主張が含まれていないかを確認します。問題を後から編集した場合は新しいバージョンとなり、同じレビューを再度受けます。

ステージ4：確定版を公開

各問題プールに、テストで使用する承認済み問題の少なくとも3倍の問題がそろっている場合に限り、テストを公開します。認知能力テストでは5倍が必要です。これにより、候補者ごとに異なる問題が異なる順序で出題され、解答の選択肢も並べ替えられます。また、テストには練習問題も必要です。使用するすべての形式を含む簡単な問題を4問用意し、採点対象の問題が始まる前に候補者に表示します。

公開するテストはそれぞれ固定バージョンです。雇用主が求人を有効にすると、その求人では開始時のバージョンが維持され、各スコアには採点に使用したバージョンが記録されます。後からテストが改善されても、過去の結果は当時の意味を保ち、過去の結果がどのように算出されたかをいつでも説明できます。削除されるものはありません。使用停止となった問題は、その理由とともに廃止され、履歴も保存されます。

解答キーと問題プールがサーバーの外に出ることはありません。候補者には1問ずつ問題を表示し、雇用主には問題文ではなくサブスキルのスコアを表示します。これにより、次の候補者のために問題内容を保護できます。不正防止の概要では、この設計がどのようにテストをAIに強いものにするかを説明しています。

ステージ5：実際の受検者による継続的なモニタリングとベンチマーク

候補者がテストを受け始めると、毎日の統計モニタリングで各問題の実際の出題状況を確認します。正答率や、スキルの高い候補者がそうでない候補者よりも正解する頻度が高いかどうかを見ます。これが項目分析の要点です。適切に機能していない問題は確認のために使用を停止し、新しい問題に差し替えます。

同じデータを使って、テストのベンチマークも作成します。HireValidのベンチマークは、テストのバージョンごとに、自社の候補者のデータから作成されます。50人の候補者がテストを完了すると、パーセンタイルが表示されます。サンプル数が200人に達するまでは、各パーセンタイルにサンプル数とともに「暫定ベンチマーク」と表示されます。200人以上になると、サンプル数とともに「HireValid候補者ベンチマーク」と表示されます。ベンチマークは毎日再計算され、サンプル数が増えるたびに更新されます。また、各結果には比較に使用したベンチマークのバージョンが記録されます。ベンチマークのページでは、パーセンタイルの読み方を説明しています。

テストの妥当性と信頼性：HireValidの考え方

信頼性はテストが一貫して測定できるかを、妥当性は職務で必要な能力を測定できるかを示します。どちらも、テスト設計が基盤です。実際に職務で使うスキルに沿ってテストを作り、明確な下位スキルごとに採点し、安定した結果を得られるだけの問題を用意します。

上記のプロセスは、信頼性と妥当性の両方を支えます。独立したレビューで、結果にノイズを加える曖昧な問題や正解設定に誤りのある問題を取り除きます。難易度の構成を管理した大規模な問題プールによって、候補者ごとのテストを比較しやすくします。実際の候補者の問題別統計から、能力の高低を見分ける問題を特定し、そうでない問題は使用を終了します。受験者のデータが増えるにつれて、実際にテストを受けた人から集めた統計が各テストのエビデンスとして蓄積されていきます。

採用担当者が実践できることはシンプルです。職務に合ったテストを選び、すべての候補者に同じテストを同じ制限時間で実施し、希望があれば合理的配慮を提供し、採用ラウンドごとに選考率を確認します。公平性への取り組みと採用前テストのガイドで、これらの手順を詳しく説明しています。

公開後も続く公平性の確認

公平性は一度確認すれば終わりではありません。各テストには公平性に関する注記があり、候補者には追加の時間を与えることができます。また、練習問題があるため、候補者が初めての形式に制限時間内でいきなり取り組むことはありません。

雇用主も、自社の選考結果を確認する必要があります。採用ラウンドごとに、応募者グループ間の選考率を比較してください。5分の4ルールは、一般的な初期確認の方法です。差が見られた場合は、それだけで結論を出すのではなく、担当者がテスト、職種、選考プロセスを詳しく確認するきっかけとしてください。

HireValidが候補者を自動的に不採用にしたり、非表示にしたり、順位付けしたりすることはありません。スコア、ベンチマーク、インテグリティに関する証拠を参考に、雇用主がすべての判断を行います。