我们如何开发测试：测评开发流程

第 1 阶段：每项测试都从蓝图开始

测评开发早在编写第一道题之前就已开始。每项 HireValid 测评都有一份书面蓝图，回答谨慎的招聘经理可能会提出的问题：

• 测什么，适用于哪些职位？ 用一句话说明测评的技能及适用职位，并展示在测评题库中。
• 包含哪些子技能？ 每项测评都拆分为标明名称和权重的子技能，例如阅读表格或发现错误。雇主可以看到每项结果的细分情况，但不会看到任何题目。
• 需要多长时间，难度如何？ 大多数测评用时不超过 15 分钟。每个题库都包含不同难度的题目，例如 30% 简单、50% 中等、20% 困难；蓝图还会说明每个题库贡献多少道题目。
• 允许使用哪些辅助工具？ 如果工作需要，可使用屏幕计算器或草稿纸；相关说明会列在候选人的介绍卡上。
• 对哪些人公平？ 每项测评都附有公平性说明，记录为确保公平所采取的措施，并注明何时需要使用台式电脑而非手机。

蓝图能确保测评聚焦于工作本身。与任何子技能无关的题目都不应纳入测评。

第 2 阶段：按照蓝图编写题目

每个题库都有自己的规范，包括主题、对应的子技能、题型和难度组合。我们借助 AI 按照规范起草题目，因此可以建立规模远超人工编写能力所及的题库，让每位候选人都能获得不同的题目组合。

每道题都遵循以下编写规则：

• 答案唯一。 每道计分题都只有一个合理答案。每个错误选项对掌握相关技能的人来说都具有迷惑性，但显然是错误的。
• 采用不易被 AI 处理的题型。 优先使用表格、图形、序列和情境细节，而不是容易直接复制到聊天机器人的文字；每项认知能力测试至少三分之一的题目基于表格或图形。
• 设置恰当的时限。 能力合格的人可以在时限内轻松作答，同时时限也足够短，让查找答案变得不切实际。
• 语言公平。 除岗位所需内容外，题目不依赖特定文化知识、习语、体育、货币或节日。姓名和情境多样，阅读难度也符合岗位要求。

如果新题与题库中的现有题目过于相似，系统会自动将其排除，让题库增加多样性，而不是堆积近似题目。

第 3 阶段：对每道题进行独立审核

每道题在交给候选人之前，都会经过独立审核。审核所用的模型与起草题目的模型属于不同的 AI 模型系列，因此两者不会有相同的盲点。

审核分为两个部分。首先，审核模型会在不查看答案的情况下作答，就像候选人一样。如果它无法得出标准答案，说明题目不够清晰，不能上线。其次，它会根据清单为题目评分：标准答案是否正确且是唯一合理答案，错误选项是否具有迷惑性，难度是否恰当，题目是否考查其声称考查的子技能，是否存在文化假设，表格和图片是否提供了答题所需的信息，以及每张图片是否都配有屏幕阅读器用户可据此作答的替代文本？

得分达到 80 分或以上的题目才会上线。低于 80 分的题目会被拒绝，并记录原因，之后在下一轮编写中替换。审核过程中还会同步进行自动检查：我们自己的公式引擎会重新计算电子表格题答案，编程题答案会根据测试用例运行，文案则会检查美式拼写以及我们不会作出的声明。题目之后如有修改，就会成为新版本，并重新经过同样的审核。

第 4 阶段：发布固定版本

只有在每个题库中经审核通过的题目数量至少达到测试抽取题目数量的三倍（认知能力测试为五倍）后，测试才会发布。这样，每位候选人拿到的题目组合和顺序都不同，选项也会重新排列。测试还需要配套的练习题：共四道简单题，涵盖测试中使用的所有题型，并在正式计分题目开始前展示给候选人。

每项已发布的测试都有固定版本。雇主启用职位后，该职位会沿用启用时的测试版本，每个分数也会记录生成该分数时使用的评分版本。如果测试之后有所改进，之前的结果仍保留原有含义，你也始终可以说明过去的结果是如何得出的。我们不会删除任何内容：下线的题目会被标记为停用，并记录停用原因，同时保留其历史记录。

答案和题库都不会离开我们的服务器。候选人一次只会收到一道题目，雇主看到的是子技能分数，而不是题目内容，这样可以保护题目，供下一位候选人使用。防作弊概览介绍了这种设计如何让测试更能抵御 AI 作弊。

第 5 阶段：实时监测，并根据真实候选人建立基准

候选人开始参加测试后，系统会每天统计每道题在实际作答中的表现：答对的频率，以及能力较强的候选人是否比能力较弱的候选人更常答对。这正是试题分析的核心。如果某道题的表现异常，就会暂停使用并进行审核，再由一道新题替代。

同样的数据也用于建立测试的基准。HireValid的基准数据来自其自身候选人，并按测试版本分别统计。测试完成者达到50人后，就会显示百分位数。样本量达到200之前，每个百分位数都会标注为临时基准，并注明样本量；达到200人后，则会标注为HireValid候选人基准，并注明样本量。基准每天重新计算，并随着样本量增加而更新；每项结果都会记录用于比较的基准版本。基准页面介绍了如何查看百分位数。

测试的效度与信度：我们的考量

信度关注测验结果是否稳定一致，效度关注测验是否衡量了岗位所需的能力。两者都从测验蓝图开始：围绕岗位实际使用的技能设计测验，按清晰的子技能评分，并为每项子技能设置足够的题目，以获得稳定的表现概况。

上述流程有助于保障信度和效度。独立审核会剔除含义模糊或答案标注错误、可能引入干扰的题目。规模较大的题库会控制难度分布，让不同候选人的测验结果具有可比性。真实候选人的题目统计数据可以显示哪些题目能区分表现较强和较弱的候选人，并淘汰区分效果不佳的题目。随着样本增多，这些统计数据会逐步为每项测验积累证据，数据来自实际参加测验的人。

对雇主来说，实用原则很简单：选择符合岗位要求的测验，为每位候选人提供相同的测验和作答时长；如有需要，提供合理便利；并在每轮招聘后检查录用率。我们的公平性做法和招聘前测评指南会更详细地介绍这些步骤。

上线后持续进行公平性检查

公平性不是一次性的检查。每项测试都附有公平性说明，候选人可以获得额外时间，而练习题能让每个人在正式计时前熟悉题型。

雇主也应检查招聘结果。每轮招聘结束后，应比较不同申请者群体的录用率；四分之五规则是常见的初步检查方法。发现差异时，应由人员进一步审视测试、岗位和流程，不能仅凭差异就下结论。

HireValid 不会自动拒绝、隐藏或排序候选人。评分、基准和诚信证据用于向雇主提供参考，所有决定均由雇主作出。