كيف نعد اختباراتنا: عملية تطوير التقييمات

المرحلة 1: يبدأ كل اختبار بمخطط

يبدأ تطوير الاختبار قبل وقت طويل من كتابة السؤال الأول. ولكل اختبار من HireValid مخطط مكتوب يجيب عن الأسئلة التي قد يطرحها مسؤول توظيف دقيق:

• ما المهارة التي يقيسها، ولأي وظائف؟ بيان موجز من سطر واحد يوضح المهارة والوظائف المناسبة لها، ويظهر في مكتبة الاختبارات.
• ما المهارات الفرعية؟ يُقسّم كل اختبار إلى مهارات فرعية محددة بأسمائها وأوزانها، مثل قراءة الجداول أو اكتشاف الأخطاء، كي يرى صاحب العمل تفاصيل كل نتيجة من دون الاطلاع على أي سؤال.
• كم يستغرق، وما مستوى صعوبته؟ تستغرق معظم الاختبارات 15 دقيقة أو أقل. وتتضمن كل مجموعة أسئلة مزيجًا من مستويات الصعوبة، مثل 30% سهلة و50% متوسطة و20% صعبة، ويوضح المخطط عدد الأسئلة التي تقدمها كل مجموعة.
• ما الأدوات المسموح بها؟ تُذكر الآلة الحاسبة الظاهرة على الشاشة أو ورقة المسودة، عند الحاجة إليها لأداء العمل، في بطاقة المقدمة المخصصة للمرشح.
• لمن يكون الاختبار منصفًا؟ يتضمن كل اختبار ملاحظة عن الإنصاف تسجل الإجراءات المتخذة للحفاظ عليه، وتوضح متى يتطلب الاختبار كمبيوتر مكتبيًا بدلًا من الهاتف.

يساعد المخطط على إبقاء الاختبار مرتبطًا بالوظيفة. وأي سؤال لا يخدم إحدى مهاراته الفرعية لا مكان له فيه.

المرحلة 2: صياغة الأسئلة وفقًا للمخطط

لكل مجموعة أسئلة مواصفاتها الخاصة: الموضوع، والمهارة الفرعية التي تخدمها، وصيغ الأسئلة المستخدمة، وتوزيع مستويات الصعوبة. تُصاغ الأسئلة وفق هذه المواصفات بمساعدة الذكاء الاصطناعي، ما يتيح لنا إنشاء مجموعات أكبر بكثير مما يمكن توفيره باختبار مكتوب يدويًا، بحيث يحصل كل مرشح على مجموعة مختلفة.

تسري قواعد الكتابة التالية على كل سؤال:

• إجابة صحيحة واحدة. لكل سؤال تُحتسب درجته إجابة واحدة فقط يمكن الدفاع عنها، ولكل خيار خاطئ قدر من المعقولية، لكنه واضح الخطأ لمن يمتلك المهارة.
• صيغ تحد من فاعلية الذكاء الاصطناعي. نفضّل الجداول والرسوم والأشكال والتسلسلات وتفاصيل السيناريوهات على النصوص التي يسهل نسخها إلى روبوت محادثة، ويتكون ثلث كل اختبار للقدرات المعرفية على الأقل من جداول أو رسوم أو أشكال.
• مهل زمنية مناسبة. يستطيع الشخص المتمكن الإجابة بسهولة ضمن المهلة، وهي قصيرة بما يكفي لجعل البحث عن الإجابة أمرًا غير عملي.
• لغة منصفة. لا يعتمد أي سؤال على معرفة خاصة بثقافة معينة أو على تعبيرات اصطلاحية أو رياضة أو عملة أو عطلات تتجاوز ما تتطلبه الوظيفة. كما تتنوع الأسماء والسيناريوهات، ويتناسب مستوى القراءة مع الوظيفة.

يُرفض تلقائيًا أي سؤال جديد يشبه سؤالًا موجودًا في المجموعة بدرجة كبيرة، لتزداد المجموعات تنوعًا بدلًا من أن تمتلئ بأسئلة متقاربة.

المرحلة 3: مراجعة مستقلة لكل سؤال

قبل وصول أي سؤال إلى المرشح، يخضع لمراجعة مستقلة. ويأتي النموذج الذي يجري المراجعة من عائلة مختلفة من نماذج الذكاء الاصطناعي عن النموذج الذي صاغ السؤال، لذا لا يشترك النموذجان في النقاط التي قد لا ينتبهان إليها.

تتألف المراجعة من جزأين. أولًا، يجيب النموذج عن السؤال دون الاطلاع على الإجابة، تمامًا كما يفعل المرشح. وإذا لم يتمكن من الوصول إلى الإجابة المحددة، فهذا يعني أن السؤال ليس واضحًا بما يكفي، ولن يُستخدم. ثانيًا، يقيّم السؤال وفق قائمة تحقق: هل الإجابة المحددة صحيحة وهي الإجابة الوحيدة التي يمكن الدفاع عنها؟ هل الخيارات الخاطئة معقولة؟ هل مستوى الصعوبة مناسب فعلًا؟ هل يختبر المهارة الفرعية التي يفترض أن يختبرها؟ هل يخلو من الافتراضات الثقافية؟ هل تتضمن الجداول والصور المعلومات التي يحتاج إليها السؤال؟ وهل لكل صورة نص بديل يستطيع مستخدم قارئ الشاشة الإجابة بالاستناد إليه؟

يُعتمد السؤال إذا حصل على 80 درجة أو أكثر. أما ما يحصل على درجة أقل فيُرفض مع تسجيل الأسباب، وتُعوضه الأسئلة في جولة الكتابة التالية. وتُجرى فحوص آلية بالتوازي مع المراجعة: يعيد محرك الصيغ الخاص بنا احتساب إجابات جداول البيانات، وتُختبر إجابات البرمجة باستخدام حالات الاختبار الخاصة بها، كما تُراجع الصياغة للتأكد من استخدام تهجئة الإنجليزية الأمريكية وخلوها من ادعاءات لا نقدمها. وإذا عُدّل السؤال لاحقًا، يصبح إصدارًا جديدًا ويخضع للمراجعة نفسها مرة أخرى.

المرحلة 4: نشر نسخة ثابتة

لا يُنشر الاختبار إلا عندما يحتوي كل مخزون على عدد من الأسئلة المعتمدة يعادل ثلاثة أضعاف على الأقل عدد الأسئلة التي يسحبها الاختبار منه، وخمسة أضعاف في الاختبارات المعرفية. وهذا ما يتيح لكل مرشح مجموعة مختلفة بترتيب مختلف وخيارات إجابة متغيرة الترتيب. ويحتاج الاختبار أيضًا إلى مجموعة تدريب: أربعة أسئلة سهلة تغطي كل الأنماط التي يستخدمها، وتُعرض على المرشحين قبل بدء الأسئلة التي تُحتسب درجاتها.

لكل اختبار منشور إصدار ثابت. عندما يفعّل صاحب العمل وظيفة، تحتفظ الوظيفة بالإصدار الذي بدأت به، وتسجل كل درجة إصدار التقييم الذي أنتجها. وإذا تحسن الاختبار لاحقًا، تحتفظ النتائج السابقة بمعناها الأصلي، ويمكنك دائمًا توضيح كيفية التوصل إلى نتيجة سابقة. لا يُحذف أي شيء مطلقًا: بل يُحال السؤال الذي يُسحب من الاستخدام إلى التقاعد مع ذكر السبب، ويُحتفظ بسجله.

لا تغادر مفاتيح الإجابة ومخزونات الأسئلة خوادمنا مطلقًا. ويتلقى المرشحون سؤالًا واحدًا في كل مرة، بينما يرى أصحاب العمل درجات المهارات الفرعية بدلًا من نص الأسئلة، ما يحافظ على سرية المحتوى للمرشح التالي. يشرح ملخص مكافحة الغش كيف يساعد هذا التصميم على جعل الاختبارات مقاومة للذكاء الاصطناعي.

المرحلة 5: المتابعة المباشرة والمعايير المرجعية المستمدة من مرشحين حقيقيين

بمجرد أن يبدأ المرشحون بإجراء الاختبار، تتابع مراجعة إحصائية يومية أداء كل سؤال في التطبيق العملي: عدد مرات الإجابة عنه بشكل صحيح، وما إذا كان المرشحون الأقوى يجيبون عنه بشكل صحيح أكثر من المرشحين الأضعف، وهذا هو جوهر تحليل البنود. يُسحب أي سؤال لا يؤدي كما ينبغي لمراجعته، ويحل محله سؤال جديد.

وتُستخدم البيانات نفسها لإنشاء المعيار المرجعي للاختبار. تستند معايير HireValid المرجعية إلى مرشحيها، ويُنشأ معيار منفصل لكل إصدار من الاختبار. يعرض الاختبار الرتب المئينية بعد أن ينهيه 50 مرشحًا. وحتى يبلغ حجم العينة 200، تُوسم كل رتبة مئينية بأنها معيار مرجعي أولي مع ذكر حجم العينة؛ وعند بلوغ 200، تُوسم بأنها معيار مرجعي لمرشحي HireValid مع ذكر حجم العينة. تُعاد حسابات المعايير المرجعية يوميًا وتُحدّث مع نمو كل عينة، وتسجل كل نتيجة إصدار المعيار المرجعي الذي قورنت به. تشرح صفحة المعايير المرجعية كيفية قراءة الرتبة المئينية.

صدق الاختبار وثباته: كيف ننظر إلى كل منهما

تتناول الموثوقية مدى اتساق القياس في الاختبار، بينما تتناول الصدق مدى قياسه لما تتطلبه الوظيفة. ويبدأ كلاهما بمخطط الاختبار: اختبار مبني على المهارات التي يتطلبها الدور الوظيفي فعلًا، وتُقيّم فيه مهارات فرعية واضحة، مع عدد كافٍ من الأسئلة في كل منها لتكوين صورة مستقرة.

تحافظ العملية الموضحة أعلاه على كليهما. إذ تزيل المراجعة المستقلة الأسئلة الملتبسة أو ذات الإجابات المحددة بشكل خاطئ، والتي قد تُدخل تشويشًا. كما تضمن مجموعات الأسئلة الكبيرة ذات التوزيعات المضبوطة لمستويات الصعوبة قابلية مقارنة اختبارات المرشحين المختلفين. وتوضح إحصاءات الأسئلة المستندة إلى مرشحين حقيقيين أي الأسئلة تميز بين الأداء الأقوى والأضعف، وتُستبعد الأسئلة التي لا تفعل ذلك. ومع ازدياد حجم العينات، تمنح هذه الإحصاءات كل اختبار قاعدة أدلة متنامية، تُجمع من الأشخاص الذين يؤدونه بالفعل.

أما القواعد العملية لصاحب العمل فبسيطة: اختر اختبارات تناسب الدور الوظيفي، وقدّم الاختبار نفسه والوقت نفسه لكل مرشح، ووفر تسهيلات عند الطلب، وراجع معدلات الاختيار بعد كل جولة. يتناول نهجنا للإنصاف والدليل حول اختبارات ما قبل التوظيف هذه الخطوات بمزيد من التفصيل.

فحوص الإنصاف المستمرة بعد الإطلاق

الإنصاف ليس فحصًا يُجرى مرة واحدة. يتضمن كل اختبار ملاحظة تتعلق بالإنصاف، ويمكن منح المرشحين وقتًا إضافيًا، كما تتيح الأسئلة التدريبية للجميع التعرّف على صيغة الاختبار قبل خوضه ضمن المهلة المحددة.

ينبغي لأصحاب العمل أيضًا التحقق من نتائجهم. بعد كل جولة توظيف، قارنوا معدلات الاختيار بين مجموعات المتقدمين؛ وتُعد قاعدة الأربعة أخماس فحصًا أوليًا شائعًا. ويستدعي أي اختلاف أن يدرس شخص ما الاختبار والوظيفة والإجراءات بمزيد من التعمق، لكنه لا يشكل حكمًا بحد ذاته.

لا ترفض HireValid أي مرشح أو تخفيه أو ترتبه تلقائيًا. تساعد الدرجات ومعايير المقارنة وأدلة النزاهة صاحب العمل على اتخاذ قراره، وهو من يتخذ جميع القرارات.