Cara kami menyusun tes: proses pengembangan asesmen

Tahap 1: setiap tes dimulai dengan cetak biru

Pengembangan tes dimulai jauh sebelum pertanyaan pertama dibuat. Setiap tes HireValid memiliki rancangan tertulis yang menjawab pertanyaan yang mungkin diajukan oleh manajer perekrutan yang cermat:

• Apa yang diukur, dan untuk peran apa? Pernyataan singkat tentang keterampilan yang diukur dan peran yang sesuai, ditampilkan di pustaka tes.
• Keterampilan apa saja yang menjadi bagian dari tes? Setiap tes dibagi menjadi beberapa subketerampilan bernama dengan bobot masing-masing, seperti membaca tabel atau menemukan kesalahan. Dengan demikian, pemberi kerja dapat melihat perincian setiap hasil tanpa melihat pertanyaan apa pun.
• Berapa lama, dan seberapa sulit? Sebagian besar tes berlangsung selama 15 menit atau kurang. Setiap kumpulan soal memiliki kombinasi tingkat kesulitan, misalnya 30% mudah, 50% sedang, dan 20% sulit. Rancangan tes mencantumkan jumlah soal dari setiap kumpulan.
• Alat bantu apa yang boleh digunakan? Kalkulator di layar atau kertas untuk mencatat, jika sesuai dengan tugas. Informasi ini dicantumkan pada kartu pengantar kandidat.
• Untuk siapa tes ini adil? Setiap tes dilengkapi catatan keadilan yang mencatat langkah-langkah untuk menjaganya tetap adil dan menjelaskan kapan tes perlu dikerjakan menggunakan komputer desktop, bukan ponsel.

Rancangan tes memastikan tes tetap berfokus pada pekerjaan. Pertanyaan yang tidak mengukur salah satu subketerampilannya tidak seharusnya disertakan.

Tahap 2: soal disusun berdasarkan cetak biru

Setiap kumpulan soal memiliki spesifikasi tersendiri: topik, subketerampilan yang diuji, format soal yang digunakan, dan variasi tingkat kesulitan. Soal disusun sesuai spesifikasi tersebut dengan bantuan AI. Dengan demikian, kami dapat membuat kumpulan soal yang jauh lebih besar daripada yang memungkinkan jika seluruhnya ditulis secara manual, sehingga setiap kandidat dapat menerima set soal yang berbeda.

Aturan penulisan berlaku untuk setiap soal:

• Satu jawaban benar. Setiap soal yang dinilai hanya memiliki satu jawaban yang dapat dipertahankan, dan setiap pilihan yang salah tampak masuk akal, tetapi jelas keliru bagi orang yang menguasai keterampilan tersebut.
• Format yang lebih tahan terhadap AI. Tabel, gambar, urutan, dan detail skenario lebih diutamakan daripada teks yang mudah disalin ke chatbot. Setidaknya sepertiga dari setiap tes kognitif menggunakan tabel atau gambar.
• Batas waktu yang sesuai. Orang yang kompeten dapat menjawab dengan nyaman dalam batas waktu yang ditentukan. Batas waktunya cukup singkat sehingga mencari jawabannya menjadi tidak praktis.
• Bahasa yang adil. Tidak ada soal yang bergantung pada pengetahuan budaya tertentu, idiom, olahraga, mata uang, atau hari libur di luar kebutuhan pekerjaan. Nama dan skenario dibuat beragam, dan tingkat bacaannya sesuai dengan posisi tersebut.

Soal baru yang terlalu mirip dengan soal yang sudah ada dalam kumpulan akan otomatis ditolak, sehingga kumpulan soal bertambah beragam, bukan dipenuhi salinan yang hampir sama.

Tahap 3: setiap soal ditinjau secara independen

Sebelum diberikan kepada kandidat, setiap pertanyaan menjalani peninjauan independen. Model yang melakukan peninjauan berasal dari keluarga model AI yang berbeda dari model yang menyusun pertanyaan, sehingga keduanya tidak memiliki titik buta yang sama.

Peninjauan dilakukan dalam dua bagian. Pertama, model menjawab pertanyaan tanpa melihat kunci jawaban, persis seperti kandidat, tanpa mengetahui kuncinya. Jika model tidak dapat memperoleh jawaban yang tercantum dalam kunci, pertanyaan tersebut belum cukup jelas dan tidak akan digunakan. Kedua, model menilai pertanyaan berdasarkan daftar periksa: apakah kuncinya benar dan merupakan satu-satunya jawaban yang dapat dipertahankan, apakah pilihan yang salah tampak masuk akal, apakah tingkat kesulitannya sesuai, apakah pertanyaan menguji subketerampilan yang dimaksud, apakah pertanyaan bebas dari asumsi budaya, apakah tabel dan gambar memuat informasi yang diperlukan, serta apakah setiap gambar memiliki teks alternatif yang dapat digunakan pengguna pembaca layar untuk menjawab?

Pertanyaan dengan skor 80 atau lebih akan digunakan. Pertanyaan dengan skor lebih rendah ditolak dan alasannya dicatat, lalu diganti pada putaran penulisan berikutnya. Pemeriksaan otomatis juga berjalan bersamaan dengan peninjauan: jawaban spreadsheet dihitung ulang dengan mesin rumus kami sendiri, jawaban pemrograman diuji menggunakan kasus pengujian, dan teks diperiksa untuk ejaan bahasa Inggris AS serta klaim yang tidak pernah kami buat. Jika pertanyaan diedit kemudian, pertanyaan itu menjadi versi baru dan menjalani peninjauan yang sama.

Tahap 4: menerbitkan versi tetap

Tes hanya dipublikasikan jika setiap kumpulan soal berisi pertanyaan yang telah disetujui dalam jumlah setidaknya tiga kali lebih banyak daripada jumlah soal yang diambil tes dari kumpulan tersebut, dan lima kali lebih banyak untuk tes kognitif. Dengan demikian, setiap kandidat dapat menerima pilihan pertanyaan yang berbeda, dalam urutan berbeda, dengan pilihan jawaban yang diacak. Tes juga memerlukan kumpulan soal latihan: empat pertanyaan mudah yang mencakup setiap format yang digunakan dan ditampilkan kepada kandidat sebelum pertanyaan yang dinilai dimulai.

Setiap tes yang dipublikasikan merupakan versi tetap. Saat perusahaan mengaktifkan suatu lowongan, lowongan tersebut tetap menggunakan versi yang digunakan sejak awal, dan setiap skor mencatat versi penilaian yang menghasilkannya. Jika tes kemudian disempurnakan, hasil sebelumnya tetap memiliki makna yang sama, dan Anda selalu dapat menjelaskan cara memperoleh hasil terdahulu. Tidak ada yang dihapus: pertanyaan yang dinonaktifkan dipensiunkan dengan mencatat alasannya, dan riwayatnya tetap disimpan.

Kunci jawaban dan kumpulan soal tidak pernah meninggalkan server kami. Kandidat menerima satu pertanyaan dalam satu waktu, dan perusahaan melihat skor subketerampilan, bukan teks pertanyaan. Dengan demikian, konten tetap aman untuk kandidat berikutnya. Ikhtisar pencegahan kecurangan menjelaskan bagaimana desain ini membuat tes tahan terhadap AI.

Tahap 5: pemantauan langsung dan tolok ukur dari kandidat sungguhan

Setelah kandidat mulai mengerjakan tes, pemantauan statistik harian mengamati kinerja setiap soal dalam praktik: seberapa sering soal dijawab dengan benar dan apakah kandidat yang lebih kuat lebih sering menjawabnya dengan benar dibandingkan kandidat yang lebih lemah. Inilah inti analisis butir soal. Soal yang menunjukkan kinerja tidak wajar akan dihentikan sementara untuk ditinjau, lalu diganti dengan soal baru.

Data yang sama digunakan untuk menyusun tolok ukur tes. Tolok ukur HireValid berasal dari kandidatnya sendiri dan dibuat secara terpisah untuk setiap versi tes. Tes menampilkan persentil setelah 50 kandidat menyelesaikannya. Sebelum jumlah sampel mencapai 200, setiap persentil diberi label sebagai tolok ukur sementara beserta ukuran sampelnya; mulai dari 200, labelnya menjadi tolok ukur kandidat HireValid beserta ukuran sampelnya. Tolok ukur dihitung ulang setiap hari dan diperbarui seiring bertambahnya sampel, dan setiap hasil mencatat versi tolok ukur yang digunakan sebagai pembanding. Halaman tolok ukur menjelaskan cara membaca persentil.

Validitas dan reliabilitas tes: cara kami memahaminya

Reliabilitas menunjukkan apakah suatu tes memberikan hasil pengukuran yang konsisten, sedangkan validitas menunjukkan apakah tes tersebut mengukur hal yang dibutuhkan dalam pekerjaan. Keduanya berawal dari rancangan tes: tes yang disusun berdasarkan keterampilan yang benar-benar digunakan dalam suatu peran, dinilai berdasarkan subketerampilan yang jelas, dan memiliki cukup soal untuk setiap subketerampilan agar memberikan gambaran yang stabil.

Proses di atas mendukung keduanya. Peninjauan independen menghapus soal yang ambigu atau memiliki kunci jawaban keliru sehingga tidak menimbulkan hasil yang menyimpang. Kumpulan soal yang besar dengan komposisi tingkat kesulitan yang terkontrol menjaga agar hasil tes kandidat yang berbeda tetap dapat dibandingkan. Statistik soal dari kandidat sebenarnya menunjukkan soal mana yang membedakan kinerja lebih kuat dari yang lebih lemah, sehingga soal yang tidak demikian dapat dihentikan penggunaannya. Seiring bertambahnya sampel, statistik tersebut memperkuat dasar bukti untuk setiap tes, yang dihimpun dari orang-orang yang benar-benar mengerjakannya.

Bagi pemberi kerja, panduan praktisnya sederhana: pilih tes yang sesuai dengan peran, berikan tes dan waktu pengerjaan yang sama kepada setiap kandidat, sediakan akomodasi jika diminta, dan periksa tingkat seleksi setelah setiap tahap. Pendekatan kami terhadap keadilan dan panduan tentang tes untuk seleksi kerja membahas langkah-langkah tersebut secara lebih terperinci.

Pemeriksaan keadilan yang berlanjut setelah peluncuran

Keadilan bukan pemeriksaan sekali saja. Setiap tes dilengkapi catatan tentang keadilannya, kandidat dapat diberi waktu tambahan, dan soal latihan memastikan tidak ada yang baru pertama kali menghadapi format yang tidak dikenal saat tes berlangsung.

Pemberi kerja juga sebaiknya memeriksa hasil mereka sendiri. Setelah setiap putaran perekrutan, bandingkan tingkat seleksi antarkelompok pelamar; aturan empat perlima merupakan pemeriksaan awal yang umum. Perbedaan menjadi alasan bagi seseorang untuk meninjau tes, posisi, dan proses dengan lebih saksama, bukan menjadi kesimpulan dengan sendirinya.

HireValid tidak pernah menolak, menyembunyikan, atau memberi peringkat kandidat secara otomatis. Skor, tolok ukur, dan bukti integritas menjadi bahan pertimbangan bagi pemberi kerja, yang mengambil setiap keputusan.