Testlerimizi nasıl hazırlıyoruz: değerlendirme geliştirme süreci

Aşama 1: her test bir taslakla başlar

Test geliştirme, ilk soru yazılmadan çok önce başlar. Her HireValid testinin, dikkatli bir işe alım yöneticisinin soracağı soruları yanıtlayan yazılı bir planı vardır:

• Neyi ölçer ve hangi roller için uygundur? Ölçülen beceriyi ve uygun olduğu rolleri tek cümlede açıklar; bu bilgi test kütüphanesinde gösterilir.
• Hangi alt becerileri ölçer? Her test; tablo okuma veya hata bulma gibi adlandırılmış ve ağırlıklandırılmış alt becerilere ayrılır. Böylece işveren, hiçbir soruyu görmeden her sonucun ayrıntılı dökümünü inceleyebilir.
• Ne kadar sürer ve ne kadar zordur? Testlerin çoğu 15 dakika veya daha kısa sürer. Her soru havuzunda farklı zorluk seviyeleri bulunur; örneğin %30 kolay, %50 orta ve %20 zor soru olabilir. Planda her havuzdan kaç soru geleceği belirtilir.
• Hangi yardımcı araçlara izin verilir? Görevin gerektirdiği durumlarda ekranda hesap makinesi veya karalama kâğıdı kullanılabilir. İzin verilen araçlar, adayın bilgilendirme kartında belirtilir.
• Kimler için adildir? Her testte, adil olması için neler yapıldığını kaydeden bir adalet notu bulunur. Ayrıca telefon yerine masaüstü bilgisayar gerektiği durumlar da belirtilir.

Plan, testin işe odaklı kalmasını sağlar. Alt becerilerden birine hizmet etmeyen bir soru teste ait değildir.

Aşama 2: taslağa göre yazılan sorular

Her soru havuzunun kendine özgü bir tanımı vardır: konu, ölçtüğü alt beceri, kullanılacak soru biçimleri ve zorluk dağılımı. Sorular bu tanıma göre yapay zekâ yardımıyla hazırlanır. Bu sayede elle yazılmış bir testle oluşturulabilecek havuzlardan çok daha büyük havuzlar kurabilir ve her adaya farklı bir soru seti sunabiliriz.

Her soru için yazım kuralları geçerlidir:

• Tek bir doğru yanıt. Puanlanan her sorunun savunulabilir yalnızca bir yanıtı vardır. Yanlış seçeneklerin her biri makul görünür, ancak gerekli beceriye sahip biri için açıkça yanlıştır.
• Yapay zekâ kullanımını zorlaştıran biçimler. Bir sohbet robotuna kolayca kopyalanabilen metinler yerine tablolar, şekiller, diziler ve senaryo ayrıntıları tercih edilir. Her bilişsel testin en az üçte biri tablo veya şekillere dayanır.
• Uygun süre sınırları. Yetkin bir kişi soruyu süre sınırı içinde rahatça yanıtlayabilir. Süre, yanıtı başka yerde aramayı pratik olmaktan çıkaracak kadar kısadır.
• Tarafsız dil. Hiçbir soru, işin gerektirdiğinin ötesinde kültüre özgü bilgilere, deyimlere, spora, para birimlerine veya tatillere dayanmaz. İsimler ve senaryolar çeşitlilik gösterir, okuma seviyesi de pozisyona uygundur.

Havuzdaki mevcut bir soruya fazla benzeyen yeni sorular otomatik olarak reddedilir. Böylece havuzlar birbirine çok benzeyen kopyalarla değil, farklı sorularla büyür.

Aşama 3: her sorunun bağımsız incelemesi

Her soru adaya ulaşmadan önce bağımsız bir incelemeden geçer. İncelemeyi yapan model, soruyu hazırlayan modelden farklı bir yapay zekâ model ailesine aittir. Böylece iki modelin kör noktaları aynı olmaz.

İnceleme iki bölümden oluşur. İlk olarak model, cevap anahtarını görmeden, tıpkı bir aday gibi soruyu yanıtlar. Anahtardaki yanıta ulaşamazsa soru yeterince açık değildir ve kullanıma alınmaz. İkinci olarak soruyu bir kontrol listesine göre puanlar: Anahtar doğru mu ve savunulabilir tek yanıt mı? Yanlış seçenekler makul mü? Zorluk seviyesi uygun mu? Soru, ölçtüğünü söylediği alt beceriyi gerçekten ölçüyor mu? Kültürel varsayımlardan arındırılmış mı? Tablolar ve görseller sorunun gerektirdiği bilgileri sunuyor mu? Her görselde, ekran okuyucu kullanan bir adayın soruyu yanıtlamasına yardımcı olacak alternatif metin var mı?

80 veya daha yüksek puan alan sorular kullanıma alınır. Daha düşük puan alanlar, gerekçeleri kaydedilerek reddedilir ve sonraki soru yazım sürecinde yenileriyle değiştirilir. İncelemeyle birlikte otomatik kontroller de çalışır: E-tablo yanıtları kendi formül motorumuzla yeniden hesaplanır, kodlama yanıtları test senaryolarına göre çalıştırılır ve metinler ABD İngilizcesi yazım kurallarına ve kullanmadığımız iddialara göre kontrol edilir. Bir soru daha sonra düzenlendiğinde yeni bir sürüm olur ve aynı inceleme sürecinden yeniden geçer.

Aşama 4: sabit bir sürümün yayımlanması

Bir test, her havuzda testin kullandığı soru sayısının en az üç katı onaylı soru bulunduğunda, bilişsel testlerde ise bu sayı beş kata ulaştığında yayımlanır. Böylece her aday farklı sorularla, farklı bir sırada ve karıştırılmış yanıt seçenekleriyle karşılaşır. Testin ayrıca bir alıştırma seti olması gerekir: kullanılan her formatı kapsayan dört kolay soru, puanlanan sorular başlamadan önce adaylara gösterilir.

Yayımlanan her test sabit bir sürümdür. İşveren bir işi etkinleştirdiğinde, o iş başladığı sürümde kalır ve her puan, kendisini oluşturan puanlama sürümünü kaydeder. Test daha sonra iyileştirilirse önceki sonuçlar ilk anlamlarını korur ve geçmişteki bir sonuca nasıl ulaşıldığını her zaman açıklayabilirsiniz. Hiçbir şey silinmez: kullanımdan kaldırılan sorular, kaldırılma nedeni ve geçmişleriyle birlikte arşivlenir.

Yanıt anahtarları ve soru havuzları sunucularımızdan çıkmaz. Adaylar her seferinde tek bir soru alır. İşverenler soru metinleri yerine alt beceri puanlarını görür; böylece içerik sonraki aday için güvende kalır. Kopya çekmeyi önleme genel bakışı, bu tasarımın testleri yapay zekâya karşı nasıl dayanıklı kıldığını açıklar.

Aşama 5: gerçek adaylardan alınan sonuçların canlı takibi ve kıyaslama ölçütleri

Adaylar teste girmeye başladıktan sonra günlük istatistik takibi, her sorunun uygulamada nasıl işlediğini inceler: ne sıklıkta doğru yanıtlandığını ve başarılı adayların soruyu daha az başarılı adaylardan daha sık doğru yanıtlayıp yanıtlamadığını. Bu, madde analizinin temelidir. İyi işlemeyen bir soru inceleme için kullanımdan kaldırılır ve yerine yeni bir soru eklenir.

Aynı veriler testin kıyaslama değerini oluşturur. HireValid’in kıyaslamaları, her test sürümü için ayrı ayrı kendi adaylarından elde edilir. Bir testte 50 aday tamamladıktan sonra yüzdelik dilimler gösterilir. Örneklem 200’e ulaşana kadar her yüzdelik dilim, örneklem büyüklüğüyle birlikte geçici kıyaslama olarak etiketlenir. 200’e ulaştığında ise örneklem büyüklüğüyle birlikte HireValid adayları kıyaslaması olarak etiketlenir. Kıyaslamalar her gün yeniden hesaplanır ve örneklem büyüdükçe güncellenir. Her sonuç, karşılaştırıldığı kıyaslama sürümünü kaydeder. Kıyaslamalar sayfası, yüzdelik dilimin nasıl okunacağını açıklar.

Test geçerliliği ve güvenilirliği: her ikisini nasıl ele alıyoruz

Güvenilirlik, bir testin tutarlı ölçüm yapıp yapmadığını; geçerlilik ise işin gerektirdiği becerileri ölçüp ölçmediğini sorgular. Her ikisi de testin planıyla başlar: Bir rolün gerçekten kullandığı becerilere göre hazırlanan, açık alt beceriler üzerinden puanlanan ve tutarlı bir değerlendirme sunmaya yetecek sayıda soru içeren bir test.

Yukarıdaki süreç her ikisini de destekler. Bağımsız inceleme, sonuçlarda gürültü yaratabilecek muğlak veya yanlış cevap anahtarı olan soruları çıkarır. Zorluk dağılımı kontrol edilen geniş soru havuzları, farklı adayların test sonuçlarının karşılaştırılabilir olmasını sağlar. Gerçek adaylardan elde edilen soru istatistikleri, hangi soruların daha güçlü ve daha zayıf performansları birbirinden ayırdığını gösterir; bu işlevi görmeyen sorular ise kullanımdan kaldırılır. Örneklem büyüdükçe bu istatistikler, testi gerçekten çözen kişilerden toplanan kanıt tabanını genişletir.

İşverenler için uygulanabilir kurallar basittir: Role uygun testleri seçin, her adaya aynı testi ve aynı süreyi verin, talep edilmesi hâlinde uyarlama sunun ve her işe alım turundan sonra seçim oranlarını kontrol edin. Adil yaklaşımımız ve işe alım öncesi testler rehberimiz bu adımları daha ayrıntılı ele alır.

Yayına alındıktan sonra da devam eden eşitlik kontrolleri

Eşitlik tek seferlik bir kontrol değildir. Her testte eşitlik notu bulunur, adaylara ek süre verilebilir ve alıştırma soruları sayesinde kimse süre baskısı altında bilmediği bir biçimle ilk kez karşılaşmaz.

İşverenler kendi sonuçlarını da kontrol etmelidir. Her işe alım sürecinden sonra aday gruplarının seçilme oranlarını karşılaştırın. Beşte dört kuralı, yaygın olarak kullanılan ilk kontrollerden biridir. Oranlar arasındaki fark, bir kişinin testi, pozisyonu ve süreci daha yakından incelemesi için bir işarettir; tek başına kesin bir karar değildir.

HireValid hiçbir adayı otomatik olarak reddetmez, gizlemez veya sıralamaz. Puanlar, karşılaştırma ölçütleri ve dürüstlük kanıtları işverene bilgi sağlar; tüm kararları işveren verir.