Bắt đầu bằng bản thiết kế
Mỗi bài kiểm tra được xây dựng dựa trên các kỹ năng công việc yêu cầu, cơ cấu độ khó và giới hạn thời gian.
Mọi bài kiểm tra của HireValid đều tuân theo cùng một quy trình phát triển đánh giá: bản thiết kế bằng văn bản, câu hỏi được đánh giá độc lập, ngân hàng câu hỏi lớn, các phiên bản phát hành được quản lý và mốc đối chiếu được xây dựng từ ứng viên thực tế.
Mỗi bài kiểm tra được xây dựng dựa trên các kỹ năng công việc yêu cầu, cơ cấu độ khó và giới hạn thời gian.
Câu hỏi có một đáp án có thể bảo vệ được, các phương án sai hợp lý và không dùng cách diễn đạt đánh đố.
Một người đánh giá sử dụng một họ mô hình AI khác trả lời từng câu hỏi mà không biết câu trả lời trước đó, rồi kiểm tra câu hỏi có thiên kiến hay không.
Thống kê trực tiếp theo dõi từng câu hỏi và dữ liệu chuẩn được tích lũy từ ứng viên thực tế.
Quy trình phát triển bài đánh giá của chúng tôi gồm năm giai đoạn. Mỗi bài kiểm tra bắt đầu từ một bản thiết kế xác định kỹ năng, thời lượng và độ khó. Câu hỏi được soạn theo bản thiết kế đó, sau đó được đánh giá độc lập: người đánh giá trả lời từng câu mà không biết đáp án và chấm câu hỏi theo danh sách tiêu chí chất lượng. Chỉ những câu đạt yêu cầu mới được đưa vào sử dụng. Các nhóm câu hỏi đủ lớn để mỗi ứng viên nhận một bài kiểm tra khác nhau. Sau đó, số liệu thực tế được dùng để theo dõi từng câu hỏi và xây dựng các chuẩn đối chiếu từ những ứng viên HireValid thực tế.
Bài kiểm tra đo lường điều gì, các kỹ năng thành phần và trọng số của chúng, cấp độ, thời lượng và cơ cấu độ khó của từng nhóm câu hỏi.
Câu hỏi được soạn theo yêu cầu của từng nhóm; các câu gần trùng lặp với câu hỏi hiện có sẽ bị loại.
Một đơn vị đánh giá độc lập trả lời từng câu hỏi mà không xem đáp án, như một ứng viên, rồi chấm câu hỏi theo danh sách kiểm tra chất lượng.
Bài kiểm tra chỉ được đưa vào sử dụng khi mỗi nhóm câu hỏi đủ lớn và các câu hỏi luyện tập đã được phê duyệt. Bài kiểm tra được phát hành dưới dạng một phiên bản cố định.
Thống kê hằng ngày cho từng câu hỏi đang sử dụng và các mốc đối chiếu được xây dựng từ chính ứng viên của HireValid khi số lượng mẫu tăng lên.
Quá trình phát triển bài đánh giá bắt đầu từ rất lâu trước câu hỏi đầu tiên. Mỗi bài kiểm tra của HireValid đều có bản thiết kế bằng văn bản, giải đáp những câu hỏi mà một nhà tuyển dụng cẩn trọng sẽ đặt ra:
Bản thiết kế giúp bài kiểm tra tập trung vào công việc. Câu hỏi nào không phục vụ một trong các kỹ năng thành phần thì không nên có trong bài kiểm tra.
Mỗi ngân hàng câu hỏi có đặc tả riêng: chủ đề, kỹ năng thành phần cần đánh giá, dạng câu hỏi sẽ dùng và cơ cấu độ khó. Câu hỏi được soạn theo đặc tả đó với sự hỗ trợ của AI. Nhờ vậy, chúng tôi có thể xây dựng ngân hàng lớn hơn nhiều so với một bài kiểm tra viết thủ công, để mỗi ứng viên có thể nhận một bộ câu hỏi khác nhau.
Mọi câu hỏi đều tuân theo các nguyên tắc soạn thảo sau:
Câu hỏi mới quá giống với câu đã có trong ngân hàng sẽ tự động bị từ chối, nhờ đó các ngân hàng câu hỏi ngày càng đa dạng thay vì có nhiều câu gần như trùng lặp.
Trước khi câu hỏi được gửi đến ứng viên, câu hỏi sẽ trải qua một vòng đánh giá độc lập. Mô hình AI thực hiện đánh giá thuộc một dòng mô hình khác với mô hình soạn câu hỏi, vì vậy hai mô hình không có cùng điểm mù.
Quy trình đánh giá gồm hai phần. Đầu tiên, mô hình trả lời câu hỏi mà không xem đáp án, chính xác như cách một ứng viên sẽ làm. Nếu không thể đưa ra đáp án trong đáp án chuẩn, câu hỏi chưa đủ rõ ràng và sẽ không được đưa vào sử dụng. Tiếp theo, mô hình chấm câu hỏi theo danh sách kiểm tra: đáp án chuẩn có chính xác và là đáp án duy nhất có thể bảo vệ được không, các lựa chọn sai có hợp lý không, độ khó có phản ánh đúng thực tế không, câu hỏi có kiểm tra đúng kỹ năng thành phần như mô tả không, có tránh được các giả định văn hóa không, bảng biểu và hình ảnh có cung cấp đủ thông tin cần thiết không, và mọi hình ảnh có văn bản thay thế để người dùng trình đọc màn hình có thể dựa vào đó trả lời không?
Câu hỏi đạt từ 80 điểm trở lên sẽ được đưa vào sử dụng. Câu hỏi có điểm thấp hơn sẽ bị loại và ghi lại lý do; câu hỏi được soạn trong đợt tiếp theo sẽ thay thế câu đó. Các bước kiểm tra tự động cũng được thực hiện song song với quy trình đánh giá: đáp án bảng tính được tính lại bằng công cụ công thức riêng của chúng tôi, đáp án lập trình được chạy với các trường hợp kiểm thử tương ứng, còn nội dung được kiểm tra chính tả theo tiếng Anh Mỹ và để loại bỏ những tuyên bố mà chúng tôi không đưa ra. Nếu câu hỏi được chỉnh sửa sau đó, câu hỏi sẽ trở thành phiên bản mới và lại trải qua cùng quy trình đánh giá.
| Những gì được kiểm tra | Vì sao điều này quan trọng với bạn | |
|---|---|---|
| Một đáp án đúng duy nhất | Câu trả lời khi không xem đáp án khớp với đáp án chuẩn; chỉ có một đáp án có thể bảo vệ được | Điểm số phản ánh năng lực, không phải cách diễn đạt mơ hồ |
| Các phương án sai nhưng hợp lý | Người có kỹ năng sẽ nhận ra là sai, còn người thiếu kỹ năng có thể thấy đáp án hấp dẫn | Câu hỏi giúp phân biệt ứng viên một cách hữu ích |
| Độ khó và kỹ năng thành phần được thể hiện chính xác | Độ khó và kỹ năng thành phần phù hợp với nội dung câu hỏi thực sự đánh giá | Phân tích chi tiết từng kỹ năng thành phần đáng tin cậy |
| Công bằng với mọi ứng viên | Không đòi hỏi kiến thức văn hóa, thành ngữ hay định kiến; trình độ đọc phù hợp | Bài kiểm tra đánh giá công việc, không phải xuất thân |
| Dễ tiếp cận | Bảng được hiển thị đúng dạng bảng; văn bản thay thế giúp người dùng trình đọc màn hình trả lời | Ứng viên sử dụng công nghệ hỗ trợ không bị bất lợi |
Bài kiểm tra chỉ được phát hành khi mỗi nhóm có ít nhất số câu hỏi đã duyệt gấp ba lần số câu được lấy từ nhóm đó, hoặc gấp năm lần đối với bài kiểm tra năng lực nhận thức. Nhờ vậy, mỗi ứng viên nhận được một bộ câu hỏi khác nhau theo thứ tự khác nhau, với các lựa chọn trả lời được xáo trộn. Bài kiểm tra cũng cần có bộ câu hỏi luyện tập: bốn câu dễ, bao quát mọi dạng câu hỏi được sử dụng và hiển thị cho ứng viên trước khi bắt đầu phần câu hỏi tính điểm.
Mỗi bài kiểm tra được phát hành dưới dạng một phiên bản cố định. Khi nhà tuyển dụng kích hoạt một vị trí tuyển dụng, vị trí đó giữ nguyên phiên bản ban đầu, và mỗi điểm số đều ghi lại phiên bản chấm điểm đã tạo ra điểm số đó. Nếu bài kiểm tra được cải thiện sau này, kết quả trước đó vẫn giữ nguyên ý nghĩa ban đầu, và bạn luôn có thể giải thích cách tạo ra một kết quả trong quá khứ. Không có nội dung nào bị xóa: câu hỏi ngừng sử dụng sẽ được đưa vào lưu trữ cùng lý do, và lịch sử của câu hỏi vẫn được lưu giữ.
Đáp án và nhóm câu hỏi không bao giờ rời khỏi máy chủ của chúng tôi. Ứng viên nhận từng câu hỏi một, còn nhà tuyển dụng xem điểm số theo kỹ năng thành phần thay vì nội dung câu hỏi. Cách làm này giúp bảo vệ nội dung cho ứng viên tiếp theo. Tổng quan về cách chống gian lận giải thích cách thiết kế này giúp bài kiểm tra chống lại việc gian lận bằng AI.
Khi ứng viên bắt đầu làm bài kiểm tra, hệ thống theo dõi thống kê hằng ngày sẽ xem xét cách từng câu hỏi hoạt động trong thực tế: tần suất trả lời đúng và liệu ứng viên có năng lực tốt có trả lời đúng câu hỏi đó thường xuyên hơn ứng viên yếu hơn hay không. Đây là trọng tâm của việc phân tích câu hỏi. Câu hỏi hoạt động không như mong đợi sẽ được tạm ngừng để xem xét và thay bằng câu hỏi mới.
Dữ liệu tương tự cũng được dùng để xây dựng chuẩn đối chiếu cho bài kiểm tra. Chuẩn đối chiếu của HireValid dựa trên chính các ứng viên của nền tảng, riêng cho từng phiên bản bài kiểm tra. Bài kiểm tra sẽ hiển thị bách phân vị khi có 50 ứng viên hoàn thành. Cho đến khi mẫu đạt 200 ứng viên, mỗi bách phân vị được ghi là chuẩn đối chiếu tạm thời kèm quy mô mẫu; từ 200 ứng viên trở lên, nhãn sẽ là chuẩn đối chiếu từ ứng viên HireValid kèm quy mô mẫu. Chuẩn đối chiếu được tính lại hằng ngày và xây dựng lại khi mẫu tăng lên; mỗi kết quả đều ghi lại phiên bản chuẩn đối chiếu dùng để so sánh. Trang chuẩn đối chiếu giải thích cách đọc bách phân vị.
Độ tin cậy cho biết bài kiểm tra có đo lường nhất quán hay không, còn độ giá trị cho biết bài kiểm tra có đo lường những gì công việc yêu cầu hay không. Cả hai đều bắt đầu từ thiết kế bài kiểm tra: xây dựng bài kiểm tra xoay quanh các kỹ năng mà vị trí thực sự cần, chấm điểm theo các kỹ năng thành phần rõ ràng và có đủ câu hỏi cho từng kỹ năng để đưa ra kết quả ổn định.
Quy trình trên giúp bảo đảm cả hai yếu tố này. Việc rà soát độc lập loại bỏ những câu hỏi mơ hồ hoặc có đáp án chấm sai, vốn có thể làm sai lệch kết quả. Ngân hàng câu hỏi lớn với cơ cấu độ khó được kiểm soát giúp so sánh kết quả bài kiểm tra giữa các ứng viên. Thống kê câu hỏi từ ứng viên thực tế cho biết câu hỏi nào phân biệt được kết quả tốt hơn với kết quả yếu hơn, đồng thời giúp loại bỏ những câu hỏi không làm được điều đó. Khi số lượng mẫu tăng lên, các thống kê này tạo thêm bằng chứng cho từng bài kiểm tra, thu thập từ những người thực sự làm bài.
Đối với nhà tuyển dụng, các nguyên tắc thực tế rất đơn giản: chọn bài kiểm tra phù hợp với vị trí, cho mọi ứng viên làm cùng một bài kiểm tra trong cùng khoảng thời gian, cung cấp điều chỉnh hỗ trợ phù hợp khi được yêu cầu và kiểm tra tỷ lệ được chọn sau mỗi đợt tuyển dụng. Cách tiếp cận về tính công bằng của chúng tôi và hướng dẫn về kiểm tra trước tuyển dụng trình bày chi tiết hơn về các bước này.
Tính công bằng không phải là việc chỉ kiểm tra một lần. Mỗi bài kiểm tra đều có ghi chú về tính công bằng, ứng viên có thể được thêm thời gian, và câu hỏi luyện tập giúp mọi người làm quen với định dạng trước khi bắt đầu tính giờ.
Nhà tuyển dụng cũng nên kiểm tra kết quả tuyển dụng của mình. Sau mỗi đợt tuyển dụng, hãy so sánh tỷ lệ được chọn giữa các nhóm ứng viên; quy tắc bốn phần năm là một cách kiểm tra ban đầu thường dùng. Nếu có khác biệt, đó là dấu hiệu để một người xem xét kỹ hơn bài kiểm tra, vị trí và quy trình, chứ bản thân nó không phải là kết luận.
HireValid không tự động từ chối, ẩn hoặc xếp hạng ứng viên. Điểm số, mức chuẩn và bằng chứng về tính liêm chính cung cấp thông tin cho nhà tuyển dụng, người đưa ra mọi quyết định.
Khám phá thư viện, thử một câu hỏi luyện tập và tạo bộ bài kiểm tra cho vị trí chỉ trong vài phút. Miễn phí cho ba ứng viên.
Vẫn chưa chắc chắn? Bắt đầu với gói Free và dùng thử cho một vị trí tuyển dụng thực tế.
Bắt đầu miễn phíCâu hỏi được soạn với sự hỗ trợ của AI theo bản yêu cầu chi tiết cho từng nhóm câu hỏi. Nhóm HireValid xây dựng bản yêu cầu này dựa trên bản thiết kế của mỗi bài kiểm tra. Sau đó, từng câu hỏi được một mô hình thuộc một họ AI khác đánh giá độc lập. Mô hình trả lời câu hỏi mà không biết đáp án và chấm câu hỏi theo danh sách tiêu chí chất lượng. Chỉ những câu đạt yêu cầu mới được đưa vào sử dụng.
Người đánh giá độc lập trả lời từng câu hỏi mà không biết đáp án, sau đó kiểm tra câu trả lời có khớp với đáp án hay không và liệu có lựa chọn nào khác cũng có thể bảo vệ được hay không. Câu trả lời trong bảng tính được tính lại bằng công cụ công thức của chúng tôi; câu trả lời lập trình được chạy thử với các trường hợp kiểm thử. Câu hỏi không vượt qua bất kỳ bước kiểm tra nào trong số này sẽ không được đưa vào sử dụng.
Vì mỗi ngân hàng có số câu hỏi đã được duyệt ít nhất gấp ba lần số câu hỏi được chọn cho một bài kiểm tra, và gấp năm lần đối với bài kiểm tra năng lực nhận thức. Mỗi ứng viên nhận một bộ câu hỏi mới theo thứ tự khác nhau, với các lựa chọn được xáo trộn. Nhờ vậy, các bài kiểm tra vẫn có thể so sánh với nhau, đồng thời việc chia sẻ câu hỏi trở nên kém hữu ích hơn nhiều.
Hệ thống theo dõi thống kê hằng ngày giám sát mọi câu hỏi đang được sử dụng: tần suất trả lời đúng và liệu ứng viên có năng lực cao hơn có trả lời đúng thường xuyên hơn ứng viên có năng lực thấp hơn hay không. Câu hỏi có dấu hiệu bất thường sẽ được tạm ngừng để xem xét và thay thế, đồng thời lịch sử của câu hỏi vẫn được lưu lại. Kết quả trước đó vẫn gắn với phiên bản câu hỏi đã dùng để chấm điểm.
Dựa trên dữ liệu ứng viên của HireValid, được tính riêng cho từng phiên bản bài kiểm tra. Phân vị xuất hiện khi 50 ứng viên đã hoàn thành bài kiểm tra. Cho đến khi có 200 ứng viên, phân vị được ghi là tạm thời kèm theo cỡ mẫu và được tính lại hằng ngày khi mẫu tăng lên. Mỗi kết quả ghi rõ phiên bản mức chuẩn được dùng để so sánh, vì vậy ý nghĩa của kết quả không bao giờ âm thầm thay đổi.
Không. Khi kích hoạt một vị trí, vị trí đó sẽ giữ nguyên phiên bản bài kiểm tra ban đầu, và mỗi điểm số đều ghi lại phiên bản chấm điểm cũng như phiên bản chuẩn đối chiếu đã dùng. Nếu bài kiểm tra được cải tiến sau đó, các vị trí mới sẽ dùng phiên bản mới, còn kết quả hiện có vẫn giữ nguyên ý nghĩa ban đầu và luôn có thể được giải thích.
Chọn bộ bài kiểm tra cho vị trí, gửi một liên kết và so sánh kỹ năng thực tế của các ứng viên. Không có hợp đồng hằng năm.