So entwickeln wir unsere Tests: der Entwicklungsprozess

Phase 1: Jeder Test beginnt mit einem Testkonzept

Die Entwicklung eines Tests beginnt lange vor der ersten Frage. Für jeden HireValid-Test gibt es einen schriftlichen Testplan, der die Fragen beantwortet, die eine sorgfältig arbeitende Personalverantwortliche oder ein sorgfältig arbeitender Personalverantwortlicher stellen würde:

• Was wird gemessen und für welche Rollen? Eine kurze Beschreibung der Fähigkeit und der passenden Rollen, die in der Testbibliothek angezeigt wird.
• Welche Teilkompetenzen? Jeder Test ist in benannte und gewichtete Teilkompetenzen unterteilt, etwa Tabellen lesen oder Fehler erkennen. So sehen Arbeitgeber eine Aufschlüsselung jedes Ergebnisses, ohne jemals eine Frage zu sehen.
• Wie lang und wie schwierig? Die meisten Tests dauern höchstens 15 Minuten. Jeder Fragenpool enthält eine Mischung verschiedener Schwierigkeitsgrade, zum Beispiel 30% leichte, 50% mittelschwere und 20% schwierige Fragen. Im Testplan steht, wie viele Fragen aus den einzelnen Pools stammen.
• Welche Hilfsmittel sind erlaubt? Wenn die Aufgabe es erfordert, werden ein Taschenrechner auf dem Bildschirm oder Schmierpapier zugelassen und auf der Einführungsseite für Bewerberinnen und Bewerber genannt.
• Für wen ist der Test fair? Zu jedem Test gehört ein Fairness-Hinweis, in dem festgehalten wird, was zu seiner Fairness beiträgt und ob dafür ein Desktop-Computer statt eines Smartphones benötigt wird.

Der Testplan sorgt dafür, dass sich der Test auf die Tätigkeit konzentriert. Eine Frage, die keine der Teilkompetenzen prüft, gehört nicht hinein.

Phase 2: Fragen passend zum Testkonzept verfassen

Jeder Fragenpool hat eine eigene Spezifikation: das Thema, die geprüfte Teilkompetenz, die einzusetzenden Frageformate und die Mischung der Schwierigkeitsgrade. Fragen werden mithilfe von KI nach dieser Spezifikation erstellt. So können wir deutlich größere Pools aufbauen, als es mit ausschließlich von Hand geschriebenen Tests möglich wäre. Dadurch kann jede kandidierende Person eine andere Auswahl erhalten.

Für jede Frage gelten folgende Regeln:

• Eine richtige Antwort. Jede bewertete Frage hat genau eine vertretbare Antwort. Jede falsche Antwortmöglichkeit ist plausibel, aber für jemanden mit der entsprechenden Kompetenz eindeutig falsch.
• Formate, die KI weniger entgegenkommen. Tabellen, Abbildungen, Zahlenfolgen und Details zu Szenarien werden gegenüber Texten bevorzugt, die sich einfach in einen Chatbot kopieren lassen. Mindestens ein Drittel jedes kognitiven Tests basiert auf Tabellen oder Abbildungen.
• Passende Zeitlimits. Eine kompetente Person kann die Frage innerhalb des Zeitlimits bequem beantworten. Das Limit ist kurz genug, um das Nachschlagen unpraktisch zu machen.
• Faire Sprache. Keine Frage setzt mehr kulturspezifisches Wissen, Redewendungen, Sportwissen, Kenntnisse zu Währungen oder Feiertagen voraus, als die Stelle erfordert. Namen und Szenarien sind vielfältig, und das Leseniveau ist auf die Stelle abgestimmt.

Eine neue Frage, die einer bereits im Pool enthaltenen zu ähnlich ist, wird automatisch abgelehnt. So werden die Pools vielfältiger, statt mit nahezu identischen Fragen zu wachsen.

Phase 3: Jede Frage wird unabhängig geprüft

Bevor eine Frage einer kandidierenden Person gestellt wird, durchläuft sie eine unabhängige Prüfung. Das Prüfmodell stammt aus einer anderen KI-Modellfamilie als das Modell, mit dem die Frage erstellt wurde. So teilen die beiden nicht dieselben blinden Flecken.

Die Prüfung besteht aus zwei Teilen. Zuerst beantwortet das Modell die Frage ohne Kenntnis der Lösung, genau wie eine kandidierende Person. Kann es nicht auf die vorgesehene Antwort kommen, ist die Frage nicht klar genug und wird nicht veröffentlicht. Anschließend bewertet es die Frage anhand einer Checkliste: Ist die vorgesehene Antwort richtig und die einzige vertretbare Antwort? Sind die falschen Antwortmöglichkeiten plausibel? Ist der Schwierigkeitsgrad angemessen? Prüft die Frage tatsächlich die angegebene Teilkompetenz? Ist sie frei von kulturellen Annahmen? Vermitteln Tabellen und Abbildungen die erforderlichen Informationen? Hat jedes Bild einen Alternativtext, anhand dessen eine Person mit Screenreader die Frage beantworten könnte?

Eine Frage mit mindestens 80 Punkten wird veröffentlicht. Fragen mit einer niedrigeren Punktzahl werden mit dokumentierter Begründung abgelehnt und in der nächsten Schreibrunde ersetzt. Parallel zur Prüfung laufen automatische Kontrollen: Tabellenkalkulationsantworten werden mit unserer eigenen Formelauswertung neu berechnet, Programmierantworten anhand ihrer Testfälle ausgeführt und Texte auf US-amerikanische Rechtschreibung sowie auf Aussagen geprüft, die wir niemals machen. Wird eine Frage später bearbeitet, gilt sie als neue Version und durchläuft erneut dieselbe Prüfung.

Phase 4: Eine feste Version veröffentlichen

Ein Test wird erst veröffentlicht, wenn jeder Fragenpool mindestens dreimal so viele genehmigte Fragen enthält, wie der Test daraus verwendet. Bei kognitiven Tests sind es mindestens fünfmal so viele. So erhält jede Person eine andere Auswahl in einer anderen Reihenfolge, mit neu gemischten Antwortoptionen. Außerdem benötigt jeder Test einen Übungsteil mit vier einfachen Fragen, die alle verwendeten Formate abdecken. Bewerbende sehen diese Fragen, bevor die bewerteten Fragen beginnen.

Jeder veröffentlichte Test ist eine feste Version. Wenn ein Arbeitgeber eine Stelle aktiviert, bleibt für diese Stelle die Version bestehen, mit der sie begonnen wurde. Bei jeder Bewertung wird festgehalten, welche Version dafür verwendet wurde. Wird ein Test später verbessert, behalten frühere Ergebnisse ihre ursprüngliche Bedeutung. Sie können jederzeit erklären, wie ein früheres Ergebnis zustande kam. Nichts wird gelöscht: Eine Frage, die aus dem Einsatz genommen wird, wird mit Angabe des Grundes archiviert. Ihre Historie bleibt erhalten.

Lösungsschlüssel und Fragenpools verlassen niemals unsere Server. Bewerbende erhalten jeweils eine Frage. Arbeitgeber sehen Bewertungen für Teilkompetenzen statt Fragetexte. So bleiben die Inhalte für die nächste Person geschützt. Der Überblick zur Betrugsprävention erklärt, wie dieses Design Tests KI-resistent macht.

Phase 5: Laufende Beobachtung und Vergleichswerte von echten Bewerbern

Sobald Bewerbende mit einem Test beginnen, wird täglich statistisch überprüft, wie sich jede Frage in der Praxis verhält: wie oft sie richtig beantwortet wird und ob leistungsstarke Personen sie häufiger richtig beantworten als weniger leistungsstarke. Das ist der Kern der Aufgabenanalyse. Eine Frage, die sich nicht wie erwartet verhält, wird zur Überprüfung aus dem Verkehr gezogen und durch eine neue ersetzt.

Dieselben Daten bilden den Benchmark des Tests. Die Benchmarks von HireValid basieren auf den eigenen Bewerbenden und werden für jede Testversion separat erstellt. Ein Test zeigt Perzentile, sobald 50 Personen ihn abgeschlossen haben. Bis die Stichprobe 200 Personen umfasst, wird jedes Perzentil mit Stichprobengröße als vorläufiger Benchmark gekennzeichnet. Ab 200 Personen wird es mit Stichprobengröße als Benchmark der HireValid-Bewerbenden gekennzeichnet. Benchmarks werden täglich neu berechnet und mit wachsender Stichprobe aktualisiert. Für jedes Ergebnis wird festgehalten, mit welcher Benchmark-Version es verglichen wurde. Auf der Benchmark-Seite erfahren Sie, wie Sie ein Perzentil lesen.

Validität und Zuverlässigkeit von Tests: unser Ansatz

Reliabilität beschreibt, ob ein Test konsistent misst. Validität beschreibt, ob er misst, was für die Stelle erforderlich ist. Beides beginnt mit dem Testkonzept: einem Test, der auf den Kompetenzen basiert, die in der jeweiligen Position tatsächlich gebraucht werden, klare Teilkompetenzen bewertet und für jede davon genügend Fragen enthält, um ein verlässliches Bild zu vermitteln.

Der oben beschriebene Prozess trägt zu beidem bei. Durch eine unabhängige Prüfung werden mehrdeutige oder falsch zugeordnete Fragen entfernt, die die Ergebnisse verfälschen könnten. Große Fragenpools mit kontrollierter Schwierigkeitsverteilung sorgen dafür, dass die Tests verschiedener Personen vergleichbar bleiben. Item-Statistiken aus Tests mit echten Kandidatinnen und Kandidaten zeigen, welche Fragen stärkere von schwächeren Leistungen unterscheiden. Fragen, bei denen das nicht der Fall ist, werden ausgemustert. Mit zunehmender Stichprobengröße wächst so die Evidenzbasis für jeden Test - basierend auf den Personen, die ihn tatsächlich absolvieren.

Für Arbeitgeber gelten einfache praktische Regeln: Wählen Sie Tests aus, die zur Stelle passen, geben Sie allen Personen denselben Test und dieselbe Bearbeitungszeit, bieten Sie auf Anfrage einen angemessenen Nachteilsausgleich an und prüfen Sie nach jeder Auswahlrunde die Auswahlquoten. Unser Ansatz für Fairness und der Leitfaden zu Einstellungstests erläutern diese Schritte ausführlicher.

Fairnessprüfungen auch nach der Veröffentlichung

Fairness wird nicht nur einmal überprüft. Zu jedem Test gehört ein Hinweis zur Fairness. Kandidatinnen und Kandidaten kann zusätzliche Zeit gewährt werden, und dank der Übungsfragen begegnet niemand einem unbekannten Format zum ersten Mal unter Zeitdruck.

Arbeitgeber sollten auch ihre eigenen Ergebnisse prüfen. Vergleichen Sie nach jeder Einstellungsrunde die Auswahlquoten verschiedener Bewerbergruppen. Die Vier-Fünftel-Regel ist eine gängige erste Prüfung. Ein Unterschied ist ein Anlass, den Test, die Stelle und den Prozess genauer anzusehen - aber für sich genommen niemals ein Urteil.

HireValid lehnt Kandidatinnen oder Kandidaten niemals automatisch ab, blendet sie nicht aus und stuft sie nicht automatisch ein. Werte, Vergleichswerte und Integritätsbelege informieren den Arbeitgeber, der alle Entscheidungen trifft.