Schutz vor KI-Betrug: Wie HireValid Einstellungstests KI-resistent macht

Warum es mehr als einen Detektor braucht, um KI-Schummeln zu erkennen

Bewerbenden, die heute Hilfe von KI nutzen möchten, stehen mehr Möglichkeiten als je zuvor zur Verfügung. Allgemeine Chatbots beantworten eingefügte Fragen in Sekunden. Desktop-Assistenten lesen den Bildschirm oder hören bei einem Anruf mit und schlagen in einem kleinen Fenster Antworten vor. Einer davon, Cluely, bezeichnet sich selbst als „bei der Bildschirmfreigabe unsichtbar“. Einige Tools werden gezielt für Vorstellungsgespräche und Einstellungstests vermarktet. Unser Leitfaden für Arbeitgebende zu KI-Tools für Betrug bei Vorstellungsgesprächen gibt einen Überblick über die wichtigsten Kategorien.

Solche Tools ändern sich jeden Monat. Ein Ansatz, der nur versucht, sie zu erkennen, ist daher immer eine Version im Rückstand. Die Prävention von KI-Schummelei funktioniert besser, wenn sie beim Test selbst ansetzt. Wenn jede Person andere Fragen erhält, diese einzeln und mit einem knappen Zeitlimit gestellt werden, das sich durch erneutes Laden der Seite nicht zurücksetzen lässt, und die Fragen nicht kopiert werden können, wird externe Hilfe langsam, umständlich und sichtbar. Das ist die Idee hinter jedem HireValid-Test und der Grund, warum wir sie als KI-resistent beschreiben.

Prävention ist die erste Ebene, aber nicht die einzige. Hinweise auf KI-Schummelei zeigen Arbeitgebenden, was bei jedem Versuch passiert ist. Die endgültige Entscheidung trifft immer ein Mensch. Im Rest dieser Seite finden Sie die konkreten Prüfungen hinter jeder Ebene.

Ebene 1: Tests, bei denen KI-Unterstützung schwer zu nutzen ist

Ein anderer Test für jede Bewerberin und jeden Bewerber. Jeder Test bezieht seine Fragen aus großen Fragenpools, die mindestens dreimal so viele Fragen enthalten, wie in einem Test verwendet werden, bei kognitiven Tests sogar fünfmal so viele. Daher sehen zwei Bewerbende selten denselben Fragensatz. So erstellen wir unsere Tests erklärt, wie jeder Pool erstellt und geprüft wird. Bei jedem Versuch erscheinen die Fragen in einer anderen Reihenfolge, und auch die Antwortoptionen werden neu gemischt.

Eine Frage nach der anderen, ohne etwas abgreifen zu können. Der Browser erhält jeweils eine Frage. Der Server erstellt sie anhand einer Freigabeliste der anzuzeigenden Felder neu. Antwortschlüssel, Bewertungsschlüssel, verborgene Testfälle in Programmierfragen und Lösungen für Tabellenaufgaben verlassen niemals unsere Server. Eine automatisierte Prüfsuite auf Datenlecks kontrolliert jede Antwort der Bewerbenden darauf. Bewerbende können nicht zu einer vorherigen Frage zurückkehren.

Eine Uhr, die Bewerbende nicht zurücksetzen können. Die Zeitmessung läuft auf dem Server. Für Denkaufgaben gelten jeweils eigene Zeitlimits, üblicherweise 45 bis 90 Sekunden. Das ist lang genug für jemanden mit den entsprechenden Fähigkeiten, aber zu kurz, um eine Frage in einen Chatbot einzufügen und die Antwort zu prüfen. Wird die Seite neu geladen, erscheint dieselbe Frage wieder, und zwar mit der noch verbleibenden Zeit. Läuft die Zeit für eine Frage ab, wird dies als Zeitüberschreitung erfasst, bevor die nächste Frage erscheint.

Kopieren ist gesperrt, und Versuche werden erfasst. Fragetexte können weder kopiert noch ausgeschnitten oder markiert werden. Der Rechtsklick ist deaktiviert. Auch ein blockierter Kopierversuch wird in der Ereignisübersicht erfasst. Der Vollbildmodus ist standardmäßig aktiviert. Arbeitgebende können ihn für eine Stelle ausschalten.

Links, die nicht weitergegeben werden können. Jeder Einladungslink ist persönlich, wird nur als sicherer Hash gespeichert und läuft ab. Ein abgeschlossener Test kann nicht erneut absolviert werden. Wird derselbe Link auf einem zweiten Gerät geöffnet, bleibt nur die neueste Sitzung aktiv.

Formate, die KI weniger entgegenkommen. Mindestens ein Drittel der Fragen in jedem kognitiven Test basiert auf Tabellen, Abbildungen oder Zahlenfolgen statt auf Text, der sich einfach kopieren lässt. Bei Situational-Judgement-Tests kommt es auf Einzelheiten in den Szenarien an, die allgemeine KI-Ratschläge übersehen. Tabellenaufgaben wie der Excel-Mittelstufentest verlangen von Bewerbenden, die Aufgabe auszuführen, statt sie nur zu beschreiben.

Ebene 2: Alle Prüfungen, die HireValid erfasst

Während ein Kandidat die bewerteten Fragen bearbeitet, erfasst HireValid diese Prüfdaten. Alles, was während der Übungsfragen passiert, wird angezeigt, aber niemals gewertet.

Browser- und Seitenprüfungen

• Zeit außerhalb des Tests. Jedes Mal, wenn der Test-Tab oder das Browserfenster den Fokus verliert, und wie lange das dauert.
• Verlassen des Vollbildmodus und wie lange der Kandidat außerhalb des Vollbildmodus bleibt.
• Einfügen in Antworten mit Angabe der Anzahl der eingefügten Zeichen.
• Text, der erscheint, ohne getippt zu werden: Ein Textblock erscheint auf einmal, ohne die Tastatureingaben, die ihn erzeugen würden.
• Blockierte Kopierversuche bei Fragetexten.
• Neuladen und erneute Verbindungen, damit eine Unterbrechung im Zeitverlauf direkt mit ihrer Erklärung angezeigt wird.

Zeitprüfungen, auf dem Server berechnet

• Antworten schneller, als jemand die Frage lesen könnte. Für jeden Test wird eine Mindestlesezeit festgelegt, in der Regel eineinhalb Sekunden. Jede darunterliegende bewertete Antwort wird vermerkt.
• Ungewöhnlich gleichmäßige Zeitabstände. Wenn die Antwortzeiten während eines ganzen Tests verdächtig regelmäßig sind, wird dieses Muster einmal markiert.

Kameraprüfungen mit Zustimmung des Kandidaten

• Webcam-Fotos zu zufälligen Zeitpunkten während des Tests. Jedes Foto wird automatisch darauf geprüft, ob kein Gesicht oder mehr als ein Gesicht zu sehen ist oder ob ein Gesicht deutlich vom Bildschirm abgewandt ist.
• Ausgeschaltete Kamera, einschließlich der Dauer, während der sie ausgeschaltet war, sowie der Entzug der Kameraberechtigung während des Tests.
• Ein Identitätsfoto vor Testbeginn, wenn der Arbeitgeber darum bittet.

Geräte- und Netzwerkprüfungen

• Dasselbe Gerät wie bei einem anderen Kandidaten für dieselbe Stelle und dasselbe Netzwerk wie bei einem anderen Kandidaten für dieselbe Stelle. Beide Kandidaten werden markiert, unabhängig davon, wer zuerst fertig war.
• Mehr als ein angeschlossener Bildschirm, sofern der Browser dies meldet.

Geräte- und Netzwerkdetails werden niemals im Rohformat gespeichert. Jeder Wert wird durch einen digitalen Fingerabdruck ersetzt, der nur innerhalb einer Stelle funktioniert. So kann HireValid erkennen, dass zwei Versuche dasselbe Gerät verwenden, ohne die Gerätedetails zu speichern.

Ebene 3: Ein Integrity Score, den Sie erklären können

Jede Prüfung fließt in den Integrity Score von 0 bis 100 ein, der alle Tests einer Person für die Stelle berücksichtigt. Werte von 80 bis 100 bedeuten Hohe Vertrauenswürdigkeit, 50 bis 79 Überprüfung empfohlen und 0 bis 49 Erhebliche Bedenken.

Jede Art von Signal wird danach gewichtet, was daran relevant ist: Bei Abwesenheiten zählt, wie lange die Person abwesend war, nicht wie oft sie den Tab gewechselt hat. Bei eingefügtem Text und Text ohne Tastenanschläge zählt, wie oft dies vorkam. Bei Webcam-Prüfungen zählt der Anteil der betroffenen Fotos. Jedes Signal hat außerdem einen Höchstwert, der so festgelegt ist, dass ein einzelnes Signal oder zwei beliebige Signale zusammen eine Person nicht in die Kategorie „Erhebliche Bedenken“ bringen können. Die einzige Ausnahme ist eine Kombination, die darauf hindeutet, dass eine andere Person den Test absolviert: Auf den Fotos ist kein Gesicht zu sehen und die Person verwendet dasselbe Gerät wie eine andere Person. Für die Einstufung „Erhebliche Bedenken“ sind mehrere unabhängige Signale nötig. So werden ehrliche Bewerbende in einem lauten Raum oder in einem gemeinsam genutzten Büronetzwerk nicht in diese Kategorie eingestuft.

Die Gewichtungen sind in einem versionierten Regelwerk festgehalten. Bei jedem Wert wird die verwendete Version gespeichert, damit sich ein Ergebnis auch ein Jahr später noch erklären lässt. Free zeigt den Wert und die Einstufung an. Starter und Growth zeigen zusätzlich jedes Signal samt Gewichtung sowie eine Ereignisübersicht mit allen Ereignissen in einfacher Sprache und chronologischer Reihenfolge, einschließlich der Fotos. Die Integritätsübersicht erscheint auch in jedem PDF-Bericht zu einer Person.

So lesen Sie ein Ergebnis wie dieses

Acht Arten von Signalen, von denen keines allein ausschlaggebend ist, ergeben zusammen die Einstufung „Überprüfung empfohlen“: genug, damit eine Person genauer hinsieht, aber nicht genug, um den Fall als schwerwiegend einzustufen. Öffnen Sie die Ereignisübersicht und lesen Sie sie der Reihe nach. Ein 24-sekündiger Wechsel zu einem anderen Tab während einer Kalenderbenachrichtigung ist nicht dasselbe wie 300 Zeichen, die auf einmal in einer schriftlichen Antwort erscheinen.

HireValid lehnt Bewerbende niemals automatisch aufgrund eines Signals ab, blendet sie nicht aus und stuft sie nicht automatisch ein. Eine Benachrichtigung, eine langsame Verbindung, unterstützende Technologie oder ein vorbeigehendes Familienmitglied können jeweils ein Ereignis auslösen. Ein niedriger Wert zeigt Ihnen also, wo Sie zuerst genauer hinsehen sollten, nicht was passiert ist. Stellen Sie der Person eine neutrale Frage zu ungewöhnlichen Ereignissen oder überprüfen Sie die Fähigkeit in einem kurzen, strukturierten Gespräch. Treffen Sie Ihre Entscheidung anhand aller verfügbaren Hinweise. Der Hilfeartikel zum Verständnis von Integritätssignalen erklärt Schritt für Schritt, wie Sie ein Ergebnis lesen.

Fair gegenüber ehrlichen Kandidatinnen und Kandidaten

Maßnahmen gegen Betrug sollten niemals bedeuten, alle Bewerbenden unter Verdacht zu stellen. Die Mehrheit ist ehrlich und verdient einen ruhigen Test und eine klare Erklärung.

Bewerbende werden zuerst informiert. Auf der Begrüßungsseite steht, was und warum erfasst wird. Bewerbende stimmen zu, bevor ein Foto aufgenommen wird. Sie sehen das Zeitlimit, die Hilfsmittel, die sie verwenden dürfen, und einige Übungsfragen, bevor die bewerteten Fragen beginnen. Die Übungsfragen werden nicht gewertet. Der Leitfaden für Bewerbende erklärt den Ablauf aus ihrer Sicht.

Der Test wird für eine Prüfung nicht unterbrochen. Wenn die Kamera ausgeschaltet wird, läuft der Test weiter und es wird lediglich in der Ereignisübersicht vermerkt. Die Kamera ist optional: Arbeitgebende können für jede Stelle Webcam-Fotos deaktivieren; die übrigen Prüfungen gelten weiterhin.

Fotos und Geräte sind geschützt. Webcam- und Identitätsfotos werden verschlüsselt und unter dem einstellenden Unternehmen und der jeweiligen Person gespeichert. Sie sind nur für dieses Unternehmen über kurzlebige Links sichtbar und werden nach Ablauf der Aufbewahrungsfrist des Unternehmens automatisch gelöscht, spätestens nach 90 Tagen. Geräte- und Netzwerkdetails werden nur als Fingerprints gespeichert, die innerhalb einer Stelle funktionieren. Die Richtlinie zu biometrischen Daten enthält weitere Informationen.

Anpassungen sind vorgesehen. Arbeitgebende können Bewerbenden zusätzliche Zeit geben. Unterstützende Technologien werden niemals als Betrug gewertet. Bewerbende können vor Beginn eine Anpassung beantragen. Unser Ansatz zur Fairness erklärt, wie wir mit den übrigen Aspekten umgehen.

Wie sich das mit anderer Software zur Betrugserkennung vergleichen lässt

Die meisten Anti-Schummel-Tools für die Personalauswahl verfolgen einen von drei Ansätzen. Live- oder aufgezeichnete Aufsicht überwacht die Bewerberin oder den Bewerber während des gesamten Tests über Kamera und Mikrofon. Das ist gründlich, aber kostspielig, für Bewerberinnen und Bewerber belastend und mit der Erfassung vieler personenbezogener Daten verbunden. Abgesicherte Browser kontrollieren den Computer, auf dem der Test absolviert wird. Dafür muss jedoch etwas heruntergeladen werden. Außerdem sind sie in der Bildung verbreiteter als bei der Personalauswahl. KI-Textdetektoren versuchen zu beurteilen, ob ein Text von einem Chatbot stammt. Ihre Ergebnisse lassen sich Bewerberinnen und Bewerbern nur schwer erklären.

HireValid verfolgt einen weniger aufwendigen Ansatz in mehreren Ebenen, der für kleine Teams entwickelt wurde: Tests, die von Grund auf KI-resistent sind, eine gezielte Auswahl von Anti-Schummel-Prüfungen und einen Score, den eine Person Punkt für Punkt erklären kann. Es muss nichts installiert werden, die Kamera ist optional und die Belege sind konkret. Wenn Sie Tools vergleichen, stellen Sie jedem Anbieter drei Fragen: Erhält jede Person einen anderen Test? Werden Antwortschlüssel jemals an den Browser gesendet? Können Sie die Belege und die Gewichtung jeder Markierung einsehen? Der Vergleichsbereich zeigt anhand von Quellen, wie verschiedene Anbieter von Tests ihre Integritätsfunktionen beschreiben.

So sieht das in einem echten Auswahlverfahren aus

Stellen Sie sich ein kleines Unternehmen vor, das eine Kundenservicekraft einstellen möchte und innerhalb einer Woche 60 Bewerbungen erhält. Es schickt allen Bewerberinnen und Bewerbern einen Link zum Testpaket für Kundenservicekräfte: situatives Urteilsvermögen im Kundenservice, Englischkenntnisse, Sorgfalt und Tippgeschwindigkeit. Insgesamt dauert der Test etwa 33 Minuten.

Alle Bewerberinnen und Bewerber erhalten unterschiedliche Fragen. Die meisten schließen mit einer hohen Vertrauensbewertung ab. Bei zwei steht „Überprüfung empfohlen“. In der ersten Zeitleiste steht zweimal „Test-Tab verlassen“, gefolgt von „Nach 61 Sekunden zum Test-Tab zurückgekehrt“. In der zweiten steht „412 Zeichen eingefügt“ in einer Freitextantwort. Außerdem wurden mehrere Antworten schneller abgegeben, als die jeweilige Frage gelesen werden konnte. Die Personalverantwortliche spricht beide Personen in einem kurzen, strukturierten Gespräch darauf an. Bei einer Person gab es eine Unterbrechung durch die Familie. Sie löst eine ähnliche Situation im Gespräch mühelos. Die andere Person kann die eigene Antwort nicht erklären. Die Entscheidung fällt leicht, fair und nachvollziehbar.

Darum geht es bei einem mehrstufigen, KI-resistenten Test: Die meisten Bewerberinnen und Bewerber kommen problemlos durch, die wenigen Ergebnisse, bei denen sich ein genauerer Blick lohnt, fallen auf, und die Belege machen das Gespräch einfach. Eine Produktseite mit demselben Ansatz finden Sie unter KI-resistente Einstellungstests. Oder lesen Sie, wie Sie Schummeln mit KI im Vorstellungsgespräch verhindern, bevor Bewerberinnen und Bewerber in die engere Auswahl kommen.