Hochrisiko-Anwendungen erkennen

Ein Werkzeug, zwei Welten#

Im Hafen entscheidet nicht der Kran darüber, welche Vorschriften gelten, sondern die Ladung. Derselbe Ausleger, der Kaffeesäcke umschlägt, unterliegt einem völlig anderen Regime, sobald ein Gefahrgutcontainer am Haken hängt. Die KI-Verordnung ist an dieser Stelle genauso gebaut, und das erklärt fast alle Missverständnisse, die mir zu diesem Thema begegnen.

Ein Sprachmodell ist nicht per se hochriskant. Es wird es durch den Zweck, für den ein Unternehmen es einsetzt. Wer ChatGPT nutzt, um Serienbriefe zu formulieren, kann Anhang III getrost überspringen. Wer dasselbe Werkzeug einsetzt, um aus zweihundert Bewerbungen dreißig herauszufiltern, steht mitten drin.

Die acht Bereiche, ehrlich sortiert#

Anhang III nennt acht Felder. Sie sind nicht gleich wahrscheinlich. Sechs davon werden einem mittelständischen Betrieb nie begegnen, zwei begegnen ihm häufiger, als er denkt.

Praktisch relevant im Mittelstand: Beschäftigung und Personalwesen — also Vorauswahl von Bewerbungen, Zuweisung von Aufgaben, Leistungsbewertung, Entscheidungen über Beförderung oder Beendigung. Und Zugang zu wesentlichen privaten und öffentlichen Leistungen — Kreditwürdigkeitsprüfung, Risikobewertung in der Versicherung, Priorisierung im Notruf.

Selten bis nie: biometrische Identifizierung und Kategorisierung; kritische Infrastruktur als Sicherheitsbauteil in Wasser, Gas, Strom, Wärme oder Verkehr; allgemeine und berufliche Bildung mit Zulassungs- oder Prüfungsentscheidungen; Strafverfolgung; Migration, Asyl und Grenzkontrolle; Justiz und demokratische Prozesse.

Wer die Liste liest und bei allen acht Punkten den Kopf schüttelt, sollte trotzdem eine Nachfrage stellen, und zwar in die Personalabteilung. Dort steht die Wahrscheinlichkeit am höchsten, dass bereits jemand ein Werkzeug ausprobiert, von dem die Geschäftsführung nichts weiß.

Die Bewerbervorauswahl ist der Klassiker#

Kein anderer Anwendungsfall wird so oft für harmlos gehalten und ist es so wenig. Die Argumentation im Haus klingt regelmäßig gleich: Man entscheide ja nicht, man sortiere nur vor; der Mensch schaue am Ende ohnehin drüber. Beides ändert an der Einstufung nichts. Die Verordnung erfasst Systeme, die für die Vorauswahl oder Filterung von Bewerbungen eingesetzt werden, ausdrücklich.

Dazu kommt ein zweiter Rechtskreis, den viele übersehen: Wer Bewerbungen maschinell vorsortiert, bewegt sich zugleich im Datenschutz und im Allgemeinen Gleichbehandlungsgesetz. Ein Modell, das aus historischen Einstellungsdaten gelernt hat, lernt zuverlässig auch die Muster mit, die man dort nicht haben will.

Was der Betreiber zu tun hat#

Die schweren Lasten — Konformitätsbewertung, technische Dokumentation, CE-Kennzeichnung, Registrierung in der EU-Datenbank, Qualitätsmanagement — treffen den Anbieter. Der Betreiber kommt deutlich glimpflicher davon, aber eben nicht folgenlos: menschliche Aufsicht durch Personen, die das Ergebnis tatsächlich überstimmen können und dürfen; Protokollierung, in der Regel mindestens sechs Monate; Meldung von Vorfällen an Anbieter und Behörde; regelmäßige Überprüfung, ob der Einsatz noch so läuft wie vorgesehen. Dazu KI-Kompetenz nach Artikel 4, die ohnehin für jeden gilt.

Der schwierigste dieser Punkte ist die menschliche Aufsicht, und zwar nicht technisch, sondern kulturell. Eine Aufsicht, die formal existiert, aber in der Praxis jedes Ergebnis durchwinkt, weil dafür keine Zeit eingeplant ist, erfüllt die Anforderung nicht. Sie erfüllt nur das Protokoll.

Zeitplan und was er praktisch bedeutet#

Durch den Digital Omnibus gelten die Pflichten für eigenständige Hochrisiko-Systeme nach Anhang III ab dem 2. Dezember 2027, für in Produkte eingebettete Systeme nach Anhang I ab dem 2. August 2028. Das klingt nach reichlich Zeit. Es ist keine.

Wer heute ein Auswahlverfahren umstellt, braucht eine Anbieterentscheidung, eine Datenschutz-Folgenabschätzung, eine Betriebsvereinbarung, eine Schulung der Beteiligten und einen Probelauf mit Vergleichsmessung. In einem mittelständischen Haus mit einem Personalbereich von drei Leuten ist das keine Sache von Wochen. Wer im Jahr 2027 anfängt, fängt zu spät an.

Die Grauzone: Vorsortieren, Zusammenfassen, Vorschlagen#

Zwischen „das System entscheidet" und „das System hilft nur" liegt ein breiter Streifen, in dem sich die meisten realen Vorhaben bewegen. Drei Beispiele, die ich regelmäßig sehe, und wie ich sie einordne — mit dem ausdrücklichen Hinweis, dass die verbindliche Einordnung im Einzelfall in eine anwaltliche Prüfung gehört.

Ein Modell fasst jede Bewerbung auf eine halbe Seite zusammen, die Reihenfolge bleibt unverändert. Das ist näher an einem Werkzeug als an einer Auswahl. Kritisch wird es in dem Moment, in dem die Zusammenfassung das Einzige ist, was gelesen wird — dann entscheidet faktisch die Auswahl der Inhalte durch das Modell.

Ein Modell vergibt Punktwerte, die Liste wird danach sortiert. Das ist Vorauswahl, auch wenn niemand aussortiert wird. Wer eine Liste von unten nach oben liest, liest sie praktisch nie zu Ende.

Ein Modell prüft Pflichtangaben auf Vollständigkeit und meldet fehlende Unterlagen. Das ist Formalprüfung und kein Auswahlkriterium — solange die Regeln, nach denen geprüft wird, festgelegt und nachlesbar sind.

Wenn Sie unbeabsichtigt zum Anbieter werden#

Bei Hochrisiko-Systemen ist der Rollenwechsel besonders folgenreich. Wer an einem solchen System eine wesentliche Änderung vornimmt, wer es unter eigenem Namen weitergibt oder wer seine Zweckbestimmung wesentlich verändert, wird selbst zum Anbieter — mit dem vollen Pflichtenkatalog samt Konformitätsbewertung. Der praktische Rat lautet deshalb: Hände weg von der Feinabstimmung eingekaufter Systeme in diesem Bereich, solange nicht geklärt ist, was das rechtlich auslöst.

Vier Fragen, die die Einordnung meistens klären#

Erstens: Wird über einen Menschen entschieden oder über eine Sache? Zweitens: Geht es um Zugang — zu einer Stelle, zu einem Kredit, zu einer Versicherung, zu einer Leistung? Drittens: Hat das Ergebnis für den Betroffenen spürbare Folgen, auch wenn ein Mensch formal zustimmt? Viertens: Könnten Sie einem Betroffenen erklären, warum das System zu diesem Ergebnis kam?

Dreimal Ja und einmal Nein bei der letzten Frage — das ist die Konstellation, bei der ich dringend zu einer sauberen Prüfung rate.

Was Sie jetzt tun können, ohne Geld auszugeben#

Eine Liste aller Stellen im Haus, an denen über Menschen entschieden wird: Einstellung, Beförderung, Zielvereinbarung, Schichtplanung, Kündigung, Kreditvergabe an Kunden. Danach die Frage, ob an einer dieser Stellen bereits ein maschinelles Hilfsmittel im Spiel ist — auch ein Excel-Punktesystem mit KI-generierten Kriterien zählt. Diese Liste kostet einen Vormittag und beantwortet neunzig Prozent der Frage.