Wann ist KI fair? Messbarkeit und Praxis im EU‑AI‑Act

Fairness wirkt auf den ersten Blick wie ein Wert, nicht wie eine Zahl. Der EU‑AI‑Act verlangt aber klare Nachweise: Systeme müssen Risiken für diskriminierende Ergebnisse minimieren und transparent dokumentiert werden. Für Unternehmen heißt das: Fairness Metriken KI nicht nur benennen, sondern messen, begründen und überwachen. In dieser Einführung nehme ich die Brücke zwischen Gesetzestext, Messmethoden und dem Alltag in Produktteams — ohne juristisches Kauderwelsch, mit konkreten Schritten für die Praxis.

Der EU‑AI‑Act unterscheidet je nach Risiko: Für hochriskante Systeme gelten strenge Pflichten zu technischer Dokumentation, Risikoanalysen und laufendem Monitoring. Fairness erscheint dort nicht als eine einzelne Formel, sondern als Aufgabe: Betreiber müssen mögliche Diskriminierungen identifizieren, Massnahmen beschreiben und nachweisen, dass diese wirksam sind. Das Gesetz setzt also Rahmen und Verantwortlichkeiten — die konkrete Wahl der Metrik bleibt oft dem Entwickler oder Auditor überlassen, verlangt aber nachvollziehbare Begründungen.

Wichtig für Praktiker: die Pflicht zur technischen Dokumentation umfasst Angaben zu Trainingsdaten, relevanten Merkmalen (z. B. geschützte Attribute), Modellleistung über Gruppen und Monitoring‑Pläne. Behörden und Auditoren erwarten, dass Unternehmen ihre Entscheidungen zur Metrik‑Auswahl dokumentieren — warum eine Metrik gewählt wurde, welche Schwellen gelten und wie Trade‑offs behandelt werden. Das macht Fairness prüfbar: nicht nur durch Zahlen, sondern durch Prozessdokumentation.

“Der AI‑Act verlangt Kontrolle und Nachweisbarkeit — nicht zwingend eine einzelne, universell gültige Fairness‑Kennzahl.”

Ein Fallbeispiel: Bei automatisierter Kreditentscheidung verlangt die Aufsichtsbehörde, dass das Unternehmen die Modellleistung getrennt für unterschiedliche Alters‑ und Geschlechtsgruppen evaluiert. Es reicht nicht, Durchschnittswerte zu melden — Abweichungen zwischen Gruppen müssen analysiert und begründet werden. Daraus folgt eine praktische Regel: Dokumentation + Metriken + Monitoring = Compliance‑Tripel.

Übersichtstabelle: Pflichten & erwartete Nachweise

Es gibt keine einzelne, immer gültige Kennzahl. Zwei der bekanntesten Messgrößen sind jedoch nützlich, um Entscheidungen zu strukturieren: Demographic Parity (statistische Parität) und Equal Opportunity. Demographic Parity verlangt, dass verschiedene Gruppen die gleiche positive Vorhersagerate haben — also zum Beispiel, dass Frauen und Männer die gleiche Quote an bewilligten Krediten erhalten. Equal Opportunity konzentriert sich darauf, dass berechtigte Fälle (True Positives) in allen Gruppen gleichermaßen erkannt werden — relevant, wenn es um Zugangsrecht oder Schutz geht.

Mathematisch knapp: Bei Demographic Parity vergleichen Sie P(Ŷ=1 | A=gruppe1) mit P(Ŷ=1 | A=gruppe2). Bei Equal Opportunity vergleichen Sie die True‑Positive‑Raten: P(Ŷ=1 | Y=1, A=gruppe). Beide Ziele können sich widersprechen: eine Anpassung zugunsten der einen Metrik verschlechtert oft die andere. Deshalb ist die Wahl nicht nur technisch, sondern normative Entscheidung — und muss dokumentiert werden.

Weitere nützliche Metriken: Equalized Odds (gleichere FPR und TPR), Calibration (Vorhersagewahrscheinlichkeit entspricht realer Trefferquote) und Gap‑Indikatoren (Unterschiede in FPR/TPR zwischen Gruppen). Jede Metrik beantwortet eine andere Frage. In der Praxis empfehlen EU‑Guidance‑Texte die explizite Auswahl und Begründung der Metrik im AIA bzw. in der Model Card.

Pragmatischer Vorschlag für die Auswahl:

1. Definieren Sie, welche Art von Ungerechtigkeit Sie vermeiden wollen (Zugang vs. Leistungsunterschied).
2. Wählen Sie 2–3 Metriken, die diese Befürchtung messen können.
3. Setzen Sie klare Akzeptanzschwellen (z. B. maximaler TPR‑Unterschied von 5 %), dokumentieren Sie rationale und Alternativen.

Wichtig: Hier endet nicht die Prüfung. Die Dokumentation der Wahl, der Testdaten und der erwarteten Auswirkungen ist für EU‑Audits zentral. Wenn Sie Fairness Metriken KI im Produkt verankern, sorgen Sie dafür, dass Auswahl, Tests und Monitoring in den Entwicklungszyklus eingebettet sind — und jederzeit für externe Prüfungen abrufbar.

Die Theorie ist eine Seite — die Praxis eine andere. Für Entwickler und Compliance‑Teams folgt hier ein pragmatischer Audit‑Workflow, der sich an EU‑Erwartungen orientiert und im Team umsetzbar ist.

Schritt 1: Data‑Inventory. Listen Sie alle Datenquellen, beschreiben Sie Herkunft, Repräsentativität und welche (geschützten) Attribute existieren. Für Audits ist diese Transparenz oft entscheidender als eine perfekte Metrik.

Schritt 2: Auswahl der Metriken & Baseline. Treffen Sie eine dokumentierte Entscheidung (siehe Kapitel 2). Erheben Sie Baseline‑Werte auf einem Hold‑out‑Dataset sowie auf relevanten Subgruppen.

Schritt 3: Testing & Mitigation. Nutzen Sie bekannte Tools (z. B. Fairlearn, IBM AI Fairness 360) und einfache Techniken: Reweighing, Threshold‑Tuning, Post‑Processing. Testen Sie Auswirkungen auf Accuracy und Fairness— dokumentieren Sie jeden Kompromiss.

Schritt 4: Model Card & AIA. Erfassen Sie Zweck, Daten, Metriken, Annahmen, Limitierungen und Monitoring‑Plan. Model Cards sind ein schnelles, praxisbewährtes Mittel, um Auditoren und Stakeholdern die wichtigsten Informationen bereitzustellen.

Schritt 5: Deployment & Monitoring. Richten Sie ein Post‑Market‑Monitoring ein: Periodische Tests, Drift‑Detection, und Alerts, wenn Ungleichheiten über definierte Schwellen steigen. Für Hochrisiko‑Systeme verlangt die EU laufende Überprüfung; automatisierte Tests + manuelle Stichproben sind hier sinnvoll.

Audit‑Tipps für Product Owner:

• Begründen Sie die Metrikwahl schriftlich — das reduziert Nachfragen bei Prüfungen.
• Versionieren Sie Daten, Modell und Tests — Reproduzierbarkeit ist Schlüssel zur Compliance.
• Führen Sie ein Stakeholder‑Log: Wer hat welche Entscheidung wann getroffen und warum.

Mit diesem Ablauf lässt sich Fairness von der Absicht in die tägliche Kontrolle überführen — und zwar so, dass Aufsichtsbehörden, interne Auditoren und Entwickler dieselben Fakten sehen.

Bei Fairness hört die Technik nicht auf: Recht, Ethik und Geschäftsinteressen treffen aufeinander. Drei Konfliktfelder treten in der Praxis besonders häufig auf.

Erstens: Metrik‑Trade‑offs. Wie bereits gesagt, kann die Optimierung einer Metrik andere verschlechtern. Unternehmen müssen diese Entscheidungen explizit machen — und die Konsequenzen kommunizieren. Das ist sowohl Governance‑ als auch Kommunikationsaufgabe.

Zweitens: Geschäftsgeheimnisse vs. Transparenz. Manche Firmen fürchten, dass detaillierte Model Cards wertvolle IP offenbaren. Die Balance besteht darin, ausreichend Transparenz für Compliance zu bieten, ohne sensible Implementation‑Details preiszugeben. Praktisch funktioniert das durch abstrahierte Beschreibungen, standardisierte Reporting‑Fields und vertrauliche Zugriffsregeln bei Audits.

Drittens: Datenschutz und Rechtsfragen. Datennachweise können personenbezogene Informationen beinhalten. Datenschutzrecht (z. B. DSGVO) und Aufsichtsanforderungen müssen zusammen gedacht werden: Dokumentation darf keine unnötigen personenbezogenen Details enthalten, aber sie muss Prüfpfade ermöglichen. Hier helfen pseudonymisierte Audit‑Datensätze und klar geregelte Zugriffskontrollen.

Schließlich: sektorale Unterschiede. Was in der Personalbeschaffung als faire Lösung gilt, passt nicht ohne Weiteres in die Medizin oder Kreditvergabe. EU‑Guidance empfiehlt deshalb sektor‑ und use‑case‑spezifische Schwellenwerte — die Standardisierung steckt jedoch noch in Arbeit. Das bedeutet für Unternehmen: Vorsicht bei Übertragungen von Regeln zwischen Bereichen.

Konkrete Empfehlung: Legen Sie eine interne Fairness‑Governance fest (Rollen, Review‑Zyklen, Eskalationswege) und dokumentieren Sie jede Abwägung — das ist oft überzeugender für Prüfer als perfekt symmetrische Zahlen.

Der EU‑AI‑Act verlangt Verantwortlichkeit, Dokumentation und Überwachung — er schreibt jedoch keine einzelne Fairness‑Formel vor. Unternehmen müssen Metriken wählen, ihre Gründe offenlegen und laufend prüfen. Praktische Schritte (Data‑Inventory, Model Cards, Tests, Monitoring) machen Fairness prüfbar und umsetzbar. Und: Governance‑Entscheidungen sind Teil der Compliance.