Der europäische AI Act und der blinde Fleck der Algorithmen
Häufig wird der europäische AI Act als eine reine Regulierung künstlicher Intelligenz verstanden. Die öffentliche Debatte dreht sich folglich fast ausschließlich um Transparenz, Dokumentationspflichten, saubere Trainingsdaten, Modellqualität oder menschliche Aufsicht. So wichtig diese Kriterien zweifellos sind: Diese rein technische Perspektive greift zu kurz.
Je intensiver ich mich in den vergangenen Monaten mit den Anforderungen des Gesetzeswerks beschäftigt habe, desto klarer wurde mir, dass die Verordnung weit mehr als nur Softwaresysteme verändert. Sie rüttelt an einer Frage, die in anspruchsvollen Projekten schon immer im Zentrum stand, bislang jedoch meist stillschweigend beantwortet wurde: Was genau wollen wir mit einer mathematischen Optimierung überhaupt bezwecken?
Diese Erkenntnis ist eng mit meiner langjährigen Arbeit an Machine-Learning-Systemen zur Betrugserkennung für Banken und Finanzinstitute verbunden. Fraud Detection gehört per Definition zu den Hochrisiko-Anwendungen des AI Acts. Wenn ich mir die aktuelle Debatte ansehe, fühle ich mich jedoch weniger an juristische Detailfragen erinnert, sondern vielmehr an die harten fachlichen Diskussionen in den Konferenzräumen unserer Kunden. Rückblickend war der Algorithmus an sich nämlich selten das eigentliche Problem.
Das statistische Pendel
Nahezu jedes Projekt zur Betrugserkennung führt früher oder später an dieselbe Bruchlinie: Wie viele False Positives können – und wollen – wir uns leisten?
Hinter dieser vermeintlich technischen Detailfrage verbirgt sich einer der grundlegendsten Zielkonflikte des maschinellen Lernens. Senken wir den Schwellenwert eines Modells, fängt das System mehr Betrugsfälle ab. Gleichzeitig steigt jedoch die Zahl legitimer Transaktionen, die fälschlicherweise blockiert werden – die Kreditkarte des ehrlichen Kunden funktioniert plötzlich im Sommerurlaub nicht mehr. Erhöhen wir den Schwellenwert, um diese Reibungspunkte in der Customer Journey zu verhindern, akzeptieren wir im selben Atemzug das Risiko unentdeckter Kriminalität.
Aus mathematischer Sicht sprechen wir nüchtern über False Positives und False Negatives. Aus Sicht einer Bank geht es um Kundenzufriedenheit, wirtschaftliche Risiken, Haftungsfragen und nackte Betrugsverluste. Dieselbe Kurve erhält je nach Perspektive eine völlig andere Bedeutung.
Die entscheidende Frage in echten Projekten lautete deshalb nie, welcher Algorithmus statistisch die höchste Genauigkeit erzielt. Sie lautete immer: Welche Art von Fehler ist die Organisation bereit zu tragen?
Zielfunktions-Simulator: Fraud Detection
Verschieben Sie den blauen Schwellenwert um eine Management-Entscheidung zu simulieren. Die ROC-Kurve zeigt, wie sich Erkennungsrate und False-Positive-Rate gegeneinander verschieben. Bei gleichem ML-Modell aber anderem Schwellwert des Fraud-Scores wird so mehr Sicherheit gegen mehr Benutzer-Komfort abgewägt.
Die Ohnmacht der Loss Function
Diesen Kompromiss kann kein Optimierungsverfahren der Welt errechnen. Eine Loss Function besitzt keine Vorstellung davon, wie viel Sicherheit einer Bank wichtiger sein sollte als eine komfortable Kundenerfahrung. Ein neuronales Netz kennt weder die Geschäftsstrategie noch den Risikoappetit des Vorstands. Mathematik kann Ziele exzellent optimieren – sie kann sie jedoch nicht definieren.
In der Informatik sprechen wir an dieser Stelle von der Definition einer Zielfunktion. Im Management nennen wir es Strategie. Inhaltlich beschreiben beide Welten exakt denselben Moment: das Urteil darüber, was überhaupt als Erfolg gewertet werden soll. Erst wenn diese menschliche Weichenstellung erfolgt ist, kann die Maschine beginnen zu rechnen.
In der Praxis entstehen diese Leitplanken nie isoliert in der Data-Science-Abteilung. Sie sind das Ergebnis zäher Diskussionen zwischen Fachbereichen, Risikoexperten, Compliance-Verantwortlichen und Entwicklern. Und dieser Prozess verläuft selten linear: Das erste trainierte Modell macht Zielkonflikte oft erst plastisch sichtbar, die zuvor lediglich theoretisch im Raum standen. Diese Reibung führt zu angepassten Schwellenwerten, verschobenen Prioritäten oder einer völlig neuen Definition der ursprünglichen Optimierungsaufgabe. Erst danach beginnt der nächste Zyklus.
Genau hierin lag rückblickend der eigentliche Reifeprozess. Während dieser iterativen Schleifen passte sich nicht nur das Modell an. Die gesamte Organisation entwickelte ein präziseres Verständnis ihrer eigenen Identität. Sie lernte im Spiegel der Daten, welche Risiken sie tatsächlich akzeptieren will und welche Kompromisse langfristig zur eigenen Strategie passen.
Von der impliziten Wahl zur expliziten Governance
Die eigentliche Komplexität moderner KI liegt nur selten in der Technologie. Sie liegt in den menschlichen Abwägungen, die einer technischen Optimierung vorausgehen müssen.
Genau an dieser Schnittstelle entfaltet der EU AI Act seine eigentliche, kulturprägende Kraft. Natürlich formuliert die Verordnung umfangreiche Pflichten für Hochrisiko-Systeme. Seine weitreichendste Wirkung besteht jedoch darin, dass er aus bisher impliziten Wertentscheidungen explizite Governance-Entscheidungen macht.
Unternehmen mussten sich auch in der Vergangenheit zwischen konkurrierenden Polen bewegen – zwischen Sicherheit und Komfort, Fairness und Modellgüte, Datenschutz und Datenqualität oder Automatisierung und menschlicher Kontrolle. Neu ist nicht die Existenz dieser Zwickmühlen. Neu ist, dass die gewählten Kompromisse künftig lückenlos dokumentiert, fundiert begründet und gegenüber Aufsichtsbehörden, Kunden oder Gerichten nachvollziehbar gemacht werden müssen.
Der AI Act verändert somit nicht die statistische Leistungsfähigkeit eines Modells. Er verändert den strategischen Umgang von Organisationen mit ihren eigenen Urteilen.
KI als Kernaufgabe des Managements
Diese Verschiebung ordnet die Spielregeln im Markt neu. Über viele Jahre wurden KI-Projekte primär als technologische Meisterleistung verstanden. Künftig wird immer deutlicher: Gute KI entsteht nicht allein durch bessere Algorithmen, sondern durch die Qualität der Entscheidungen über ihren konkreten Einsatzzweck.
Damit wird künstliche Intelligenz endgültig zur originären Managementaufgabe. Nicht, weil Führungskräfte plötzlich Hyperparameter optimieren oder Code schreiben sollen. Sondern weil sie die Verantwortung dafür tragen, welche Zielkonflikte das Unternehmen bewusst eingeht. Genau diese strategische Verantwortung lässt sich weder an Data Scientists delegieren noch durch Software automatisieren.
Der Gesetzgeber verlangt keine fehlerfreie künstliche Intelligenz – eine solche ist bei konkurrierenden Zielen ohnehin mathematisch unmöglich. Er verlangt vielmehr, dass Unternehmen ihre Prioritäten offenlegen und für die daraus entstehenden Konsequenzen geradestehen.
Nach vielen Jahren in der praktischen KI-Entwicklung bleibt für mich daher eine fundamentale Erkenntnis: Die größte Herausforderung eines KI-Projekts besteht nicht darin, das mathematisch beste Modell zu trainieren. Sie besteht darin, als Organisation die Reife aufzubringen, gemeinsam zu entscheiden, was überhaupt optimiert werden soll und Verantwortung für diesen Kompromiss zu übernehmen.
Der EU AI Act zwingt uns genau zu dieser Reflexion. Er reguliert nicht nur künstliche Intelligenz. Er nimmt vor allem die menschlichen Entscheidungen dahinter in die Pflicht. Und genau darin liegt seine größte Stärke.
Praxisimpuls von KENBUN
Automatisieren Sie Prozesse – nicht Verantwortung.
Aus unserer Erfahrung mit KI- und Automatisierungsprojekten hat sich eine einfache Faustregel bewährt: Alles, was klaren Regeln folgt, Daten verarbeitet oder Entwürfe vorbereitet, kann die KI oft schneller und zuverlässiger übernehmen als wir Menschen.
Wo Entscheidungen jedoch weitreichende Konsequenzen haben oder bewusstes Abwägen, Erfahrung und Verantwortung gefragt sind, sollte der Mensch die letzte Entscheidung treffen.
Genau an dieser Schnittstelle zwischen Effizienz und Urteilskraft entstehen nachhaltige Digitalisierungslösungen.
Sie möchten herausfinden, wo diese Grenze in Ihren eigenen Prozessen verläuft? Dann freuen wir uns auf den Austausch.
