Ce que des années de lutte contre la fraude m’ont appris sur l’AI Act
Le responsable des risques demande davantage de détection. Les équipes métier s’inquiètent déjà des cartes bancaires qui seront bloquées chez des clients irréprochables. Le data scientist ouvre son ordinateur… puis, presque imperceptiblement, la conversation cesse de porter sur le modèle.
J’ai vu cette scène se répéter pendant des années. Ce n’est que bien plus tard que j’ai compris pourquoi elle me revenait si souvent en mémoire lorsque j’entendais parler de l’AI Act européen.
Depuis quelques mois, je remarque que les échanges autour de cette réglementation prennent invariablement la même direction. Très vite, la discussion glisse vers la transparence, la documentation ou la robustesse des systèmes, laissant les algorithmes occuper toute la scène.
Pourtant, à force d’entendre ces débats, je finis toujours par revenir à la même idée : nous observons les conséquences techniques d’un problème dont l’origine est ailleurs. Ce qui me frappe dans l’AI Act n’est pas seulement ce qu’il demande aux machines ; c’est ce qu’il révèle des arbitrages humains qui leur donnent un sens.
L’histoire d’un seuil
Cette conviction ne vient pas d’une exégèse juridique du règlement. Elle s’est construite lentement, au fil des projets de détection de fraude que j’ai accompagnés dans le secteur bancaire. Lorsque j’y repense, ce ne sont ni les modèles, ni les architectures qui me reviennent d’abord à l’esprit. Je revois surtout les réunions, les hésitations, ces moments où des profils radicalement différents tentaient de répondre ensemble à une question dont personne n’avait encore formulé les termes.
À un moment ou à un autre, tous ces chantiers se heurtaient à la même réalité : il fallait choisir un seuil.
Sur le papier, la question semblait presque banale : combien de faux positifs étions-nous prêts à accepter ? Derrière ce simple paramètre se cachait pourtant une décision profondément stratégique. Abaisser le seuil permettait de bloquer davantage de fraudes, mais augmentait le nombre de clients honnêtes pénalisés – la carte bancaire qui refuse de fonctionner en plein séjour estival. Le relever améliorait l’expérience utilisateur, mais augmentait le risque de voir davantage de transactions frauduleuses échapper au système.
Simulateur de fonction objectif : détection des fraudes
Déplacez le seuil bleu pour simuler une décision de gestion. La courbe ROC montre comment le taux de détection et le taux de faux positifs évoluent l'un par rapport à l'autre. Avec un même modèle d'apprentissage automatique mais un seuil différent pour le score de fraude, on met ainsi en balance une sécurité accrue et un confort d'utilisation accru.
Là où les mathématiques décrivent un arbitrage statistique entre faux positifs et faux négatifs, une banque y voit un équilibre fragile entre la confiance client, le risque financier et la réputation de l’institution.
La même courbe ne raconte jamais la même histoire selon l’angle d’où on la regarde.
Les arbitrages les plus décisifs n’avaient pourtant presque jamais lieu devant un écran. Ils se prenaient autour d’une table.
Ce que les modèles ne savent pas faire
On attend trop souvent des algorithmes qu’ils répondent à des questions qui ne relèvent pas de leur logique. Une fonction de perte (« Loss Function ») sait optimiser une équation avec une rigueur absolue. Elle est, en revanche, incapable de décider pourquoi cette fonction mérite d’être privilégiée plutôt qu’une autre. Elle ignore tout d’une stratégie d’entreprise ou de la promesse faite à un client.
En informatique, nous parlons de fonction objectif. En gouvernance, nous parlons de responsabilité, de stratégie ou d’appétence au risque. Les mots changent ; la décision demeure.
Au fil des itérations, les variables évoluaient, les priorités étaient révisées, parfois même la fonction objectif était redéfinie. Le modèle apprenait, bien sûr. Mais le plus remarquable résidait ailleurs : l’organisation apprenait elle aussi. Chaque nouvelle version obligeait l’entreprise à formaliser ce qu’elle considérait comme un succès. Cette maturation collective constitue le véritable cœur d’un projet d’intelligence artificielle.
Relire l’AI Act : une question de gouvernance
Lorsque je relis aujourd’hui l’AI Act, ce sont ces réunions qui me reviennent en mémoire. Non parce que le texte apporte une solution miracle à ces dilemmes, mais parce qu’il les rend enfin visibles.
Les entreprises n’ont pas attendu le législateur européen pour arbitrer entre sécurité et confort, entre équité et performance, ou encore entre automatisation et contrôle humain. Ce qui change, c’est qu’elles devront désormais rendre ces choix explicites, les documenter et être capables de les justifier. L’AI Act ne crée pas ces conflits ; il interdit simplement le non-dit.
Ce glissement déplace le centre de gravité des projets d’intelligence artificielle. Longtemps considérés comme des défis d’ingénierie, les projets d’IA deviennent pleinement des chantiers de gouvernance. La valeur d’un système dépend de moins en moins de la sophistication du modèle et de plus en plus de la qualité des décisions qui président à sa conception.
La principale difficulté n’est plus de construire l’algorithme le plus performant. Elle consiste à amener une organisation à décider lucidement ce qu’elle souhaite réellement optimiser, puis à assumer la responsabilité de ce choix.
Les machines peuvent exécuter nos arbitrages. Elles ne les prendront jamais à notre place.
L’AI Act ne crée pas ces dilemmes. Il interdit simplement le non-dit.
Conseil pratique de KENBUN
Automatisez les processus — pas la responsabilité.
Notre expérience des projets d’IA et d’automatisation a permis de dégager une règle simple : tout ce qui suit des règles claires, traite des données ou prépare des ébauches peut souvent être pris en charge par l’IA plus rapidement et plus fiablement que par nous, les humains.
Mais là où les décisions ont des conséquences importantes, ou lorsque le jugement réfléchi, l’expérience et la responsabilité sont requis, c’est à l’humain que doit revenir la décision finale.
C’est précisément à cette interface entre efficacité et discernement que naissent des solutions de digitalisation durables.
Vous souhaitez savoir où se situe cette limite dans vos propres processus ? Nous nous réjouissons d’en discuter avec vous.
