Révisé par Sylvain Amoros, professeur invité au Département de marketing de HEC Montréal.
L’IA et la responsabilité décisionnelle
Notre panel est parti d’une question qui suscite aujourd’hui beaucoup de débats et qui, depuis quelques années, reste encore sans réponse. En effet, quand une organisation confie une décision à un système algorithmique, est-ce qu’elle gagne réellement en efficacité ou se donne-t-elle surtout un moyen de ne plus avoir à répondre de ses obligations ? Pour y répondre, nous avons décidé d’illustrer cette problématique en croisant deux cas concrets : celui de l’immigration au Canada et celui du scandale des allocations aux Pays-Bas. Finalement, nous avons relié ces enjeux à une idée centrale : celle d’une gouvernance de l’IA centrée sur le contrôle humain, désignée par la notion de “human-in-the-loop”.
Distinction clé : Algorithmes basés sur des règles vs. apprentissage automatique
Avant d’analyser les cas retenus, une distinction mérite d’être faite, car nous avons nous-mêmes
rencontré des difficultés au début de nos recherches. En effet, le terme « algorithme »
recouvre en réalité deux catégories de systèmes distincts, pourtant souvent confondus.
- Les systèmes fondés sur des règles : Ce sont des instructions écrites par des
humains, par exemple : « si le dossier est incomplet, alors il est transmis à un agent ». C’est une
logique lisible : on peut ouvrir le système et comprendre pourquoi il a tranché dans un sens ou
dans l’autre. - Les systèmes d’apprentissage automatique : Là, le système ne reçoit pas de règle
préétablie : il déduit ses propres régularités en analysant de grandes quantités de décisions
passées. Il repère, par exemple, qu’un certain type de dossier a de fortes chances d’être approuvé
et agit en conséquence.
Ainsi, ce qui a rendu notre débat délicat, c’est que les deux approches se combinent souvent
dans les cas de l’immigration. L’exemple canadien le montre bien : pour certains permis, l’outil
de l’IRCC fonctionne à la fois avec des règles définies par des agents et avec des règles générées
par apprentissage automatique à partir d’anciens dossiers. Le système n’est donc ni purement «
humain » ni purement « boîte noire ». À noter par ailleurs que l’IRCC affirme ne pas utiliser de
technologie de type boîte noire pour décider des demandes justement parce que sa logique «
si… alors » reste vérifiable.
La gouvernance de l’IA : Le concept de “human-in-the-loop”
Comme présenté comme exemple de gouvernance, nous avons proposé une présence
humaine à chaque étape d’utilisation d’une IA prédictive :
- avant la décision : le choix des outils, des données, des objectifs.
- pendant : la supervision et la possibilité d’intervenir
- après : l’explication, le recours, la correction.
Dans le cas canadien, l’humain reste présent aux trois étapes, mais de façon inégale. En amont,
des agents conçoivent une partie des règles et l’IRCC contrôle les mises à jour. Pendant le
traitement, c’est plus ambigu : l’outil peut approuver seul l’admissibilité de cas jugés
« basiques » mais un agent garde la décision finale et peut renverser ce que propose
l’algorithme. Le risque que nous avons soulevé est le suivant : lorsque l’on traite les dossiers
en lots avec des motifs de refus standardisés, la supervision humaine peut se réduire à une
validation de pure forme. L’humain est dans la boucle sur le papier, mais le poids réel semble
minime.
Étude de cas : Le scandale SyRI aux Pays-Bas
Le cas des Pays-Bas illustre le même enjeu de fond : SyRI, le système de profilage utilisé pour détecter la fraude aux aides sociales, partait lui aussi d’un objectif d’efficacité. Mais en amont, des critères discriminatoires se sont glissés dans le modèle, comme la double nationalité ou les faibles revenus. Pendant le traitement, l’humain a presque disparu : le système classait automatiquement des familles comme « à haut risque », et ce classement valait comme un soupçon. En aval, il n’y a eu ni explication ni recours réel sur le moment. La correction n’est venue que bien plus tard, d’abord par la justice puis par la démission du gouvernement en 2021. Autrement dit, l’humain n’est intervenu qu’après les dégâts.
Vers une gouvernance responsable de l’IA
Ces deux cas soulignent que le véritable enjeu n’est pas seulement de prévoir la
présence d’un humain dans le processus, mais de s’assurer qu’elle soit réelle, critique et
effective, au lieu de ne s’agir que d’une simple validation de la décision automatisée.
Par la suite, nous avons mis en avant le concept de “human-in-the-loop”. Ce concept
met en avant que la simple présence d’un humain à vérifier dans la globalité les processus n’est
pas suffisant. Le contrôle doit être critique et accessible : il doit être capable de comprendre, de
contester et, au besoin, de bloquer une décision. L’algorithme ne sert pas d’alibi mais doit être
un outil d’aide à la décision. En particulier, si l’on s’intéresse à la dimension « après » : les
organisations devront dire à qui elles font référence : à un cadre contractuel, réglementaire ou
les deux ?
Cadre réglementaire et contractuel : Une interdépendance nécessaire
Selon nous, la réponse peut vite être répondue mais reste très complexe. Les organisations
doivent faire référence aux deux. Pendant notre panel, l’expert sur la gouvernance à souligner
qu’un cadre contractuel global doit être mis en place. A l’image de l’IA Acte au sein de l’Union
Européenne, des cadres réglementaires globaux sont désormais nécessaires pour garantir des
IA digne de confiance pour garantir la sécurité des uns et des autres ainsi que les droits
fondamentaux des hommes et éviter tous les biais mis en avant lors de notre panel.
Une fois ce cadre réglementaire mis en place, les organisations n’auront pas d’autres choix que d’imposer
des cadres contractuels, rédigés en interne pour savoir qui est le responsable. Ce cadre interne permettrait également d’être transparent envers les prestataires externes avec lesquels on collabore, les processus à suivre en cas de gestion de crise, etc. Cette interdépendance entre cadre réglementaire et contractuel est semblable à d’autres nombreuses mises en place réglementaires qui ont directement imposées des cadres contractuels (exemple du RGPD en Europe).
Ouverture : Quelles décisions confier à l’IA
Nous avons finalement décidé de conclure notre panel avec une question d’ouverture à
notre auditoire : quelles décisions accepteriez-vous de laisser entièrement à une IA, et lesquelles
devraient toujours rester sous responsabilité humaine directe ?
Crédit bancaire, dossier d’immigration, aide sociale, recrutement, sanction académique, diagnostic médical : à partir de
quel niveau de risque l’humain doit-il reprendre la main ?
L’auditoire s’est accordé sur le fait que dans les domaines à enjeux type santé ou juridique, il
faut suivre les décisions de l’IA à chaque étape (avant, pendant et après) et non se contenter de
juger le résultat final.
Limites et tensions persistantes
La discussion a aussi fini par rappeler qu’on passe vite d’une génération d’IA à l’autre, de l’IA
prédictive à l’IA générative et bientôt vers des systèmes d’IA généraux rendant ainsi l’exigence
de contrôle encore plus pressante. Pour conclure, nous pouvons toujours souligner des tensions en suspend et de
nombreuses limites à notre débat. Ce qui nous a le plus surpris, c’est l’écart entre les discours
tenus par les organisations et la réalité du terrain.
Côté canadien, le système est présenté comme « c’est toujours l’humain qui décide », alors qu’une partie des décisions sont approuvées automatiquement. Sur le papier, tout semble bien contrôlé mais on ne sait pas vraiment où
intervient l’humain. La tension qui demeure porte sur les métiers de demain. Si l’IA absorbe de plus en plus de
décisions, l’expert que la gouvernance a souligné que les rôles humains se déplacent vers une
fonction de « garde-fou » : arbitrer et faire de la gestion d’exception. Cela suppose des
compétences nouvelles, et une vraie volonté organisationnelle pour organiser ce contrôle au
lieu de favoriser à tout prix l’efficacité.
Enfin, la principale limite de notre débat est que nous avons très peu parlé d’argent. Aujourd’hui,
l’IA paraît quasi gratuite : les modèles sont accessibles, parfois en open source, et le coût ressenti
se résume souvent à quelques jetons. Or, ce coût apparent est trompeur et les chiffres récents
d’OpenAI le rappellent : une perte nette de près de 38,5 milliards de dollars en 2025, dont une
grande part vient d’une charge comptable exceptionnelle, mais avec tout de même une perte
d’exploitation de l’ordre de 21 milliards. Tant que ce coût réel n’est pas assumé, on raisonne sur
une efficacité en partie subventionnée et la vraie question de fond, qui est celle de la
soutenabilité économique de ces outils, est restée largement hors champ de notre panel.
Auteurs
Tarik Chenah
Margot Devillers
Jeanne Longeard
Hugo Peccatus
Références
- Lembeye, P. (2001). 4. Remède et poison. Nous sommes tous dépendants (p. 67-78). Odile
Jacob. https://shs.cairn.info/nous-sommes-tous-dependants–9782738110039-page-67?lang=fr. - Rinta-Kahila, T., Someh, I., Gillespie, N., Indulska, M., & Gregor, S. (2024). Managing
unintended consequences of algorithmic decision-making: The case of Robodebt. Journal of
Information Technology Teaching Cases, 14(1), 165-171. - Rinta-Kahila, T., Someh, I., Gillespie, N., Indulska, M., & Gregor, S. (2022). Algorithmic
decision-making and system destructiveness: A case of automatic debt recovery. European
Journal of Information Systems, 31(3), 313–338.
https://doi.org/10.1080/0960085X.2021.1960905 - https://digital-strategy.ec.europa.eu/fr/policies/regulatory-framework-ai
- https://www.ajg.com/ca-fr/news-and-insights/the-collision-of-human-error-and-ai-liability/
- https://www.info.gouv.fr/actualite/quest-ce-que-lai-act 7.
BCF Avocats. (2024, 11 novembre). AI at the service of Canadian immigration: Chinook, a
controversial tool. - https://www.bcf.ca/en/thought-leadership/case-studies/ai-at-the-service-of-canadianimmigration-
chinook-a-controversial-tool/ - https://www.amnesty.org/fr/latest/news/2021/10/xenophobic-machines-dutch-child-benefitscandal/
- https://www.info.gouv.fr/actualite/quest-ce-que-lai-act
- https://finance.yahoo.com/markets/stocks/articles/openai-2025-financials-leaked-38-
121508294.html - https://www.canada.ca/en/immigration-refugees-citizenship/corporate/