Commencer par la finalité et les personnes concernées
La première question éthique n’est pas « le modèle est-il impartial ? », mais « faut-il automatiser cette tâche et dans quel but ? ». Une finalité précise permet d’identifier les personnes affectées, les bénéfices attendus et les dommages possibles. Elle révèle aussi les usages secondaires tentants. Une donnée collectée pour aider un utilisateur ne devrait pas devenir automatiquement un instrument d’évaluation ou de surveillance.
Associez les personnes concernées avant de figer le dispositif. Elles connaissent les exceptions, les contournements et les conséquences d’une erreur. Leur participation ne remplace pas la responsabilité du décideur, mais elle améliore la description du problème. Documentez ce qui ne sera pas automatisé et les décisions qui resteront humaines.
Données personnelles, qualité et représentativité
Une donnée peut être exacte et néanmoins inadaptée. Un historique de décisions reflète les règles, moyens et biais de la période où il a été produit. Un échantillon peut sous-représenter les situations rares. Les variables de substitution peuvent révéler indirectement une information sensible. L’équipe doit examiner l’origine, la couverture, les droits d’usage et la durée de conservation, puis relier chaque donnée à la finalité annoncée.
La minimisation reste un principe efficace : ne collecter que ce qui est nécessaire réduit l’exposition et simplifie la gouvernance. Lorsque des données personnelles sont traitées, les rôles et bases juridiques doivent être établis. Le guide de la CNIL propose des étapes de collecte, développement, production, sécurité et exercice des droits. Il doit être adapté au contexte avec les responsables compétents.
Mesurer les erreurs qui comptent réellement
Une moyenne peut cacher une différence importante entre groupes ou contextes. Définissez les catégories d’erreur avec les personnes du métier, puis mesurez leur fréquence et leur gravité. Un faux positif et un faux négatif n’ont pas toujours les mêmes conséquences. Le seuil optimal dépend de la décision, pas seulement de la courbe statistique. Les cas limites doivent être conservés dans un jeu de test et rejoués après chaque modification.
L’explication doit être proportionnée au besoin. Une personne qui utilise le résultat a besoin de savoir ce que le système prend en compte, dans quelles limites et comment signaler une erreur. Une équipe technique a besoin de traces plus détaillées. Le public ne doit pas recevoir une justification simplifiée au point de devenir fausse.
Organiser le contrôle humain et le recours
Un bouton de validation ne garantit pas un contrôle réel. L’opérateur doit disposer du contexte, du temps et de l’autorité nécessaires pour contredire la sortie. S’il valide des centaines de résultats sans retour, le contrôle devient symbolique. Mesurez donc la fréquence des corrections et demandez aux utilisateurs pourquoi ils acceptent ou rejettent une proposition. Ces informations améliorent le système et le processus.
Les personnes concernées doivent pouvoir comprendre qu’un système intervient et demander une correction lorsque la situation le justifie. Le canal de recours, le délai et la personne responsable sont définis avant la mise en service. Les incidents sont analysés comme des problèmes de système, pas uniquement comme des fautes individuelles.
Relier gouvernance interne et règlement européen
Le règlement européen classe certains usages selon leur niveau de risque et répartit des obligations entre fournisseurs, déployeurs et autres acteurs. Les pratiques interdites et les exigences de culture de l’IA ont commencé à s’appliquer avant d’autres dispositions. Le calendrier et les textes d’accompagnement peuvent évoluer. Il faut donc consulter le service officiel de la Commission européenne plutôt qu’un résumé ancien.
Une gouvernance solide prépare cette conformité sans se limiter à elle. Elle tient un inventaire des systèmes, attribue un propriétaire, conserve les évaluations, suit les fournisseurs et prévoit l’arrêt. Elle réunit sécurité, données, droit, métier et représentants des utilisateurs. La règle la plus utile reste simple : aucune performance ne supprime le besoin d’une responsabilité identifiable.