Performance et danger des algorithmes prédictifs

Les algorithmes prédictifs ne sont pas seulement encadrés en Europe : certains usages sont désormais purement interdits en droit, précisément pour éviter les dérives de type Minority Report ou Person of Interest, où la prévention se transforme en anticipation quasi oraculaire et en surveillance généralisée.

Domaines où l’IA prédictive est totalement interdite

Le cœur de l’interdiction vise les usages les plus proches de la « précog » du film de science-fiction Minority Report réalisé par Steven Spielberg, sorti en 2002. En effet, prédire des comportements individuels pour intervenir avant même qu’un fait illicite n’ait lieu est illégal selon le règlement européen sur l'intelligence artificielle (RIA). De ce fait, ce dernier interdit notamment :​

• Les systèmes de « police prédictive » ciblant des personnes physiques sur la base de leur profil, de leurs caractéristiques ou de leurs comportements passés, pour évaluer le risque qu’elles commettent une infraction à l’avenir.​

• Les systèmes de notation sociale institutionnelle, qui agrègent des données comportementales pour produire un « score » pouvant conditionner l’accès à des droits, services ou avantages, sur le modèle de certaines expériences étrangères.​

Dans ces cas, la logique même de l’outil heurte directement la présomption d’innocence, le principe de dignité, l’égalité de traitement et le droit au respect de la vie privée. Ainsi, le droit ne se contente plus d’encadrer, il proscrit purement et simplement tout ce qui pourrait porter une atteinte aux droits fondamentaux d'un individu.​

Justice, police et prévention des infractions

Les algorithmes prédictifs appliqués au champ pénal sont classés parmi les usages les plus sensibles, car ils touchent directement au monopole étatique de la coercition, ainsi qu'aux libertés individuelles. De ce fait, deux niveaux d’encadrement se superposent :​

• L'interdiction ciblée : la prédiction de la probabilité qu’un individu commette une infraction future pour justifier une surveillance, un contrôle ou une intervention renforcée est totalement interdite en tant que telle par le RIA.​

• L'encadrement renforcé : les autres outils algorithmiques utilisés dans la justice (aide à l’analyse de dossiers ou au calcul de peines) relèvent de catégories « haut risque » et doivent donc respecter des exigences strictes de qualité des données, d’absence de biais discriminatoires, de transparence et surtout d'une supervision humaine.​

En effet, l’objectif est d’empêcher que ne se matérialisent des scénarios tels que Minority Report (arrestation préventive fondée sur une « vision » algorithmique du futur) ou de Person of Interest (surveillance de masse permanente pour détecter des « personnes à risque »). Ainsi, la décision de priver un individu de liberté doit rester ancrée dans des faits avérés, non dans une probabilité calcule provenant d'outils algorithmiques.

Lien entre le règlement général sur la protection des données (RGPD)et les droits fondamentaux

Le RGPD, via son article 22, limite déjà fortement les décisions entièrement automatisées produisant des effets juridiques significatifs, notamment en matière de crédit, d’emploi ou d’accès à des services essentiels.

En outre, dans un contexte pénal ou quasi-pénal (surveillance ciblée, fichage, mesures de sécurité), ce cadre se combine avec :​

• La Convention européenne des droits de l’homme (droit à la liberté, à la sûreté, à un procès équitable, à la vie privée), qui impose que toute atteinte soit nécessaire, proportionnée et fondée sur des éléments vérifiables, pas sur un résultat opaque.​

• Les exigences de transparence et de contestation : une personne ne peut être placée sous surveillance renforcée ou privée de droits sur la seule base d’un calcul don’t elle ne peut ni comprendre les critères, ni discuter la validité.​

En effet, les scénarios tels que ceux de la série Person of Interest, où une machine hiérarchise les vies « pertinentes » et « non pertinentes » pour l’État, sont l’exemple type de ce que le droit européen cherche absolument à empêcher : une délégation silencieuse de la souveraineté à un système opaque de scoring prédictif.

Performance des modèles et limites juridiques

Sur le plan économique, les algorithmes prédictifs deviennent de véritable multiplicateur de valeur dès lors qu’ils sont insérés dans les processus de métiers existants. En effet, ils ne se contentent pas d’augmenter la précision des décisions : ils reconfigurent la manière même d’allouer les ressources, de cibler les clients, de piloter le risque.

De ce fait, les algorithmes prédictifs peuvent créer de la valeur grâce à :

• L’optimisation de ressources (ex : gestion dynamique de stocks, maintenance prédictive, tri prioritaire de dossiers ou de patients).​

• La personnalisation (scoring de propension, churn, tarification comportementale, ciblage marketing).​

• La gestion des risques (détection de fraude, scoring crédit, prédiction de défaut).​

Néanmoins, cette performance se heurte à plusieurs garde-fous juridiques :

• Certaines utilisations sont purement interdites par le RIA, comme la police prédictive ciblant des individus sur la base d’un profil ou de traits de personnalité (art. 5, interdiction de certaines pratiques de « predictive policing »).​

• L’usage de données sensibles (santé, origine, opinions, religion) reste strictement encadré par le RGPD et son article 9, et ne se justifie que dans des hypothèses étroites (consentement explicite, droit du travail, santé, intérêt public majeur).​

Par conséquent, intégrer un filtre juridique dès la conception d'un outil algorithmique permet d’éviter de reproduire, dans le réel, les dérives spectaculaires mises en scène par le film Minority Report et la série Person of Interest.​

Cet article a été co-écrit par un humain et une intelligence artificielle. Pour plus d'informations lisez nos CGU.