Expérience d'IA dans la Sécurité Sociale : Dangers et Pièges de l'Automatisation
L'intégration de l'IA dans les agences gouvernementales, en particulier celles qui traitent de la sécurité sociale, est abordée avec une attention croissante. La hâte de moderniser et d'automatiser les processus, menée par des entités telles que DOGE d'Elon Musk, soulève des inquiétudes importantes quant à l'efficacité, à la précision et au déplacement potentiel de la surveillance humaine.
La promesse et le péril de l'automatisation
La Social Security Administration (SSA) a récemment introduit un robot de type ChatGPT, "Agency Support Companion", destiné à aider les employés dans leurs tâches quotidiennes et à accroître leur productivité. Cependant, les premiers rapports suggèrent une performance moins qu'exceptionnelle. Les sources indiquent une adoption minimale et des préoccupations quant à la précision et à l'utilité du robot. Une vidéo de formation mal exécutée, omettant de mettre en garde contre le téléchargement d'informations personnelles sensibles, a encore sapé la crédibilité de l'initiative.
Échecs de l'automatisation : leçons du Brésil
Les expériences d'autres pays, comme le Brésil, mettent en évidence les pièges potentiels d'une dépendance excessive aux systèmes automatisés dans les services sociaux. L'application brésilienne "Meu INSS", conçue pour rationaliser les demandes de sécurité sociale, utilise la vision par ordinateur et le traitement du langage naturel pour analyser les documents. Malgré son intention de réduire la bureaucratie, l'application rejette fréquemment les demandes légitimes en raison d'erreurs mineures, ce qui entraîne de longues batailles juridiques et des difficultés pour les demandeurs. Le cas de Josélia de Brito, une ancienne travailleuse de la canne à sucre incorrectement identifiée comme un homme par le système, illustre les défauts de l'application et les conséquences réelles pour les populations vulnérables.
L'automatisation menant au désastre
La stratégie de DOGE, caractérisée par une réduction rapide des effectifs fédéraux et une approche "l'IA d'abord", a déjà entraîné des problèmes importants à la SSA. Un incident récent au cours duquel de nombreux bénéficiaires vivants ont été marqués à tort comme "morts" et ont vu leurs prestations supprimées souligne le potentiel de chaos et de dysfonctionnement. Les plans de réécriture du code de la SSA à l'aide de l'IA à un rythme accéléré soulèvent d'autant plus de préoccupations quant à la qualité et à la fiabilité du système qui en résultera. Compte tenu des erreurs commises, une réécriture automatisée du code de la SSA pourrait être un désastre.
Une déstabilisation délibérée ?
Certains critiques soutiennent que la poussée vers l'automatisation ne vise pas à améliorer la SSA, mais plutôt à la déstabiliser en préparation de la privatisation. Si tel est le cas, les problèmes actuels qui affligent l'agence pourraient être des étapes intentionnelles vers cet objectif.
La poussée vers l'automatisation au sein des agences gouvernementales est une question complexe qui comporte un risque d'erreurs. Bien que la technologie offre la possibilité d'améliorer l'efficacité et de réduire la bureaucratie, une mise en œuvre prudente, une surveillance humaine et un accent sur la précision sont essentiels pour éviter les conséquences involontaires et garantir des résultats équitables pour tous les citoyens.
Source: Gizmodo