Générateur IA Expose Pédopornographie: Faille de Sécurité
Une récente faille de sécurité a mis en lumière le côté sombre de la génération d'images par l'IA. Un nombre stupéfiant d'images explicites générées par l'IA, y compris du matériel pédopornographique (CSAM) profondément troublant, ont été découvertes et rendues publiques en ligne. Cette découverte alarmante soulève de sérieuses questions quant à la responsabilité des entreprises d'IA et au potentiel d'utilisation abusive de cette technologie puissante.
Les données exposées et leur contenu
Le chercheur en sécurité Jeremiah Fowler a découvert une base de données ouverte appartenant à AI-Nomis, une société sud-coréenne exploitant des outils de génération d'images et de chatbot. La base de données contenait plus de 95 000 enregistrements, y compris des images générées par l'IA et les invites utilisées pour les créer. Parmi les images figuraient des représentations de célébrités comme Ariana Grande, les Kardashians et Beyoncé, rajeunies de manière troublante pour ressembler à des enfants.
Les 45 Go de données exposées offrent un aperçu glaçant de la manière dont la génération d'images par l'IA peut être militarisée pour produire du contenu sexuel non consenti d'adultes et d'enfants. Fowler a décrit la situation comme "terrifiante", soulignant la facilité avec laquelle un contenu aussi préjudiciable peut être généré.
Manque de sécurité et de réponse
La base de données aurait été non sécurisée, dépourvue même d'une protection de base par mot de passe ou d'un cryptage. Fowler a rapidement signalé les conclusions à AI-Nomis, mais n'a reçu aucune réponse. Suite aux demandes de WIRED, AI-Nomis et sa filiale, GenNomis, ont semblé fermer leurs sites Web.
Préoccupations éthiques et lacunes réglementaires
Clare McGlynn, professeure de droit spécialisée dans les abus en ligne, a souligné le marché troublant de l'IA qui permet la création de telles images abusives. Cet incident souligne le besoin urgent de réglementations plus strictes et de considérations éthiques concernant la génération d'images par l'IA.
Bien que les politiques d'utilisation de GenNomis prétendaient interdire la pornographie infantile et autres activités illégales, la découverte de CSAM dans sa base de données suggère un échec important en matière de modération et de surveillance. Le slogan de la société, promettant la génération d'images "sans restriction", souligne davantage le potentiel d'abus.
L'augmentation du CSAM généré par l'IA
Les experts mettent en garde contre une augmentation spectaculaire du CSAM généré par l'IA. L'Internet Watch Foundation (IWF) signale un quadruplement des pages Web contenant un tel matériel depuis 2023, accompagné d'un bond inquiétant de la qualité photoréaliste. Il est donc de plus en plus difficile de distinguer les abus générés par l'IA de l'exploitation dans la vie réelle.
La facilité et la rapidité avec lesquelles les criminels peuvent désormais générer et distribuer du CSAM généré par l'IA exigent une action immédiate des législateurs, des plateformes technologiques et des autres parties prenantes pour lutter contre cette menace croissante.
Source: Wired