Les robots d'indexation d'IA Surchargent la Bande Passante de Wikimedia, Menacant l'Accès des Utilisateurs
Wikimedia est confrontée à un défi important : une augmentation massive de l'utilisation de la bande passante, due aux robots d'indexation d'IA. La Fondation Wikimedia fait état d'une augmentation de 50 % depuis janvier 2024, non pas due aux lecteurs humains, mais aux programmes automatisés qui extraient des données pour entraîner des modèles d'IA générative. Cet afflux inattendu menace l'accessibilité et les performances des ressources de Wikimedia pour les utilisateurs réguliers.
La montée en puissance du trafic d'IA
Contrairement aux lecteurs humains qui accèdent souvent à des sujets similaires et tendances, les robots d'indexation d'IA analysent systématiquement un large éventail de pages, y compris les plus obscures. Cela met à rude épreuve l'infrastructure de Wikimedia, car ces pages moins fréquemment consultées doivent être servies depuis le centre de données principal, ce qui consomme plus de ressources et augmente les coûts. Wikimedia révèle qu'un nombre stupéfiant de 65 % de son trafic le plus gourmand en ressources provient de ces robots.
Ce trafic généré par les robots peut provoquer des perturbations, ce qui peut ralentir les temps de chargement des pages, en particulier lors d'événements à fort trafic. L'équipe de fiabilité du site de la fondation travaille constamment à bloquer ces robots d'indexation afin de maintenir des performances optimales pour les utilisateurs humains.
Attribution et durabilité
Wikimedia souligne que la principale préoccupation n'est pas seulement la consommation de bande passante, mais aussi le manque d'attribution appropriée. En tant qu'organisation à but non lucratif qui dépend des dons, Wikimedia doit attirer de nouveaux utilisateurs et maintenir sa communauté. La fondation souligne que si son contenu est gratuit, l'infrastructure nécessaire pour le fournir ne l'est pas.
Pour l'avenir, Wikimedia prévoit d'établir des méthodes d'accès durables pour les développeurs et les réutilisateurs. Le trafic lié à l'IA ne montrant aucun signe de ralentissement, il est essentiel de trouver un équilibre entre l'accès libre et la gestion des ressources pour l'avenir de la fondation.
Source: Engadget