Recherche au Moment de l'Inférence: Nouvelle Loi d'Échelle de l'IA ou Astuce?
Le monde de l'IA est en effervescence à propos d'une nouvelle "loi d'échelle" potentielle appelée "recherche au moment de l'inférence". Mais qu'est-ce que c'est et est-ce vraiment un tournant ? Plongeons-nous dedans.
Qu'est-ce que la Recherche au Moment de l'Inférence ?
Les lois d'échelle de l'IA décrivent comment les performances des modèles d'IA s'améliorent avec l'augmentation de la taille des ensembles de données et de la puissance de calcul. Alors que le pré-entraînement était autrefois l'approche dominante, l'échelle post-entraînement et l'échelle de temps de test ont émergé. Maintenant, des chercheurs de Google et de l'UC Berkeley proposent la "recherche au moment de l'inférence" comme une quatrième loi possible.
La recherche au moment de l'inférence consiste à générer plusieurs réponses possibles à une requête, puis à sélectionner la "meilleure". Les chercheurs affirment que cette méthode peut améliorer considérablement les performances de modèles tels que Gemini 1.5 Pro, dépassant même le o1-preview d'OpenAI sur certains benchmarks.
Eric Zhao, doctorant chez Google et co-auteur de l'article, a expliqué sur X que "en échantillonnant aléatoirement 200 réponses et en s'auto-vérifiant, Gemini 1.5 - un ancien modèle du début de 2024 - bat o1-preview et s'approche de o1". Il a également noté que l'auto-vérification devient plus facile à l'échelle.
Scepticisme des Experts
Malgré l'enthousiasme initial, certains experts restent sceptiques quant à l'applicabilité généralisée de la recherche au moment de l'inférence.
Matthew Guzdial, chercheur en IA à l'Université de l'Alberta, souligne que cette approche fonctionne mieux lorsqu'une bonne "fonction d'évaluation" est disponible, ce qui signifie que la meilleure réponse peut être facilement identifiée. Cependant, de nombreuses requêtes du monde réel n'ont pas de solutions aussi claires.
"[S]i nous ne pouvons pas écrire de code pour définir ce que nous voulons, nous ne pouvons pas utiliser la recherche [au moment de l'inférence]", explique Guzdial. "Pour quelque chose comme l'interaction générale du langage, nous ne pouvons pas faire cela [...] Ce n'est généralement pas une excellente approche pour résoudre réellement la plupart des problèmes."
Mike Cook, chercheur au King's College de Londres, fait écho à ce sentiment, soulignant que la recherche au moment de l'inférence n'améliore pas nécessairement le processus de raisonnement du modèle. Au lieu de cela, c'est une solution de contournement pour les limitations de l'IA, qui peut parfois faire des prédictions confiantes mais incorrectes.
"[La recherche au moment de l'inférence] n'« élève pas le processus de raisonnement » du modèle", a déclaré Cook. "[C]'est juste une façon de contourner les limites d'une technologie susceptible de commettre des erreurs soutenues avec beaucoup de confiance."
La Recherche Continue
Les limites de la recherche au moment de l'inférence pourraient décevoir ceux qui recherchent des moyens plus efficaces de faire évoluer le "raisonnement" du modèle. Comme les chercheurs eux-mêmes le reconnaissent, les modèles de raisonnement actuels peuvent être incroyablement coûteux en termes de calcul. Par conséquent, la recherche de techniques de mise à l'échelle nouvelles et efficaces reste une priorité dans le domaine de l'IA.
Source: TechCrunch