Détails de l’article

Une prépublication mise en ligne sur arXiv le 9 octobre par des chercheurs de Texas Tech University présente RATED, une méthode destinée à aider les agents d’IA à trouver des outils adaptés à une requête sans sélectionner à répétition des outils indisponibles ou défaillants. Elle classe d’abord les candidats par similarité sémantique, puis actualise le classement à partir des retours d’exécution. Les chercheurs ont créé EcoAgent pour l’évaluation, un benchmark comprenant 5 172 outils du monde réel et plus de 210 000 paires requête-outil.

Sur le test EcoAgent-Real avec des requêtes réelles, l’article rapporte une hausse de 52,2 % du rang réciproque moyen par rapport au récupérateur d’API ToolLLM ; le MRR de RATED, à 0,618, reste inférieur à ceux d’Ada-002 (0,670) et de SPLADE-v3 (0,626). Dans un scénario simulé où 30 % des outils étaient en panne, RATED a ramené le taux de sélection d’outils défaillants à 2,9 %. Il s’agit d’un benchmark contrôlé avec des pannes injectées, et non d’une garantie de fiabilité validée dans des déploiements réels ; le comportement au premier usage de nouveaux outils est également laissé à des travaux futurs. La prépublication n’a pas encore été évaluée par les pairs.