Detalles de la noticia

Un preprint publicado en arXiv el 9 de octubre por investigadores de Texas Tech University presenta RATED, un método diseñado para que los agentes de IA encuentren herramientas adecuadas a una solicitud sin volver a elegir herramientas que no están disponibles o fallan. Primero clasifica candidatos por similitud semántica y luego actualiza el orden con información de la ejecución. Los investigadores crearon EcoAgent para evaluarlo, un benchmark con 5.172 herramientas del mundo real y más de 210.000 pares de consulta y herramienta.

En la prueba EcoAgent-Real con consultas reales, el artículo informa de un aumento del 52,2 % en el rango recíproco medio frente al recuperador de API ToolLLM; el MRR de RATED, 0,618, quedó por debajo de Ada-002 (0,670) y SPLADE-v3 (0,626). En un escenario simulado donde falló el 30 % de las herramientas, RATED redujo al 2,9 % la tasa de selección de herramientas fallidas. Es una prueba de benchmark controlada con fallos inyectados, no una garantía de fiabilidad validada en despliegues de agentes en vivo; el rendimiento inicial con herramientas recién añadidas también queda para futuras investigaciones. El trabajo es un preprint aún no revisado por pares.