Texas Tech Üniversitesi araştırmacılarının 9 Ekim’de arXiv’de yayımladığı ön baskı, bir yapay zekâ ajanının sorguya uyan araçları bulurken çalışmayan veya arızalanan araçları yeniden seçmesini önlemeyi amaçlayan RATED yöntemini tanıtıyor. Sistem önce metinsel benzerliğe göre adayları sıralıyor, ardından araçların yürütme sonuçlarından gelen geri bildirimle sıralamayı güncelliyor. Araştırmacılar değerlendirme için 5.172 gerçek dünya aracını ve 210.000’den fazla sorgu-araç eşleşmesini içeren EcoAgent kıyaslamasını oluşturdu.

Makale, gerçek sorgular üzerindeki EcoAgent-Real testinde RATED’ın ortalama karşılıklı sırasını ToolLLM API retriever’a göre yüzde 52,2 artırdığını bildiriyor; ancak RATED’ın MRR sonucu 0,618 ile Ada-002’nin 0,670 ve SPLADE-v3’ün 0,626 değerlerinin altında kaldı. Araçların yüzde 30’unun arızalı olarak benzetildiği senaryoda, RATED hata veren aracı seçme oranını yüzde 2,9’a düşürdü. Bu kontrollü kıyaslama ve arıza enjeksiyonu denemesidir, canlı ajan dağıtımlarında doğrulanmış güvenilirlik garantisi değildir; yeni eklenen araçlarda ilk kullanım performansı da sonraki çalışma olarak belirtiliyor. Çalışma hakem değerlendirmesinden geçmemiş ön baskıdır.