Détails de l’article

Un préprint présente CEMA-Router, une méthode de routage tenant compte de l’infrastructure pour répartir par lots les demandes d’inférence de modèles de langage entre ressources cloud et périphériques. Elle prend en compte les différences de calcul, d’efficacité énergétique, de réseau et de qualité de modèle.

L’objectif est d’équilibrer qualité de réponse, coût, énergie et délai des lots. C’est un système de routage proposé et évalué par ses auteurs, pas un service déployé ni un résultat universel.