Détails de l’article

Un préprint présente Koi, un planificateur de cluster pour l’inférence des grands modèles de langage sur des flottes multi-cloud hétérogènes. Il traite comme décisions interdépendantes le choix des accélérateurs, le parallélisme, le moteur de service, le nombre de répliques et l’évolution des charges.

Les auteurs décrivent une méthode auto-calibrée qui actualise les plans lorsque la contention des ressources change. C’est un système de recherche; ses résultats concernent les environnements évalués et ne garantissent pas des économies ou une latence cloud.