Un preprint presenta Koi, un planificador de clúster para inferencia de grandes modelos de lenguaje en flotas multicloud heterogéneas. Trata la elección del acelerador, el paralelismo, el motor de servicio, el número de réplicas y las cargas cambiantes como decisiones interrelacionadas.

Los autores describen un método autocorregible que actualiza los planes cuando cambia la contención de recursos. Es un sistema de investigación; sus resultados se limitan a los entornos evaluados y no garantizan ahorros o latencia en la nube.