Detalles de la noticia

Un preprint presenta CEMA-Router, un método consciente de la infraestructura para enrutar lotes de solicitudes de inferencia de modelos de lenguaje entre recursos de nube y borde. Considera diferencias de capacidad de cálculo, eficiencia energética, redes y calidad del modelo.

El objetivo es equilibrar calidad de respuesta, coste, energía y tiempo de finalización de los lotes. Es un sistema de enrutamiento propuesto y evaluado por sus autores, no un servicio desplegado ni un resultado universal.