Detalles de la noticia

Los colaboradores anunciaron la versión 1.0 de llm-d, un proyecto de código abierto para desplegar y escalar la inferencia de grandes modelos de lenguaje en infraestructura moderna. IBM señala que el proyecto está gobernado por la Cloud Native Computing Foundation y fue fundado por Red Hat, IBM, Google Cloud, CoreWeave y NVIDIA.

La versión ofrece un núcleo orientado a producción para inferencia distribuida. IBM también cita demostraciones con menor coste y mayor rendimiento, aunque esas cifras dependen de las cargas de trabajo y las condiciones de las pruebas enlazadas.