Détails de l’article

Les contributeurs ont annoncé la version 1.0 de llm-d, un projet open source destiné au déploiement et à la montée en charge de l’inférence des grands modèles de langage sur des infrastructures modernes. IBM indique que le projet est gouverné par la Cloud Native Computing Foundation et a été fondé par Red Hat, IBM, Google Cloud, CoreWeave et NVIDIA.

La version fournit un noyau orienté production pour l’inférence distribuée. IBM cite aussi des démonstrations faisant état de coûts réduits et d’un débit supérieur, mais ces chiffres dépendent des charges et des conditions de test présentées.