Haberin ayrıntıları

Katkı sağlayanlar, büyük dil modeli çıkarımını modern altyapıda dağıtıp ölçeklendirmeye yönelik açık kaynaklı llm-d projesinin 1.0 sürümünü duyurdu. IBM’e göre proje Cloud Native Computing Foundation tarafından yönetiliyor; Red Hat, IBM, Google Cloud, CoreWeave ve NVIDIA tarafından kuruldu.

Sürüm, dağıtık çıkarım için üretim odaklı bir çekirdek sunuyor. IBM daha düşük maliyet ve yüksek işlem hacmi gösterimlerinden de söz ediyor; ancak bu değerler ilgili testlerdeki iş yükü ve koşullara bağlı.