Haberin ayrıntıları

Bir ön baskı, dil modeli çıkarım isteklerinin gruplarını bulut ve uç kaynaklara yönlendiren altyapı farkındalıklı CEMA-Router yöntemini sunuyor. Tasarım hesaplama kapasitesi, enerji verimliliği, ağ koşulları ve model kalitesi farklarını ele alıyor.

Amaç yanıt kalitesi, maliyet, enerji kullanımı ve toplu tamamlama süresini dengelemek. Yazarların değerlendirdiği önerilen bir yönlendirme sistemidir; dağıtılmış hizmet veya evrensel sonuç değildir.