تفاصيل الخبر

تدرس الورقة بنية هجينة تجمع وحدات GPU بموارد معالجة قريبة من الذاكرة وذاكرة DRAM مشتركة لاستدلال النماذج اللغوية الكبيرة. وتركز على مرحلتي الملء المسبق وفك الترميز، اللتين تضغطان على الحوسبة وعرض نطاق الذاكرة بطرق مختلفة أثناء خدمة الطلبات.

يبحث المؤلفون ما إذا كانت الذاكرة المشتركة تقلل اختلال استخدام الموارد عند فصل المرحلتين. هذه دراسة معمارية وليست خدمة منشورة أو إعلان معالج تجاري؛ وينبغي قراءة ادعاءات الأداء ضمن الإعداد الذي قيّمته الورقة.