تفاصيل الخبر
تختبر الورقة التمهيدية QTestBench المنشورة على arXiv في 9 أكتوبر الاختبارات التي تكتبها النماذج اللغوية الكبيرة. ولا يعتبر تشغيل ملف الاختبار كافياً؛ إذ يقيس الإطار أيضاً ما إذا كانت الاختبارات المولدة تقبل الحلول الصحيحة وتكشف الحلول المعيبة، بالرجوع إلى أدوات تحقق مستقلة في المعايير. وتذكر الصفحة الأولى من الورقة ارتباط المؤلفين بمختبر eBRAIN ومركز الأنظمة الكمومية والطوبولوجية في جامعة نيويورك أبوظبي. وتُعرض الدراسة بوصفها ورقة تمهيدية، لا بحثاً محكماً.
قيّم المؤلفون خمسة نماذج على ثماني مهام من PennyLane QHack ومجموعة ثابتة من عشر مهام من Qiskit HumanEval. وذكروا أن أفضل مولد للاختبارات حقق درجة جودة اختبار 0.71 في QHack و0.34 في Qiskit HumanEval؛ وهذه الدرجات تخص مهام الورقة وبروتوكول التقييم فيها، ولا تمثل معدلات نجاح عامة في البرمجة الكمومية. كما استخدمت الدراسة تعديلات اصطناعية تحققت أدوات المعيار من خطئها في ثلاث مهام Qiskit لم تتوفر فيها حلول معيبة طبيعية. وتتمثل الإضافة في طريقة تقييم توضح أن قابلية تشغيل الاختبارات المولدة وحدها لا تثبت موثوقيتها.
