9 Ekim tarihli arXiv ön baskısı QTestBench, büyük dil modellerinin yazdığı testleri test ediyor: Bir test dosyasının çalışması tek başına yeterli sayılmıyor; testlerin doğru çözümleri kabul etmesi ve hatalı olanları yakalaması da bağımsız benchmark denetleyicilerine göre ölçülüyor. Çalışmanın ilk sayfası yazarların New York University Abu Dhabi’deki eBRAIN Lab ve üniversitenin Center for Quantum and Topological Systems birimlerine bağlı olduğunu belirtiyor. Makale henüz hakem değerlendirmesinden geçmiş bir yayın olarak sunulmuyor.

Yazarlar beş modeli PennyLane QHack içindeki sekiz görevde ve Qiskit HumanEval içindeki sabit on görevde değerlendirmiş. Kendi raporlarına göre en iyi test üreticisinin test kalitesi puanı QHack’te 0,71, Qiskit HumanEval’de 0,34 olmuş; bu skorlar makaledeki görev ve puanlama kapsamına ait, kuantum programlamadaki genel başarı oranları değil. Çalışma, doğal biçimde oluşan hatalı çözümlerin seyrek kaldığı üç Qiskit görevinde denetleyicinin yanlış bulduğu sentetik değişikliklerden de yararlanıyor. Sonuç, testlerin çalıştırılabilir olmasının test güvenilirliğini göstermeye yetmediğini ortaya koyan bir değerlendirme yöntemi.