Le préprint QTestBench, déposé sur arXiv le 9 octobre, évalue les tests écrits par de grands modèles de langage. Le simple fait qu’un fichier de test s’exécute ne suffit pas : le cadre mesure aussi si les tests générés acceptent les solutions correctes et détectent les solutions défectueuses, selon des vérificateurs de référence indépendants. La première page indique les affiliations des auteurs au laboratoire eBRAIN et au Center for Quantum and Topological Systems de NYU Abu Dhabi. L’étude est présentée comme un préprint, et non comme un article évalué par les pairs.

Les auteurs évaluent cinq modèles sur huit tâches de PennyLane QHack et un ensemble fixe de dix tâches Qiskit HumanEval. Selon leurs résultats, le meilleur générateur de tests obtient un score de qualité de 0,71 sur QHack et de 0,34 sur Qiskit HumanEval ; ces scores concernent les tâches et le protocole de l’article, et ne constituent pas des taux généraux de réussite en programmation quantique. L’étude utilise aussi des modifications synthétiques, déclarées incorrectes par le vérificateur, pour trois tâches Qiskit sans solutions erronées naturelles disponibles. Sa contribution est une méthode d’évaluation qui montre que l’exécution des tests générés ne suffit pas à établir leur fiabilité.