Le préprint arXiv du 9 octobre examine les raccourcis de formatage dans des benchmarks choisis qui distinguent les textes scientifiques humains des textes générés par machine. Les auteurs ont entraîné des classificateurs sur des caractéristiques de surface, sans utiliser les mots eux-mêmes, dans dix sous-ensembles de données. Ils indiquent que les scores élevés de certains sous-ensembles arXiv peuvent en partie refléter des différences de collecte, comme les retours à la ligne conservés lors de l’extraction de PDF. La première page associe le coauteur Andrey Grabovoy à l’Université d’État de Moscou, à Moscou, en Russie.

Dans leurs expériences, quatre caractéristiques de formatage atteignent une AUC de 0,943 à 0,997 sur trois sous-ensembles arXiv ; la normalisation du format réduit le macro-F1 de la sonde de surface de 0,199 à 0,268 point dans ces sous-ensembles. Les auteurs proposent également des interventions contrefactuelles qui modifient la mise en forme sans changer les mots. Ces résultats sont limités aux données et détecteurs étudiés : ils ne montrent ni que tous les détecteurs utilisent ces indices ni qu’il est impossible de distinguer les textes humains et générés. L’étude souligne que les différences de format issues de la préparation des données doivent être testées lors de l’interprétation des benchmarks.