El preprint de arXiv del 9 de octubre examina atajos de formato en benchmarks seleccionados que distinguen textos científicos escritos por personas de los generados por máquinas. Los autores entrenaron clasificadores con características superficiales que no usan las palabras, en diez subconjuntos de datos, y señalan que las puntuaciones altas en algunos subconjuntos de arXiv pueden reflejar en parte diferencias de recopilación, como los saltos de línea conservados al extraer PDF. La primera página indica que el coautor Andrey Grabovoy está afiliado a la Universidad Estatal de Moscú, en Moscú, Rusia.

En sus experimentos, cuatro características de formato alcanzaron un AUC de 0,943–0,997 en tres subconjuntos de arXiv; normalizar el formato redujo el macro-F1 de la prueba superficial en 0,199–0,268 puntos en esos subconjuntos. También proponen intervenciones contrafactuales que cambian el formato sin cambiar las palabras. Los resultados se limitan a los datos y detectores estudiados: no demuestran que todos los detectores usen esas señales ni que sea imposible distinguir textos humanos y generados. La implicación práctica es que las diferencias de formato introducidas durante la preparación de datos deben comprobarse al interpretar los benchmarks.