9 Ekim’de arXiv’de yayımlanan ön baskı, insan ve makine üretimi bilimsel metinleri ayıran bazı benchmarklarda biçimlendirme kaynaklı kestirme işaretleri inceliyor. Yazarlar on veri alt kümesinde, içerik sözcüklerini kullanmayan yüzey özellikleriyle sınıflandırıcılar kurdu ve arXiv alt kümelerinde yüksek puanların bir kısmının PDF’den çıkarılmış satır sonları gibi toplama süreci farklarına dayanabildiğini bildirdi. İlk sayfa ortak yazar Andrey Grabovoy’u Moskova Devlet Üniversitesi’ne, Moskova, Rusya’ya bağlıyor.

Yazarların deneylerinde, dört biçim özelliği arXiv kaynaklı üç alt kümede 0,943–0,997 AUC aralığına ulaştı; metin biçimini normalleştirmek, bu alt kümelerde yüzey denemesinin makro-F1 sonucunu 0,199–0,268 puan düşürdü. Ayrıca sözcükleri değiştirmeden biçimi yeniden düzenleyen karşı-olgusal müdahaleler öneriyorlar. Bulgular seçilmiş veri kümeleri ve incelenen dedektörlerle sınırlı; her dedektörün bu işaretleri kullandığını veya insan ve yapay zekâ yazısını güvenilir biçimde ayırmanın imkânsız olduğunu göstermiyor. Çalışmanın sonucu, benchmark performansını yorumlarken veri hazırlama sürecindeki biçim farklarının ayrıca sınanması gerektiği.