Nature Computational Science’ta 12 Ekim’de yayımlanan araştırma, büyük dil modellerinin bilimsel verilerdeki konum bilgisi ile kategori bilgisini nasıl kullandığını inceledi. Friedrich Schiller Üniversitesi Jena’dan araştırmacılar ve Intel Labs’tan Santiago Miret’in ortak yazdığı çalışmada, kontrollü sentetik veri deneyleri ve malzeme özellikleri kıyaslamaları kullanıldı. Yazarlar, dil modellerinin atom türü gibi bileşim etiketlerini öğrenebildiğini, ancak atomların uzaydaki düzenini temsil eden koordinat bilgisinde sistematik biçimde zorlandığını bildirdi.

Bu fark, incelenen 70 milyar parametreye kadar modellerde ve iki milyon yapıya kadar veri ölçeklerinde sürdü. Geometriyi açıkça modelleyen grafik sinir ağları, yapıya bağlı malzeme özelliklerinde dil modeli yaklaşımını geçti. Sonuç, dil modellerinin bilimsel tahminde her durumda uygun bir seçenek olmadığını gösteren bir yöntem karşılaştırmasıdır; çalışma yeni bir malzeme üretildiğini veya laboratuvarda doğrulandığını bildirmiyor.