Une étude publiée le 12 octobre dans Nature Computational Science examine la façon dont les grands modèles de langage utilisent les informations de position et de catégorie dans les données scientifiques. Cosignée par des chercheurs de l’Université Friedrich-Schiller d’Iéna et Santiago Miret d’Intel Labs, elle associe des expériences contrôlées sur données synthétiques à des tests de référence sur les propriétés des matériaux. Les auteurs indiquent que les modèles apprennent les catégories de composition, comme les types d’atomes, mais peinent systématiquement à exploiter les coordonnées décrivant leur organisation dans l’espace.

Cet écart persiste dans les modèles testés jusqu’à 70 milliards de paramètres et les jeux de données comptant jusqu’à deux millions de structures. Les réseaux de neurones graphiques qui modélisent explicitement la géométrie ont surpassé les approches par modèle de langage pour les propriétés des matériaux dépendantes de leur structure. La comparaison suggère que les modèles de langage ne conviennent pas à toutes les tâches de prédiction scientifique ; elle ne fait état ni d’un nouveau matériau produit ni d’une validation en laboratoire.