Un estudio publicado el 12 de octubre en Nature Computational Science examinó cómo los grandes modelos de lenguaje utilizan información de posición y categoría en datos científicos. Firmado también por investigadores de la Universidad Friedrich Schiller de Jena y Santiago Miret, de Intel Labs, combina experimentos controlados con datos sintéticos y pruebas de referencia sobre propiedades de materiales. Los autores indican que los modelos pueden aprender categorías de composición, como los tipos de átomos, pero tienen dificultades sistemáticas con las coordenadas que describen cómo se ordenan los átomos en el espacio.

La diferencia persistió en los modelos probados de hasta 70.000 millones de parámetros y conjuntos de datos de hasta dos millones de estructuras. Las redes neuronales gráficas que representan explícitamente la geometría superaron a los modelos de lenguaje en propiedades de materiales dependientes de la estructura. La comparación sugiere que los modelos de lenguaje no son adecuados para todas las tareas de predicción científica; el estudio no informa de un material nuevo producido ni de una validación de laboratorio.