Une prépublication mise en ligne sur arXiv le 9 octobre par des chercheurs liés à l’Université Paris-Saclay, au CEA, à Inria et au CNRS étudie les limites de la détection d’échecs de manipulation robotique à partir de la seule similarité des images. Robot-WATCHDOG représente les objets d’une scène et leurs relations dans le temps sous forme de graphe. L’équipe teste un score mesurant l’écart géométrique et relationnel par rapport à des démonstrations expertes, ainsi qu’un second qui prédit les états futurs des objets à l’aide d’un réseau d’attention sur graphes et d’un Transformer.

Les auteurs ont évalué les deux approches sur quatre tâches compatibles d’un benchmark antérieur de détection d’échecs robotiques, puis sur deux tâches conçues pour l’étude : la mise de table et le tri de déchets sur un convoyeur mobile. Ils ont exclu les interactions avec des liquides ou des objets déformables, qui ne respectent pas l’hypothèse d’une identité d’objet persistante. L’article indique que les deux scores fondés sur des graphes surpassent les détecteurs basés sur l’image, surtout pour les échecs liés aux interactions entre objets et à la structure de la tâche ; le score géométrique et relationnel sans entraînement obtient les meilleurs résultats globaux et le coût d’inférence le plus faible. Les conclusions se limitent aux données et tâches choisies et ne valident pas un système de sécurité pour tous les robots et types d’échec. Il s’agit d’une prépublication qui n’a pas encore été évaluée par les pairs.