Étude de Harvard et Google : GPT-6 Astra résout 98 % des problèmes de physique
Une collaboration de recherche entre Harvard et Google a fait sensation dans les milieux universitaires avec un benchmark qui teste l’IA de pointe sur des problèmes de physique théorique non publiés. Selon des informations circulant dans les médias technologiques chinois, l’évaluation, appelée TheoPhysEval, a demandé à des modèles avancés de s’attaquer à des problèmes inédits que les meilleurs experts humains auraient besoin d’une journée entière pour résoudre. Le modèle qui s’est le plus distingué est appelé GPT-6 Astra, qui aurait résolu 98 % des problèmes.
Le détail le plus frappant n’est pas la note quasi parfaite, mais la manière dont le modèle y est parvenu. Les rapports indiquent que GPT-6 Astra a d’abord obtenu 88 %, puis a signalé une erreur de calcul dans l’un des problèmes posés par les experts humains qui ont conçu le test. Après que les experts ont examiné et reconnu l’erreur, le score du modèle est passé à 98 %. Cette anecdote, si elle est exacte, marque un moment symbolique : un système d’IA ne se contente pas de répondre à une question de pointe, il corrige ceux qui l’ont posée.
TheoPhysEval est conçu pour éviter le problème de contamination qui affecte de nombreux benchmarks d’IA. Au lieu de s’appuyer sur des articles publiés que les modèles ont pu voir pendant leur entraînement, il utilise des problèmes inédits et récemment rédigés. L’idée est de tester un raisonnement authentique plutôt que la mémorisation. Si un modèle peut résoudre des problèmes novateurs de physique théorique sans avoir rencontré auparavant le problème exact, cela suggère une capacité plus générale.
Le résultat arrive dans un contexte d’accélération plus large des capacités mathématiques et scientifiques de l’IA. Début octobre, OpenAI a affirmé que ses systèmes avaient prouvé une quasi-hypothèse de Riemann, un résultat que les mathématiciens ont qualifié de digne d’une médaille Fields s’il avait été produit par un humain. En quelques jours, des chercheurs ont rapporté que, avec l’aide de l’IA, des mathématiciens avaient prouvé une forme de l’hypothèse de Riemann généralisée. Ce rythme a laissé certains universitaires enthousiastes et d’autres inquiets.
Des chercheurs du MIT sont également intervenus, des rapports citant leurs propres tests montrant que l’IA de pointe a fait des progrès rapides dans la résolution de problèmes de science théorique au cours des deux dernières années. Les courbes de tendance suggèrent que l’IA passe d’un outil qui assiste les scientifiques à un participant capable de proposer et de vérifier des résultats. Ce changement soulève des questions sur la manière dont le crédit, la vérification et l’examen par les pairs devraient fonctionner lorsqu’une machine est impliquée.
Les sceptiques avertissent que les résultats des benchmarks peuvent être exagérés, surtout lorsque les détails sont filtrés par la couverture médiatique plutôt que par des articles évalués par des pairs. La composition exacte de TheoPhysEval, le nombre de problèmes testés et l’indépendance de l’évaluation n’ont pas été entièrement détaillés en public. Tant que la méthodologie n’est pas publiée et reproduite, le chiffre de 98 % doit être considéré comme une affirmation à surveiller plutôt que comme un fait établi.
Pourtant, l’histoire capture une ambiance. Pendant des décennies, la physique théorique a été l’une des activités les plus humaines, nécessitant intuition, aisance mathématique et des années de formation. Un modèle qui, selon les rapports, peut repérer une erreur arithmétique d’un expert suggère que ces barrières sont plus basses que beaucoup ne le pensaient. Qu’il s’agisse d’une percée ou d’un titre bien timing, la conversation sur l’IA dans la science est passée de la question de savoir si elle peut aider à celle de savoir quelle part du travail elle finira par faire.