Estudio de Harvard y Google: GPT-6 Astra resuelve el 98% de los problemas de física
Una colaboración de investigación entre Harvard y Google ha causado revuelo en los círculos académicos con un benchmark que pone a prueba la IA de vanguardia en problemas de física teórica no publicados. Según informes que circulan en medios tecnológicos chinos, la evaluación, denominada TheoPhysEval, pidió a modelos avanzados que abordaran problemas nuevos que, según se dice, los mejores expertos humanos necesitan un día completo para resolver. El modelo que más destacó fue uno denominado GPT-6 Astra, que, según los informes, resolvió el 98% de los problemas.
El detalle más llamativo no es la puntuación casi perfecta, sino cómo llegó el modelo a ella. Los informes dicen que GPT-6 Astra obtuvo inicialmente un 88%, y luego señaló un error de cálculo en uno de los problemas planteados por los expertos humanos que diseñaron la prueba. Después de que los expertos revisaran y reconocieran el error, la puntuación del modelo subió al 98%. Esa anécdota, si es precisa, marca un momento simbólico: un sistema de IA no solo responde a una pregunta de frontera, sino que corrige a quienes la formularon.
TheoPhysEval está diseñado para evitar el problema de contaminación que afecta a muchos benchmarks de IA. En lugar de basarse en artículos publicados que los modelos puedan haber visto durante el entrenamiento, utiliza problemas inéditos y recién escritos. La idea es evaluar el razonamiento genuino en lugar de la memorización. Si un modelo puede resolver problemas novedosos de física teórica sin haber encontrado antes el problema exacto, eso sugiere una capacidad más general.
El resultado llega en medio de una aceleración más amplia de las capacidades matemáticas y científicas de la IA. A principios de octubre, OpenAI afirmó que sus sistemas habían demostrado una cuasihipótesis de Riemann, un resultado que los matemáticos describieron como digno de una Medalla Fields si lo hubiera producido un humano. En cuestión de días, investigadores informaron que, con ayuda de la IA, los matemáticos habían demostrado una forma de la hipótesis de Riemann generalizada. El ritmo ha dejado a algunos académicos entusiasmados y a otros inquietos.
Investigadores del MIT también han intervenido, y los informes citan sus propias pruebas que muestran que la IA de vanguardia ha logrado rápidos avances en la resolución de problemas de ciencia teórica en los últimos dos años. Las líneas de tendencia sugieren que la IA está pasando de ser una herramienta que ayuda a los científicos a un participante que puede proponer y verificar resultados. Ese cambio plantea preguntas sobre cómo deberían funcionar el crédito, la verificación y la revisión por pares cuando hay una máquina en el circuito.
Los escépticos advierten que los resultados de los benchmarks pueden exagerarse, especialmente cuando los detalles se filtran a través de la cobertura periodística en lugar de artículos revisados por pares. La composición exacta de TheoPhysEval, el número de problemas evaluados y la independencia de la evaluación no se han detallado completamente en público. Hasta que la metodología se publique y se replique, la cifra del 98% debe tratarse como una afirmación a seguir, no como un hecho establecido.
Aun así, la historia captura un estado de ánimo. Durante décadas, la física teórica ha sido una de las actividades más humanas, ya que requiere intuición, fluidez matemática y años de formación. Un modelo que, según los informes, puede detectar un desliz aritmético de un experto sugiere que esas barreras son más bajas de lo que muchos suponían. Ya sea un avance o un titular oportuno, la conversación sobre la IA en la ciencia ha pasado de si puede ayudar a cuánto del trabajo acabará haciendo.