Estudo de Harvard e Google: GPT-6 Astra resolve 98% dos problemas de física
Uma colaboração de pesquisa entre Harvard e Google causou alvoroço nos círculos acadêmicos com um benchmark que testa a IA de ponta em problemas de física teórica não publicados. Segundo relatos que circulam na mídia tecnológica chinesa, a avaliação, chamada TheoPhysEval, pediu a modelos avançados que enfrentassem problemas inéditos que, supostamente, os melhores especialistas humanos precisam de um dia inteiro para resolver. O modelo que mais se destacou foi um chamado GPT-6 Astra, que, segundo os relatos, resolveu 98% dos problemas.
O detalhe mais impressionante não é a pontuação quase perfeita, mas como o modelo chegou lá. Os relatos dizem que o GPT-6 Astra inicialmente obteve 88%, e então sinalizou um erro de cálculo em um dos problemas propostos pelos especialistas humanos que elaboraram o teste. Depois que os especialistas revisaram e reconheceram o erro, a pontuação do modelo subiu para 98%. Essa anedota, se precisa, marca um momento simbólico: um sistema de IA não apenas responde a uma pergunta de fronteira, mas corrige as pessoas que a formularam.
O TheoPhysEval foi projetado para evitar o problema de contaminação que afeta muitos benchmarks de IA. Em vez de se basear em artigos publicados que os modelos possam ter visto durante o treinamento, ele usa problemas inéditos e recém-escritos. A ideia é testar o raciocínio genuíno em vez da memorização. Se um modelo consegue resolver problemas novos de física teórica sem ter encontrado antes o problema exato, isso sugere uma capacidade mais geral.
O resultado chega em meio a uma aceleração mais ampla das capacidades matemáticas e científicas da IA. No início de outubro, a OpenAI afirmou que seus sistemas haviam provado uma quase-hipótese de Riemann, um resultado que os matemáticos descreveram como digno de uma Medalha Fields se produzido por um humano. Em poucos dias, pesquisadores relataram que, com ajuda de IA, matemáticos haviam provado uma forma da hipótese de Riemann generalizada. O ritmo deixou alguns acadêmicos entusiasmados e outros inquietos.
Pesquisadores do MIT também se manifestaram, com relatos citando seus próprios testes que mostram que a IA de ponta fez rápidos avanços na resolução de problemas de ciência teórica nos últimos dois anos. As linhas de tendência sugerem que a IA está passando de uma ferramenta que auxilia os cientistas para um participante que pode propor e verificar resultados. Essa mudança levanta questões sobre como crédito, verificação e revisão por pares devem funcionar quando uma máquina está no circuito.
Céticos alertam que resultados de benchmarks podem ser exagerados, especialmente quando os detalhes são filtrados pela cobertura da imprensa em vez de artigos revisados por pares. A composição exata do TheoPhysEval, o número de problemas testados e a independência da avaliação não foram totalmente detalhados em público. Até que a metodologia seja publicada e replicada, o número de 98% deve ser tratado como uma alegação a acompanhar, e não como um fato estabelecido.
Ainda assim, a história captura um clima. Durante décadas, a física teórica esteve entre as atividades mais humanas, exigindo intuição, fluência matemática e anos de treinamento. Um modelo que, segundo relatos, consegue identificar um deslize aritmético de um especialista sugere que essas barreiras são mais baixas do que muitos supunham. Seja um avanço ou uma manchete bem cronometrada, a conversa sobre IA na ciência passou de se ela pode ajudar para quanto do trabalho ela acabará fazendo.