하버드·구글 연구: GPT-6 Astra, 물리 문제 98% 해결

하버드와 구글의 공동 연구가 미공개 이론 물리학 문제로 프론티어 AI를 테스트하는 벤치마크로 학계에 파문을 일으켰다. 중국 기술 매체에 회자되는 보도에 따르면, TheoPhysEval이라는 평가는 최고的人类 전문가가 해결하는 데 꼬박 하루가 걸린다고 알려진 새로운 문제에 첨단 모델들을 도전시켰다. 가장 눈에 띄는 성과를 낸 것은 GPT-6 Astra로 불리는 모델로, 문제의 98%를 해결했다고 한다.

가장 놀라운 세부 사항은 거의 완벽한 점수가 아니라 모델이 그 점수에 도달한 방식이다. 보도에 따르면 GPT-6 Astra는 처음에 88%를 받았고, 이후 테스트를 설계한 인간 전문가가 출제한 문제 중 하나에서 계산 오류를 지적했다. 전문가들이 검토 후 실수를 인정하자 모델의 점수는 98%로 올랐다. 이 일화가 정확하다면 상징적인 순간을 표시한다: AI 시스템이 프론티어 질문에 답할 뿐만 아니라 그것을 작성한 사람들을 교정하는 것이다.

TheoPhysEval은 많은 AI 벤치마크를 괴롭히는 오염 문제를 피하도록 설계되었다. 모델이 훈련 중에 보았을 수 있는 출판된 논문을 사용하는 대신, 미공개로 새로 작성된 문제를 사용한다. 아이디어는 회상이 아닌 진정한 추론을 테스트하는 것이다. 모델이 정확한 문제를 이전에 접하지 않고도 새로운 이론 물리학을 풀어낼 수 있다면, 이는 더 일반적인 능력을 시사한다.

이 결과는 AI의 수학적·과학적 능력의 광범위한 가속화 속에서 나왔다. 10월 초 OpenAI는 자사 시스템이 준 리만 가설을 증명했다고 주장했으며, 수학자들은 인간이 낸 결과라면 필즈상에 값한다고 평가했다. 며칠 안에 연구자들은 AI의 도움으로 수학자들이 일반화된 리만 가설의 한 형태를 증명했다고 보고했다. 이러한 속도는 일부 학자를 흥분시키고 다른 이들을 불안하게 만들었다.

MIT 연구자들도 의견을 보탰으며, 보도는 지난 2년 동안 프론티어 AI가 이론 과학 문제 해결에서 빠른 진전을 이루었음을 보여주는 자체 테스트를 인용했다. 추세선은 AI가 과학자를 돕는 도구에서 결과를 제안하고 검증할 수 있는 참여자로 이동하고 있음을 시사한다. 이러한 변화는 기계가 루프에 있을 때 공로, 검증, 동료 검토가 어떻게 작동해야 하는지에 대한 질문을 제기한다.

회의론자들은 특히 세부 사항이 동료 검토 논문이 아닌 언론 보도를 통해 필터링될 때 벤치마크 결과가 과장될 수 있다고 경고한다. TheoPhysEval의 정확한 구성, 테스트된 문제 수, 평가의 독립성은 공개적으로 완전히 상세히 설명되지 않았다. 방법론이 출판되고 재현될 때까지 98%라는 수치는 확정된 사실이 아니라 주시해야 할 주장으로 취급해야 한다.

그럼에도 이 이야기는 분위기를 포착한다. 수십 년 동안 이론 물리학은 가장 인간적인 pursuits 중 하나였으며, 직관, 수학적 유창성, 수년간의 훈련을 요구했다. 전문가의 산술 실수를 잡아낼 수 있다고 알려진 모델은 그러한 장벽이 많은 이들이 가정한 것보다 낮다는 것을 시사한다. 이것이 돌파구이든 시의적절한 헤드라인이든, 과학에서 AI에 대한 대화는 도움이 될 수 있는지에서 결국 얼마나 많은 작업을 수행할 것인지로 이동했다.