Harvard ve Google Araştırması: GPT-6 Astra Fizik Problemlerinin %98'ini Çözdü
Harvard ve Google arasındaki bir araştırma işbirliği, öncü yapay zekayı yayımlanmamış teorik fizik problemleri üzerinde test eden bir kıyaslamayla akademik çevrelerde yankı uyandırdı. Çin teknoloji medyasında dolaşan haberlere göre, TheoPhysEval adlı değerlendirme, ileri düzey modellerden, en iyi insan uzmanların çözmek için tam bir güne ihtiyaç duyduğu bildirilen yeni problemleri ele almalarını istedi. Öne çıkan model, GPT-6 Astra olarak anılan ve problemlerin %98’ini çözdüğü bildirilen model oldu.
En çarpıcı ayrıntı, neredeyse kusursuz puan değil, modelin oraya nasıl ulaştığı. Haberler, GPT-6 Astra’nın başlangıçta %88 puan aldığını, ardından testi tasarlayan insan uzmanların belirlediği problemlerden birinde bir hesaplama hatası işaretlediğini söylüyor. Uzmanlar hatayı gözden geçirip kabul ettikten sonra modelin puanı %98’e yükseldi. Bu anekdot, eğer doğruysa, sembolik bir ana işaret ediyor: bir yapay zeka sistemi yalnızca sınır bir soruyu yanıtlamakla kalmıyor, aynı zamanda onu yazan insanları düzeltiyor.
TheoPhysEval, birçok yapay zeka kıyaslamasını etkileyen kontaminasyon sorunundan kaçınmak için tasarlandı. Modellerin eğitim sırasında görmüş olabileceği yayımlanmış makalelerden yararlanmak yerine, yayımlanmamış, yeni yazılmış problemler kullanıyor. Amaç, hatırlama yerine gerçek akıl yürütmeyi test etmek. Bir model, daha önce tam olarak karşılaşmadığı yeni teorik fizik problemlerini çözebiliyorsa, bu daha genel bir yeteneğe işaret eder.
Sonuç, yapay zekanın matematiksel ve bilimsel yeteneklerindeki daha geniş bir hızlanmanın ortasında geldi. Ekim başında OpenAI, sistemlerinin bir yarı-Riemann hipotezini kanıtladığını iddia etti; matematikçiler bu sonucu bir insan tarafından üretilseydi Fields Madalyası’na layık olarak nitelendirdi. Günler içinde araştırmacılar, yapay zeka yardımıyla matematikçilerin genelleştirilmiş Riemann hipotezinin bir biçimini kanıtladığını bildirdi. Bu hız, bazı akademisyenleri coştururken diğerlerini tedirgin etti.
MIT araştırmacıları da görüş belirtti; haberler, öncü yapay zekanın son iki yılda teorik bilim problemlerini çözmede hızlı kazanımlar elde ettiğini gösteren kendi testlerine atıfta bulundu. Eğilim çizgileri, yapay zekanın bilim insanlarına yardımcı olan bir araçtan sonuçlar önerebilen ve kontrol edebilen bir katılımcıya kaydığını gösteriyor. Bu kayma, bir makine sürece dahil olduğunda kredi, doğrulama ve hakem değerlendirmesinin nasıl işlemesi gerektiğine dair soruları gündeme getiriyor.
Şüpheciler, özellikle ayrıntılar hakem değerlendirmesinden geçmiş makaleler yerine basın haberleri aracılığıyla süzüldüğünde, kıyaslama sonuçlarının abartılabileceği konusunda uyarıyor. TheoPhysEval’in tam bileşimi, test edilen problem sayısı ve değerlendirmenin bağımsızlığı kamuoyunda tam olarak ayrıntılandırılmadı. Metodoloji yayımlanıp çoğaltılana kadar, %98 rakamı kesin bir gerçek olarak değil, izlenmesi gereken bir iddia olarak ele alınmalı.
Yine de hikaye bir ruh halini yakalıyor. Onlarca yıldır teorik fizik, sezgi, matematiksel akıcılık ve yıllarca eğitim gerektiren en insani uğraşlardan biri oldu. Bir uzmanın aritmetik hatasını yakalayabildiği bildirilen bir model, bu duvarların birçok kişinin varsaydığından daha alçak olduğunu gösteriyor. Bu bir atılım mı yoksa iyi zamanlanmış bir manşet mi, bilimde yapay zeka tartışması yardımcı olup olamayacağından işin ne kadarını sonunda yapacağına kaydı.