OpenAI zegt dat zijn AI 372 open wiskundeproblemen heeft opgelost. Wiskundigen zijn sceptisch
Begin oktober publiceerde OpenAI 722 wiskundige manuscripten op GitHub, allemaal gegenereerd door een enkel intern model dat het bedrijf nooit openbaar heeft gemaakt. Volgens OpenAI behandelde het systeem ongeveer 4.000 open problemen in 17 takken van de wiskunde — waaronder getaltheorie, meetkunde, kansrekening en theoretische informatica — en produceerde het resultaten voor 372 daarvan. De aankondiging kwam minder dan drie maanden nadat de Chinese wiskundige Wang Hong een Fields-medaille won, de hoogste onderscheiding in de discipline, voor haar werk aan de driedimensionale versie van het vermoeden van Kakegawa. Het model van OpenAI, suggereerde het bedrijf, was een dimensie verder gegaan.
Die framing zorgde ervoor dat het bericht zich verspreidde. Wiskunde is een onwaarschijnlijke proeftuin geworden voor kunstmatige intelligentie, omdat een bewijs, anders dan bij het schrijven van essays of het genereren van afbeeldingen, kan worden gecontroleerd. Een correct bewijs is voor altijd correct; een fout bewijs kan door elke competente promovendus worden afgebroken. Fields-medaillewinnaars, niet marketingafdelingen, zijn de natuurlijke scheidsrechters.
Het probleem is het volume. Zevenhonderdtweeëntwintig manuscripten is geen artikel. Het is een kleine bibliotheek, en het lezen ervan vereist de langzame, kritische aandacht die niet kan worden uitbesteed aan dezelfde klasse van modellen die het heeft geschreven. Wiskundigen die de bestanden zijn gaan doorwerken, beschrijven een gemengd landschap: argumenten die plausibel lijken tot een specifieke stap, definities die halverwege stilletjes van betekenis veranderen, en af en toe resultaten die echt nieuw lijken.
Chinese wetenschapsjournalisten waren directer. Een veel gedeeld essay vergeleek de release met de ontdekking van een berg afval, waarbij onderzoekers hun neus ophalen en er goud uit zeven. Het beeld is onaardig, maar het vat het werkelijke werk samen. Iemand moet regel voor regel beslissen welke van die 372 beweerde resultaten contact met een menselijke expert overleven.
Dit is een bekend patroon in machine learning. Systemen die kandidaat-oplossingen genereren, overtreffen verreweg de beschikbare mensen om ze te verifiëren, of het nu gaat om wiskunde, geneesmiddelenontwikkeling of materiaalkunde. Verificatie wordt de bottleneck, en de bottleneck bepaalt de werkelijke waarde van het instrument. Een model dat tienduizend hypotheses voorstelt, is slechts zo nuttig als het laboratorium dat ze kan testen.
Er is ook een diepere vraag over wat het model doet. Wiskundigen maken onderscheid tussen het vinden van een bewijs en het begrijpen waarom een stelling waar is. Een machine kan zoeken naar een keten van geldige stappen zonder de structuur te bevatten die het resultaat onvermijdelijk maakt, en het is die structuur die mensen in staat stelt een resultaat uit te breiden naar nieuwe gevallen. Als de manuscripten van OpenAI geldige bewijzen bevatten maar geen inzicht, kunnen ze nog steeds nuttig zijn — maar ze zullen op zichzelf niet veranderen hoe het vakgebied denkt.
Voorlopig is het eerlijke antwoord dat niemand het weet. De manuscripten zijn openbaar, de beweringen zijn specifiek genoeg om te worden gecontroleerd, en de controle is begonnen. Zo heeft de wiskunde altijd geschillen beslecht, en het is een langzamer proces dan een productaankondiging.
Wat de episode wel laat zien, is dat AI-bedrijven hebben besloten dat wiskunde de arena is waar ze hun meest geloofwaardige claims kunnen maken. Het vakgebied biedt iets zeldzaams in het AI-debat: een oordeel dat niet afhangt van iemands mening. Als zelfs maar een fractie van die 372 resultaten standhoudt, zal de release worden herinnerd als een mijlpaal. Als de meeste onder de loep bezwijken, zal het worden herinnerd als een les over de kloof tussen het genereren van tekst en het produceren van kennis.