QEDBench legt kritieke 'alignment gap' bloot bij AI-evaluatie

Wat is de alignment gap in LLM-evaluatie?

De alignment gap in LLM-evaluatie vertegenwoordigt een aanzienlijke discrepantie tussen de geautomatiseerde score van een AI voor complexe taken en de feitelijke kwalitatieve normen die door menselijke experts zijn vastgesteld. In de context van geavanceerd academisch onderzoek benadrukt deze kloof een systematisch falen waarbij "LLM-as-a-Judge"-protocollen opgeblazen of onnauwkeurige beoordelingen geven van wiskundige bewijzen op universitair niveau, waarbij ze er niet in slagen de strikte logica te weerspiegelen die door menselijke wiskundigen wordt vereist.

Nu Large Language Models (LLMs) de elementaire benchmarks blijven verzadigen, is de onderzoeksgrens verschoven van eenvoudige generatie naar de betrouwbaarheid van geautomatiseerde evaluatie. In een baanbrekende studie getiteld "QEDBENCH: Quantifying the Alignment Gap in Automated Evaluation of University-Level Mathematical Proofs," stellen onderzoekers Yuchen Fang, Zachary Burton en Ji Zeng vast dat het huidige evaluatoren ontbreekt aan de precisie die nodig is voor wiskunde op gevorderd bachelor- en beginnend masterniveau. Dit onderzoek is bijzonder actueel nu modellen zoals GPT-5 Pro in toenemende mate worden geïntegreerd in onderwijs- en onderzoeksomgevingen waar nauwkeurigheid van cruciaal belang is.

De studie stelt dat hoewel modellen bedreven zijn geraakt in het nabootsen van de "stijl" van wiskundige bewijzen, ze vaak niet in staat zijn de onderliggende "inhoud" te begrijpen. Deze discrepantie creëert een "positieve bias" waarbij geautomatiseerde beoordelaars formeel ogende, maar logisch gebrekkige argumenten belonen. Door de introductie van het QEDBench-framework bieden de auteurs een mechanisme om deze tekortkomingen te kwantificeren, waarbij ze verder gaan dan eenvoudige nauwkeurigheidsmetingen naar een genuanceerder begrip van hoe AI afwijkt van de consensus van menselijke experts.

Wat is QEDBench en hoe meet het AI-bias?

QEDBench is de eerste grootschalige alignment-benchmark met een dubbel beoordelingsmodel (dual-rubric), ontworpen om de kloof tussen AI-beoordelaars en menselijke expert-wiskundigen bij bewijzen op universitair niveau te meten. Het meet bias door een dubbele evaluatiematrix in te zetten die specifieke cursusrichtlijnen afzet tegen criteria voor "algemene expertkennis", geverifieerd door meer dan 1.000 uur aan menselijke expert-evaluatie om een gouden standaard (ground truth) te garanderen.

De methodologie die door Fang, Burton en Zeng is gebruikt, omvatte een geavanceerde matrix van 7 beoordelaars x 5 oplossers. Deze structuur stelde de onderzoekers in staat om de evaluatieve prestaties van verschillende grensverleggende modellen te kruisen met door mensen geverifieerde scores gedurende meer dan 1.000 uur aan intensieve wiskundige analyse. In tegenstelling tot eerdere benchmarks die zich richten op elementair rekenen of wiskunde op middelbareschoolniveau, richt QEDBench zich op de nuances van op bewijzen gebaseerde wiskunde in het hoger onderwijs.

Belangrijke kenmerken van het QEDBench-framework zijn onder meer:

• Dual-Rubric vergelijking: Het evalueren van bewijzen met behulp van zowel strikte, cursusspecifieke beoordelingsmodellen als breder wiskundig inzicht.
• Human-in-the-loop-validatie: Elk datapunt is gebaseerd op rigoureuze menselijke beoordeling om te identificeren waar AI-scores afwijken van de realiteit.
• Schaal en diepgang: Richt zich op wiskunde van gevorderd bachelor- tot masterniveau, waar logische striktheid complexer is dan eenvoudige berekeningen.
• Publieke toegankelijkheid: De benchmark is openbaar vrijgegeven op https://github.com/qqliu/Yale-QEDBench om kalibratie in de hele sector aan te moedigen.

Waarom geven AI-beoordelaars te hoge scores voor wiskundige bewijzen?

AI-beoordelaars geven te hoge scores omdat ze vaak prioriteit geven aan taalkundige vloeiendheid en formele opmaak boven logische deugdelijkheid, een fenomeen dat bekendstaat als "positieve bias". Onderzoek met behulp van QEDBench onthulde dat grensverleggende evaluatoren regelmatig hogere scores toekennen dan menselijke experts, waarbij modellen zoals GPT-5 Pro, Claude Opus 4.5 en Llama 4 Maverick een gemiddelde score-inflatie laten zien die varieert van +0,18 tot +0,36.

De onderzoekers kwantificeerden deze bias met een verbazingwekkende precisie. Zo vertoonde Llama 4 Maverick het hoogste niveau van inflatie met +0,36, terwijl Qwen 2.5 Max en DeepSeek-V3 volgden met respectievelijk +0,30 en +0,20. Deze neiging tot mildheid is gevaarlijk in academische settings omdat het incorrecte wiskundige redeneringen kan valideren, wat mogelijk kan leiden tot de verspreiding van fouten in wetenschappelijke literatuur of educatieve feedbackloops. Wanneer een geautomatiseerde beoordelaar zoals GPT-5 Pro een bewijs tegenkomt dat er correct "uitziet" — door gebruik te maken van de juiste LaTeX-opmaak en professionele terminologie — kan deze "verborgen" logische sprongen over het hoofd zien waarvoor een menselijke professor onmiddellijk punten zou aftrekken.

Deze score-inflatie suggereert dat "LLM-as-a-Judge"-protocollen momenteel vatbaar zijn voor het hallucineren van correctheid. De modellen lijken heuristieken te gebruiken — zoals lengte, complexiteit van de woordenschat of de aanwezigheid van specifieke wiskundige symbolen — als maatstaf voor kwaliteit. Omdat deze modellen zijn getraind op enorme datasets die zowel correcte als incorrecte bewijzen bevatten, kunnen ze moeite hebben om onderscheid te maken tussen een rigoureuze logische afleiding en een geraffineerd ogende imitatie daarvan.

Hoe verhoudt Gemini 3.0 Pro zich tot Claude 4.5 in wiskunde?

Gemini 3.0 Pro presteert aanzienlijk beter dan Claude 4.5 en GPT-5 Pro in het domein van de discrete wiskunde, waarbij het een hoge nauwkeurigheid behoudt waar andere modellen van de volgende generatie een scherpe daling laten zien. Terwijl Gemini 3.0 Pro een state-of-the-art menselijke evaluatiescore van 0,91 behaalde, zagen Claude Sonnet 4.5 en GPT-5 Pro hun scores dalen tot respectievelijk 0,63 en 0,72 in specifieke uitdagingen binnen de discrete wiskunde.

De "Reasoning Gap" (redeneerkloof) die in de QEDBench-studie is vastgesteld, brengt een verrassende zwakte aan het licht bij verschillende prominente modellen wanneer ze te maken krijgen met het discrete domein. De onderzoekers stelden specifiek vast dat:

• Gemini 3.0 Pro een dominante gemiddelde menselijke evaluatiescore van 0,91 behield over diverse wiskundige velden.
• GPT-5 Pro zijn prestaties zag verslechteren tot een gemiddelde van 0,72 in Discrete Wiskunde en 0,74 in Grafentheorie.
• Claude Sonnet 4.5 de meest significante daling ervaarde, vallend naar 0,63 in Discrete Wiskunde en een onthutsende 0,50 in Grafentheorie.

Deze discrepantie suggereert dat de huidige AI-architecturen mogelijk beter geschikt zijn voor continue wiskunde (zoals calculus) dan voor de combinatorische en logisch zware vereisten van Discrete Wiskunde en Grafentheorie. Het vermogen van Gemini 3.0 Pro om deze "discrete" uitdagingen te navigeren, wijst op een robuustere interne representatie van logische stappen, terwijl andere modellen wellicht meer leunen op patroonherkenning die faalt wanneer de structurele regels van het wiskundige domein veranderen. Deze bevinding is cruciaal voor onderzoekers die kiezen welke modellen ze willen inzetten voor geautomatiseerde bewijsvoering of ondersteuning bij peer review.

De toekomst van geautomatiseerde evaluatie van bewijzen

De implicaties van de QEDBench-studie reiken veel verder dan het klaslokaal en raken aan de toekomst van wetenschappelijke peer review en geautomatiseerd redeneren. Door de Alignment Gap bloot te leggen, hebben Fang, Burton en Zeng een routekaart geboden voor de volgende generatie AI-ontwikkeling. De onderzoekers benadrukken dat het verminderen van score-inflatie niet alleen een kwestie is van meer data, maar van een betere evaluatieve kalibratie. Toekomstige modellen moeten niet alleen worden getraind om problemen op te lossen, maar ook om de logische paden die worden gebruikt om die oplossingen te bereiken, kritisch te beoordelen.

Op de korte termijn raden de onderzoekers aan dat instellingen die AI gebruiken voor becijfering of onderzoeksverificatie "human-in-the-loop"-systemen implementeren. Het feit dat zelfs een goed presterend model zoals GPT-5 Pro een aanzienlijke bias kan vertonen, betekent dat geautomatiseerde scores als suggesties moeten worden behandeld in plaats van als definitieve oordelen. Naarmate het veld zich verder ontwikkelt, zullen instrumenten zoals QEDBench essentieel zijn voor het "benchmarking the benchmarks". Dit zorgt ervoor dat naarmate AI geavanceerder wordt, het vermogen om eigen werk — en dat van anderen — te beoordelen, geworteld blijft in de compromisloze strengheid van menselijke wiskundige expertise.

Een bredere adoptie van de QEDBench-normen zou kunnen leiden tot een nieuw tijdperk van AI-integratie in het hoger onderwijs. Als de alignment gap kan worden gedicht, zouden AI-beoordelaars uiteindelijk real-time feedback op expertniveau kunnen geven aan studenten die werken aan complexe bewijzen, waardoor de toegang tot wiskundig mentorschap op hoog niveau wordt gedemocratiseerd. Voor nu dient de studie echter als een essentiële herinnering: in de wereld van wiskunde op universitair niveau is "er correct uitzien" niet hetzelfde als "correct zijn".