QEDBench, Yapay Zeka Değerlendirmesinde Kritik Hizalama Boşluğunu Ortaya Çıkardı

LLM değerlendirmesinde uyum açığı nedir?

LLM değerlendirmesindeki uyum açığı, bir yapay zekanın karmaşık görevlere verdiği otomatik puanlar ile insan uzmanlar tarafından belirlenen gerçek nitel standartlar arasındaki önemli bir tutarsızlığı temsil eder. İleri düzey akademik araştırma bağlamında bu açık, "Yargıç-olarak-LLM" (LLM-as-a-Judge) protokollerinin, üniversite düzeyindeki matematiksel ispatlar hakkında şişirilmiş veya hatalı değerlendirmeler sunduğu ve insan matematikçilerin gerektirdiği titiz mantığı yansıtmakta başarısız olduğu sistematik bir yetersizliği vurgulamaktadır.

Büyük Dil Modelleri (LLM'ler) temel kıyaslama testlerini domine etmeye devam ederken, araştırma sınırı basit içerik üretiminden otomatik değerlendirmenin güvenilirliğine kaymıştır. "QEDBENCH: Üniversite Düzeyindeki Matematiksel İspatların Otomatik Değerlendirmesinde Uyum Açığının Ölçülmesi" başlıklı çığır açan bir çalışmada, araştırmacılar Yuchen Fang, Zachary Burton ve Ji Zeng, mevcut değerlendiricilerin lisans son sınıf ve lisansüstü başlangıç seviyesindeki matematik için gerekli hassasiyete sahip olmadığını tespit etmiştir. Bu araştırma, GPT-5 Pro gibi modellerin doğruluğun hayati önem taşıdığı eğitim ve araştırma ortamlarına giderek daha fazla entegre edildiği bir dönemde özellikle güncel bir önem taşımaktadır.

Çalışma, modellerin matematiksel ispatların "stilini" taklit etmede yetkinleşirken, genellikle altta yatan "özü" kavrayamadıklarını ileri sürmektedir. Bu uyumsuzluk, otomatik yargıçların resmi görünen ancak mantıksal olarak kusurlu argümanları ödüllendirdiği bir "pozitif yanlılık" yaratmaktadır. Yazarlar, QEDBench çerçevesini sunarak bu başarısızlıkları nicelleştirmek için bir mekanizma sağlamakta, basit doğruluk metriklerinin ötesine geçerek yapay zekanın insan uzman görüş birliğinden nasıl saptığına dair daha incelikli bir anlayış sunmaktadır.

QEDBench nedir ve yapay zeka yanlılığını nasıl ölçer?

QEDBench, üniversite düzeyindeki ispatlarda yapay zeka yargıçları ile uzman insan matematikçiler arasındaki açığı ölçmek için tasarlanmış ilk geniş ölçekli çift rubrikli uyum kıyaslama testidir. Yanlılığı, belirli ders rubriklerini "uzman ortak bilgisi" kriterleriyle karşılaştıran çift değerlendirme matrisi kullanarak ölçer; bu matris, altın standartta bir temel doğruluk sağlamak amacıyla 1.000 saatten fazla uzman insan değerlendirmesiyle doğrulanmıştır.

Fang, Burton ve Zeng tarafından kullanılan metodoloji, karmaşık bir 7 yargıç x 5 çözücü matrisini içermektedir. Bu yapı, araştırmacıların çeşitli öncü modellerin değerlendirme performansını, 1.000 saatten fazla süren yoğun matematiksel analiz boyunca insan tarafından doğrulanmış puanlarla çapraz referanslamasına olanak tanımıştır. Temel aritmetik veya lise düzeyindeki yarışma matematiğine odaklanan önceki kıyaslama testlerinin aksine QEDBench, yükseköğretim müfredatlarında bulunan ispat temelli matematiğin nüanslarını hedeflemektedir.

QEDBench çerçevesinin temel özellikleri şunlardır:

• Çift Rubrik Karşılaştırması: İspatların hem katı, derse özel rubrikler hem de daha geniş matematiksel sağduyu kullanılarak değerlendirilmesi.
• İnsan Denetimli Doğrulama: Yapay zeka puanlarının gerçeklikten nerede saptığını belirlemek için her veri noktasının titiz insan değerlendirmesine dayandırılması.
• Ölçek ve Derinlik: Mantıksal titizliğin basit hesaplamadan daha karmaşık olduğu lisans son sınıf ile lisansüstü seviye matematiğine odaklanması.
• Kamuya Açık Erişim: Kıyaslama testi, endüstri çapında kalibrasyonu teşvik etmek amacıyla https://github.com/qqliu/Yale-QEDBench adresinde kamuya açık olarak yayınlanmıştır.

Yapay zeka yargıçları matematiksel ispatlar için puanları neden şişiriyor?

Yapay zeka yargıçları puanları şişiriyor çünkü genellikle mantıksal sağlamlık yerine dilsel akıcılığa ve resmi biçimlendirmeye öncelik veriyorlar; bu fenomen "pozitif yanlılık" olarak bilinmektedir. QEDBench kullanılarak yapılan araştırmalar, öncü değerlendiricilerin sıklıkla insan uzmanlardan daha yüksek puanlar verdiğini; GPT-5 Pro, Claude Opus 4.5 ve Llama 4 Maverick gibi modellerin +0.18 ile +0.36 arasında değişen ortalama puan şişirmeleri gösterdiğini ortaya koymuştur.

Araştırmacılar bu yanlılığı şaşırtıcı bir hassasiyetle nicelleştirmiştir. Örneğin, Llama 4 Maverick +0.36 ile en yüksek şişirme seviyesini sergilerken, onu sırasıyla +0.30 ile Qwen 2.5 Max ve +0.20 ile DeepSeek-V3 izlemiştir. Bu hoşgörü eğilimi akademik ortamlarda tehlikelidir çünkü yanlış matematiksel akıl yürütmeleri onaylayabilir, bu da bilimsel literatürde veya eğitsel geri bildirim döngülerinde hataların yayılmasına yol açabilir. GPT-5 Pro gibi otomatik bir yargıç, uygun LaTeX formatı ve profesyonel terminoloji kullanarak "doğru görünen" bir ispatla karşılaştığında, bir insan profesörün anında cezalandıracağı "gizli" mantıksal sıçramaları gözden kaçırabilir.

Bu puan şişirmesi, "Yargıç-olarak-LLM" protokollerinin şu anda doğruluk halüsinasyonu görmeye meyilli olduğunu göstermektedir. Modeller; uzunluk, kelime dağarcığı karmaşıklığı veya belirli matematiksel sembollerin varlığı gibi buluşsal yöntemleri (heuristics) kalite göstergesi olarak kullanıyor gibi görünmektedir. Bu modeller hem doğru hem de yanlış ispatları içeren devasa veri kümeleri üzerinde eğitildikleri için, titiz bir mantıksal türetim ile onun gelişmiş görünümlü bir taklidi arasındaki farkı ayırt etmekte zorlanabilirler.

Gemini 3.0 Pro matematikte Claude 4.5 ile nasıl karşılaştırılıyor?

Gemini 3.0 Pro, ayrık matematik alanında Claude 4.5 ve GPT-5 Pro'dan önemli ölçüde daha iyi performans göstermekte; diğer yeni nesil modellerin keskin bir düşüş yaşadığı noktalarda yüksek doğruluğu korumaktadır. Gemini 3.0 Pro 0.91 gibi son teknoloji bir insan değerlendirme puanına ulaşırken, Claude Sonnet 4.5 ve GPT-5 Pro'nun puanları belirli ayrık matematik zorluklarında sırasıyla 0.63 ve 0.72'ye kadar gerilemiştir.

QEDBench çalışmasında tanımlanan "Akıl Yürütme Açığı", ayrık alan ile uğraşırken birkaç yüksek profilli modelde şaşırtıcı bir zayıflığı vurgulamaktadır. Araştırmacılar özellikle şunları bulmuştur:

• Gemini 3.0 Pro, çeşitli matematik alanlarında 0.91'lik baskın bir ortalama insan değerlendirme puanını korumuştur.
• GPT-5 Pro'nun performansı Ayrık Matematikte ortalama 0.72'ye, Çizge Teorisinde ise 0.74'e düşmüştür.
• Claude Sonnet 4.5, Ayrık Matematikte 0.63'e ve Çizge Teorisinde 0.50 gibi çarpıcı bir seviyeye gerileyerek en önemli düşüşü yaşamıştır.

Bu tutarsızlık, mevcut yapay zeka mimarilerinin Ayrık Matematik ve Çizge Teorisinin kombinatoryal ve yoğun mantık gereksinimlerinden ziyade sürekli matematik (kalkülüs gibi) için daha uygun olabileceğini düşündürmektedir. Gemini 3.0 Pro'nun bu "ayrık" zorlukların üstesinden gelme yeteneği, mantıksal adımların daha sağlam bir iç temsiline işaret ederken; diğer modeller, matematiksel alanın yapısal kuralları değiştiğinde başarısız olan örüntü eşleştirmeye daha fazla güveniyor olabilir. Bu bulgu, otomatik teorem kanıtlama veya hakemli değerlendirme yardımı için hangi modellerin kullanılacağını seçen araştırmacılar için kritik öneme sahiptir.

Otomatik İspat Değerlendirmesinin Geleceği

QEDBench çalışmasının etkileri sınıfın çok ötesine uzanarak bilimsel hakemli değerlendirme ve otomatik akıl yürütmenin geleceğine dokunmaktadır. Fang, Burton ve Zeng, Uyum Açığını ifşa ederek gelecek nesil yapay zeka gelişimi için bir yol haritası sunmuştur. Araştırmacılar, puan şişirmesini azaltmanın sadece daha fazla veri meselesi değil, daha iyi bir değerlendirme kalibrasyonu meselesi olduğunu vurgulamaktadır. Gelecekteki modeller sadece problem çözmek için değil, bu çözümlere ulaşmak için kullanılan mantıksal yolları eleştirel bir şekilde değerlendirmek için de eğitilmelidir.

Kısa vadede araştırmacılar, notlandırma veya araştırma doğrulama için yapay zeka kullanan kurumların "insan denetimli" (human-in-the-loop) sistemler kurmasını önermektedir. GPT-5 Pro gibi yüksek performanslı bir modelin bile önemli ölçüde yanlılık gösterebilmesi, otomatik puanların kesin hükümlerden ziyade öneriler olarak değerlendirilmesi gerektiği anlamına gelir. Alan ilerledikçe, QEDBench gibi araçlar "kıyaslamaları kıyaslamak" için vazgeçilmez olacak; yapay zeka daha karmaşık hale geldikçe, kendi işini ve başkalarının işini yargılama yeteneğinin insan matematiksel uzmanlığının tavizsiz titizliğine dayanmasını sağlayacaktır.

QEDBench standartlarının daha geniş çapta benimsenmesi, yükseköğretimde yapay zeka entegrasyonunun yeni bir dönemine yol açabilir. Uyum açığı kapatılabilirse, yapay zeka yargıçları karmaşık ispatlar üzerinde çalışan öğrencilere gerçek zamanlı, uzman düzeyinde geri bildirim sağlayarak üst düzey matematiksel mentorluğa erişimi demokratikleştirebilir. Ancak şimdilik bu çalışma hayati bir hatırlatma görevi görüyor: Üniversite düzeyindeki matematik dünyasında, doğru görünmek doğru olmakla aynı şey değildir.