Yapay Genel Zeka (AGI) arayışı, geleneksel değerlendirme yöntemlerinin hızla gelişen model yeteneklerine ayak uyduramaması nedeniyle kritik bir darboğaza ulaştı. Bunu ele almak için aralarında José Hernández-Orallo, Joshua B. Tenenbaum ve Samuel J. Gershman'ın da bulunduğu araştırmacılar, makine zekasını "İnsan Oyunları Çoklu Evreni"ne karşı test eden ölçeklenebilir bir çerçeve olan AI GameStore'u tanıttılar. Steam ve Apple App Store gibi platformlardaki oyunlardan yararlanan bu açık uçlu platform, statik kıyaslama testlerinden daha titiz ve dinamik bir ortam sunarak bir ajanın çeşitli insan deneyimleri genelinde öğrenme ve uyum sağlama yeteneğini ölçüyor.
Geleneksel Yapay Zeka Kıyaslama Testlerinin Doygunluğu
Geleneksel yapay zeka kıyaslama testleri genellikle yalnızca dar kapsamlı yetenekleri değerlendirir ve geliştiriciler belirli test parametreleri için optimizasyon yaptıkça hızla doygunluğa ulaşır. Geleneksel değerlendirmeler genellikle statiktir; bu da modellerin zamanla verileri "ezberleyebileceği" veya verilere aşırı uyum sağlayabileceği anlamına gelir ve bu durum, gerçek genel zekayı yansıtmayan şişirilmiş puanlara yol açar. Bu fenomen, modellerin kontrollü ortamlarda son derece yetenekli göründüğü ancak yeni ve gerçek dünya karmaşıklığıyla karşılaştıklarında başarısız olduğu yanlış bir ilerleme algısı yaratır.
Statik ortamlar, insan yaşamının öngörülemez doğasını simüle etmek için gereken açık uçluluktan yoksundur. Bir kıyaslama testi yıllarca değişmeden kaldığında, genelleme ölçütü olmaktan çıkar ve özel bir optimizasyon ölçütü haline gelir. Araştırma ekibi, bir makinenin AGI sergileyebilmesi için daha önce hiç görmediği ortamlarda yeterlilik göstermesi gerektiğini savunuyor; bu da sabit veri kümelerinden etkileşimli zorluklardan oluşan geniş ve gelişen bir kütüphaneye geçişi gerektiriyor.
AI GameStore nedir ve nasıl çalışır?
AI GameStore, insanlar tarafından insanlar için tasarlanmış oyunları kullanarak makine genel zekasını değerlendiren ölçeklenebilir, açık uçlu bir platformdur. Sistem, yeni temsilci oyunlar sentezlemek için "insan denetimli" (humans-in-the-loop) Büyük Dil Modellerini (LLM'ler) kullanarak çalışır; Apple App Store ve Steam gibi popüler platformlardan standartlaştırılmış, konteynerize edilmiş varyantları otomatik olarak tedarik eder ve uyarlar.
Sistem, çeşitli oyun mekaniklerini tanımlayarak ve bunları Görüntü-Dil Modellerinin (VLM'ler) etkileşime girebileceği ortamlara çevirerek çalışır. Araştırmacılar, "insan denetimli" bir yaklaşım kullanarak, üretilen oyunların yapay zeka ajanları için işlemsel olarak erişilebilir kalırken insan eğlencesinin niteliksel özünü korumasını sağlar. Bu süreç, temsili insan oyunlarının hızla üretilmesine olanak tanıyarak insan hayal gücü kadar geniş bir test alanı yaratır.
İnsan Oyunları Çoklu Evrenini Tanımlamak
"İnsan Oyunları Çoklu Evreni", insanlar tarafından keyif alınması için insanlar tarafından yaratılan tüm oyunların toplamını temsil eder ve insan bilişsel çeşitliliği için bir vekil görevi görür. Özellikle yapay zeka eğitimi için oluşturulan sentetik görevlerin aksine, bu oyunlar insan sezgisi, sosyal mantık ve fiziksel sağduyu etrafında inşa edilmiştir. Bu, onları bir yapay zekanın insan genel zekası için tasarlanmış bir dünyada ne kadar iyi gezinebileceğini ölçmek için benzersiz bir etkili araç haline getirir.
Araştırmacılar, kavram kanıtlama çalışmalarında Steam ve Apple App Store'daki en popüler listelere dayanarak 100 oyun seçtiler. Bu oyunlar yapay zeka için basitleştirilmedi; aksine, tekrarlanabilirliği sağlamak için standartlaştırılmış konteynerize ortamlara dönüştürüldü. Çalışma, bu oyunlarda öncü VLM'leri test ederek makine performansı ile "insan ortalaması" arasında doğrudan bir karşılaştırma oluşturuyor ve mevcut mimarilerin tam olarak nerede insan düzeyinde muhakemenin gerisinde kaldığını ortaya koyuyor.
Zekayı ölçmek için AI GameStore, ARC-AGI ile nasıl karşılaştırılır?
AI GameStore, yapay zekayı gerçek dünya platformlarından alınan geniş bir 'İnsan Oyunları Çoklu Evreni' üzerinde değerlendirerek, statik testlerin ötesinde ölçeklenebilir ve çeşitli kıyaslama noktaları sunar. Buna karşılık, ARC-AGI soyut muhakeme görevlerine odaklanırken, AI GameStore dinamik oyun ortamlarında dünya modeli öğrenimi, bellek ve planlama gibi pratik becerileri test eder. Öncü modeller, çoğu AI GameStore oyununda insan ortalamasının %10'unun altında puan alarak ARC-AGI'nin ortaya çıkarabileceğinden daha geniş boşlukları vurgular.
ARC-AGI (Soyutlama ve Muhakeme Külliyatı), akıcı zekaya odaklanmasıyla büyük saygı görse de, AI GameStore daha kapsamlı bir "sağduyu" testi sunar. Oyunlar sadece örüntü tanımanın ötesinde şunları gerektirir:
- Nesneleri ve hedefleri seviyeler boyunca takip etmek için uzun süreli bellek.
- 2D ve 3D ortamlarda gezinmek için uzamsal muhakeme.
- Kaynakları yönetmek ve rakip hamlelerini öngörmek için stratejik planlama.
- Farklı oyun mekaniklerinin nasıl etkileşime girdiğini anlamak için nedensel çıkarım.
Mevcut yapay zeka modelleri neden dünya modeli öğrenimi gerektiren oyunlarda zorlanıyor?
Mevcut yapay zeka modelleri, oyun fiziği, nesne kalıcılığı ve çevresel dinamiklerin içsel temsillerini oluşturma konusunda sağlam yeteneklere sahip olmadıkları için dünya modeli öğrenimi gerektiren oyunlarda zorlanıyor. AI GameStore oyunlarındaki değerlendirmeler, bu modellerin özellikle bölümler arası bellek tutma ve çok adımlı planlama gerektiren görevlerde bocaladığını gösteriyor. Modellerin insan puanlarının önemli ölçüde altında performans göstermesi, insan benzeri bir AGI'ye ulaşmadaki sınırlamaları ortaya koyuyor.
Araştırmacılar, en gelişmiş Görüntü-Dil Modellerinin bile 100 test oyununun çoğunda insan ortalama puanının %10'undan azını elde ettiğini buldular. Temel sorun, bir sonraki belirteci tahmin etmek ile sebep-sonuç ilişkisini anlamak arasındaki boşlukta yatmaktadır. Bir oyun ortamında, bir ajanın eylemlerinin dünyanın durumunu nasıl değiştireceğini tahmin etmesi gerekir. Sofistike bir dünya modeli olmadan yapay zeka, hamlelerini etkili bir şekilde planlayamaz ve bu da oyunun fiziği veya mantığı yapay zekanın içsel istatistiksel korelasyonlarıyla eşleşmediğinde başarısız olan "halüsinasyon ürünü" stratejilere yol açar.
AGI Testinin Geleceği ve Ölçeklenebilirlik
Yapay Genel Zeka (AGI) değerlendirmesinin geleceği, makinelerin sadece önceden tanımlanmış görevleri değil, her türlü görevi öğrenme yeteneklerine göre yargılandığı bir gerçekliğe doğru ilerlemekte yatıyor. AI GameStore, yapay zeka gelişimiyle birlikte ölçeklenebilen bir platform sunarak bu değişim için bir yol haritası sağlıyor. Modeller geliştikçe "mağaza" daha karmaşık oyunlarla güncellenebilir; bu da kıyaslama testinin doygunluğa direnen bir "hareketli hedef" olarak kalmasını ve makine öğreniminde yeniliği teşvik etmeye devam etmesini sağlar.
Bu araştırmanın etkileri oyun dünyasının ötesine uzanıyor. Ekip, insan eğlencesini bilimsel bir ölçüt olarak kullanarak, mevcut modellerde özellikle fiziksel sezgi ve uzun vadeli planlama ile ilgili spesifik mimari zayıflıkları belirledi. Bu boşlukların giderilmesi, fiziksel dünyada güvenli ve etkili bir şekilde çalışabilen AGI'nin geliştirilmesi için esastır. İleriye dönük olarak ekip, makinelerin neleri anlayabileceği ve başarabileceği konusundaki sınırları daha da zorlamak için AI GameStore'u daha da çeşitli türleri içerecek şekilde genişletmeyi hedefliyor.
Comments
No comments yet. Be the first!