AI GameStore: un nuevo marco para la evaluación de la IAG

La búsqueda de la Inteligencia Artificial General (AGI) ha llegado a un cuello de botella crítico, ya que los métodos de evaluación tradicionales no logran seguir el ritmo de las rápidas capacidades de los modelos. Para abordar esto, investigadores como José Hernández-Orallo, Joshua B. Tenenbaum y Samuel J. Gershman han presentado el AI GameStore, un marco escalable que pone a prueba la inteligencia de las máquinas frente al "Multiverso de Juegos Humanos". Al aprovechar títulos de plataformas como Steam y la Apple App Store, esta plataforma de carácter abierto proporciona un entorno más riguroso y dinámico que los benchmarks estáticos, midiendo la capacidad de un agente para aprender y adaptarse a través de diversas experiencias humanas.

La saturación de los benchmarks de IA convencionales

Los benchmarks de IA convencionales suelen evaluar solo capacidades limitadas y se saturan rápidamente a medida que los desarrolladores optimizan para parámetros de prueba específicos. Las evaluaciones tradicionales suelen ser estáticas, lo que significa que los modelos pueden eventualmente "memorizar" o caer en el sobreajuste (overfitting) de los datos, lo que conduce a puntuaciones infladas que no reflejan una verdadera inteligencia general. Este fenómeno crea una falsa sensación de progreso en la que los modelos parecen altamente capaces en entornos controlados, pero fallan cuando se enfrentan a una complejidad novedosa y real.

Los entornos estáticos carecen de la apertura necesaria para simular la naturaleza impredecible de la vida humana. Cuando un benchmark permanece inalterado durante años, deja de ser una medida de generalización y se convierte en una medida de optimización especializada. El equipo de investigación sostiene que para que una máquina demuestre AGI, debe mostrar competencia en entornos que nunca antes ha visto, lo que requiere una transición de conjuntos de datos fijos a una biblioteca vasta y en evolución de desafíos interactivos.

¿Qué es el AI GameStore y cómo funciona?

El AI GameStore es una plataforma escalable y abierta para evaluar la inteligencia general de las máquinas utilizando juegos humanos, que son juegos diseñados por humanos para humanos. Funciona empleando Modelos de Lenguaje de Gran Tamaño (LLM) con humanos en el bucle (humans-in-the-loop) para sintetizar nuevos juegos representativos, obteniendo y adaptando automáticamente variantes estandarizadas y contenedorizadas de plataformas populares como la Apple App Store y Steam.

El sistema funciona identificando diversas mecánicas de juego y traduciéndolas en entornos con los que los Modelos de Visión y Lenguaje (VLM) pueden interactuar. Al utilizar un enfoque de "humano en el bucle", los investigadores se aseguran de que los juegos generados mantengan la esencia cualitativa del entretenimiento humano, siendo al mismo tiempo computacionalmente accesibles para los agentes de IA. Este proceso permite la rápida generación de juegos humanos representativos, creando un terreno de pruebas tan amplio como la propia imaginación humana.

Definición del Multiverso de Juegos Humanos

El "Multiverso de Juegos Humanos" representa la suma total de todos los juegos creados por personas para ser disfrutados por personas, sirviendo como un proxy de la diversidad cognitiva humana. A diferencia de las tareas sintéticas creadas específicamente para el entrenamiento de IA, estos juegos se basan en la intuición humana, la lógica social y el sentido común físico. Esto los convierte en una herramienta excepcionalmente eficaz para medir qué tan bien puede una IA navegar por un mundo diseñado para la inteligencia general humana.

En su prueba de concepto, los investigadores seleccionaron 100 juegos basados en las listas de éxitos de Steam y la Apple App Store. Estos juegos no fueron simplificados para la IA; más bien, fueron estandarizados en entornos contenedorizados para garantizar la reproducibilidad. Al probar VLMs de frontera en estos títulos, el estudio crea una comparación directa entre el rendimiento de las máquinas y el "promedio humano", revelando exactamente dónde las arquitecturas actuales se quedan cortas respecto al razonamiento de nivel humano.

¿Cómo se compara AI GameStore con ARC-AGI para medir la inteligencia?

El AI GameStore evalúa la IA en un amplio "Multiverso de Juegos Humanos" de plataformas del mundo real, proporcionando benchmarks escalables y diversos más allá de las pruebas estáticas. En contraste, ARC-AGI se centra en tareas de razonamiento abstracto, mientras que AI GameStore pone a prueba habilidades prácticas como el aprendizaje de modelos de mundo, la memoria y la planificación en entornos de juego dinámicos. Los modelos de frontera obtienen puntuaciones inferiores al 10% del promedio humano en la mayoría de los juegos de AI GameStore, lo que resalta brechas más amplias de las que ARC-AGI podría revelar.

Si bien ARC-AGI (el Corpus de Abstracción y Razonamiento) es muy respetado por su enfoque en la inteligencia fluida, el AI GameStore ofrece una prueba de "sentido común" más expansiva. Los juegos requieren algo más que el simple reconocimiento de patrones; requieren:

• Memoria a largo plazo para rastrear objetos y objetivos a través de los niveles.
• Razonamiento espacial para navegar por entornos 2D y 3D.
• Planificación estratégica para gestionar recursos y anticipar los movimientos del oponente.
• Inferencia causal para comprender cómo interactúan las diferentes mecánicas del juego.

¿Por qué los modelos de IA actuales tienen dificultades con los juegos que requieren el aprendizaje de modelos de mundo?

Los modelos de IA actuales tienen dificultades con los juegos que requieren el aprendizaje de modelos de mundo porque carecen de capacidades robustas para construir representaciones internas de la física del juego, la persistencia de los objetos y la dinámica ambiental. Las evaluaciones en los juegos de AI GameStore muestran que estos modelos fallan especialmente en tareas que exigen retención de memoria a través de episodios y planificación de múltiples pasos. Esto revela limitaciones para alcanzar una AGI similar a la humana, ya que los modelos rinden significativamente por debajo de las puntuaciones humanas.

Los investigadores descubrieron que incluso los Modelos de Visión y Lenguaje más avanzados alcanzaron menos del 10% de la puntuación promedio humana en la mayoría de los 100 juegos de prueba. El problema central radica en la brecha entre predecir el siguiente token y comprender la causa y efecto. En un entorno de juego, un agente debe predecir cómo sus acciones cambiarán el estado del mundo. Sin un modelo de mundo sofisticado, la IA no puede planificar eficazmente sus movimientos, lo que da lugar a estrategias "alucinadas" que fallan cuando la física o la lógica del juego no coinciden con las correlaciones estadísticas internas de la IA.

El futuro de las pruebas de AGI y la escalabilidad

El futuro de la evaluación de la AGI reside en avanzar hacia una realidad en la que las máquinas sean juzgadas por su capacidad para aprender cualquier tarea, no solo las predefinidas. El AI GameStore proporciona una hoja de ruta para este cambio al ofrecer una plataforma que puede escalar a la par del desarrollo de la IA. A medida que los modelos mejoran, la "tienda" puede actualizarse con juegos más complejos, asegurando que el benchmark siga siendo un "objetivo móvil" que resista la saturación y continúe impulsando la innovación en el aprendizaje automático.

Las implicaciones de esta investigación se extienden más allá de los videojuegos. Al utilizar el entretenimiento humano como un patrón de medida científico, el equipo ha identificado debilidades arquitectónicas específicas en los modelos actuales, particularmente en lo que respecta a la intuición física y la planificación a largo plazo. Abordar estas brechas es esencial para el desarrollo de una AGI que pueda operar de manera segura y efectiva en el mundo físico. De cara al futuro, el equipo pretende ampliar el AI GameStore para incluir géneros aún más diversos, desafiando aún más los límites de lo que las máquinas pueden comprender y lograr.