Investigadores de NVIDIA han lanzado oficialmente Nemotron-Cascade 2, un innovador modelo de Mezcla de Expertos (MoE) de 30 mil millones de parámetros que logra capacidades de razonamiento equivalentes a los sistemas de IA más grandes del mundo. Al utilizar una arquitectura altamente eficiente que activa solo 3 mil millones de parámetros durante la inferencia, el modelo ha demostrado un rendimiento de nivel de Medalla de Oro en la Olimpiada Internacional de Matemática (IMO) 2025, la Olimpiada Internacional de Informática (IOI) y las Finales Mundiales del ICPC. Este descubrimiento, de la autoría de Grace Lam, Bryan Catanzaro y Mohammad Shoeybi, representa un cambio fundamental hacia la "densidad de inteligencia", donde los modelos compactos igualan el rendimiento de los modelos de frontera con 20 veces más parámetros.
La búsqueda del razonamiento de alto nivel en la inteligencia artificial ha sido históricamente un juego de escala masiva. Hasta hace poco, alcanzar la precisión lógica necesaria para la matemática y la programación competitivas de élite estaba reservado para modelos de "frontera" como DeepSeekV3.2, que utiliza 671 mil millones de parámetros. El equipo de NVIDIA inició el proyecto Nemotron-Cascade para desafiar este paradigma, buscando demostrar que la eficiencia arquitectónica y las sofisticadas técnicas de posentrenamiento pueden producir inteligencia de "élite" en una huella mucho más pequeña. Esta investigación aborda la creciente necesidad de una IA de alto rendimiento que pueda desplegarse en entornos con limitaciones de latencia, como la computación en el borde o agentes industriales especializados, sin sacrificar la profundidad de razonamiento que se encuentra en los modelos masivos de centros de datos.
¿Cómo se compara Nemotron-Cascade 2 con DeepSeekV3.2?
Nemotron-Cascade 2 se compara con DeepSeekV3.2 al ofrecer un rendimiento de razonamiento de nivel de medalla de oro equivalente en competencias de élite como la IMO y la IOI, manteniendo una huella significativamente menor. Mientras que DeepSeekV3.2 es un modelo masivo de 671B parámetros, la arquitectura de NVIDIA utiliza una estructura MoE de 30B con solo 3B de parámetros activados durante la inferencia, lo que representa una reducción de 20 veces en el tamaño para una lógica comparable.
El análisis comparativo entre estos dos modelos destaca una nueva era de eficiencia en la IA. Mientras que DeepSeekV3.2-Speciale-671B-A37B fue el primer modelo de pesos abiertos en lograr tales reconocimientos en competencias globales, Nemotron-Cascade 2 es ahora el segundo, y lo hace con una fracción de los requisitos de hardware. Esta reducción en el conteo de parámetros no es meramente una curiosidad técnica; se traduce directamente en menores costos operativos y velocidades de inferencia más rápidas. Para los desarrolladores, esto significa la capacidad de ejecutar lógica de "Medalla de Oro" en hardware local que anteriormente solo podía manejar tareas conversacionales básicas.
¿Qué es la densidad de inteligencia en el entrenamiento de IA?
La densidad de inteligencia en la IA se refiere a la cantidad de inteligencia producida por unidad de tiempo de inferencia, enfatizando una producción de inteligencia eficiente en entornos con limitaciones de latencia. Equilibra la inteligencia máxima —la calidad del razonamiento por token— con el rendimiento, asegurando que modelos como Nemotron-Cascade 2 proporcionen una lógica de nivel de élite sin la sobrecarga computacional tradicionalmente asociada con los modelos de lenguaje de gran escala de frontera.
El concepto de densidad de inteligencia se está convirtiendo en una métrica principal para la próxima generación del desarrollo de IA. Como han señalado Bryan Catanzaro y el equipo de NVIDIA, el objetivo es maximizar la utilidad de cada parámetro activado. Al centrarse en la densidad, los investigadores pueden asegurar que el "poder cerebral" de un modelo se concentre donde más importa: la resolución de problemas complejos y la lógica de múltiples pasos. Este cambio aleja a la industria de la filosofía de "cuanto más grande, mejor" hacia un modelo más sostenible y accesible de progreso de la IA, donde la calidad de los datos de entrenamiento y la sofisticación del proceso de aprendizaje por refuerzo toman el protagonismo por encima del mero volumen de parámetros.
Razonamiento competitivo: éxito en la IMO, la IOI y el ICPC
El estándar para el razonamiento de "élite" a menudo se define por las competencias académicas más difíciles del mundo. Nemotron-Cascade 2 ha demostrado su valía logrando un rendimiento de nivel de Medalla de Oro en tres áreas principales:
- Olimpiada Internacional de Matemática (IMO) 2025: Resolviendo pruebas geométricas y algebraicas complejas que requieren un pensamiento no lineal.
- Olimpiada Internacional de Informática (IOI): Demostrando un diseño algorítmico de alto nivel y competencia en programación.
- Finales Mundiales del ICPC: Gestionando tareas de programación competitiva a gran escala bajo estrictas lógicas de restricción.
El éxito en estos dominios es un testimonio de la alta densidad de inteligencia del modelo. En la matemática competitiva, un solo error lógico puede invalidar una solución completa; por lo tanto, el modelo debe mantener una alta "fidelidad de razonamiento". La investigación de NVIDIA indica que al centrarse en el razonamiento matemático y de programación durante la fase de posentrenamiento, el modelo pudo cerrar la brecha que usualmente separa a los modelos compactos de sus homólogos de billones de parámetros. Esto convierte a Nemotron-Cascade 2 en un candidato principal para la investigación científica y las aplicaciones de ingeniería de software de alto riesgo.
¿Qué hace que Nemotron-Cascade 2 sea mejor para tareas agénticas?
Nemotron-Cascade 2 destaca en tareas agénticas debido a su marco de trabajo ampliado Cascade RL, que fue diseñado específicamente para manejar razonamientos de múltiples pasos y la toma de decisiones autónoma. Al entrenar al modelo para navegar flujos de trabajo complejos y específicos de un dominio, los investigadores aseguraron que pudiera mantener la coherencia y la precisión durante tareas de largo horizonte que requieren interactuar con herramientas externas y entornos dinámicos.
Las capacidades agénticas son las que permiten que una IA pase de ser un chatbot a un asistente funcional que puede "hacer" cosas. En el contexto de Nemotron-Cascade 2, esto significa que el modelo puede escribir código de forma autónoma, probarlo e iterar basándose en los errores; una habilidad perfeccionada a través de su entrenamiento en los dominios de la IOI y el ICPC. Debido a que el modelo es compacto, estos bucles agénticos pueden ocurrir mucho más rápido de lo que lo harían con un modelo más grande, reduciendo la latencia entre la identificación de un problema y la ejecución de una solución. Esta eficiencia es crítica para aplicaciones del mundo real como la depuración autónoma o el modelado financiero en tiempo real.
¿Cómo funciona Cascade RL en los LLM en posentrenamiento?
Cascade RL funciona refinando iterativamente las capacidades de razonamiento de un modelo a través de un espectro expansivo de dominios utilizando la destilación on-policy de múltiples dominios. En Nemotron-Cascade 2, el proceso implica enseñar al modelo a través de modelos "maestros" que proporcionan señales de alta calidad, permitiendo que el modelo de 30B recupere eficientemente las regresiones de rendimiento y mantenga las ganancias de razonamiento a lo largo de la fase de aprendizaje por refuerzo.
La innovación técnica de Cascade RL reside en su capacidad para gestionar el "olvido catastrófico" que a menudo ocurre cuando un modelo es ajustado con nuevos datos. Al utilizar la destilación on-policy, los investigadores de NVIDIA aseguran que el modelo aprenda de los maestros intermedios más capaces disponibles para cada dominio específico. Por ejemplo, si el modelo está siendo entrenado en programación, recibe señales de destilación de un modelo maestro que actualmente tiene un rendimiento máximo en programación. Esta "cascada" de conocimiento permite que Nemotron-Cascade 2 absorba las fortalezas de múltiples sistemas especializados en una arquitectura única y compacta, resultando en un punto de control final versátil y altamente inteligente.
Avances técnicos: SFT y destilación
La base de Nemotron-Cascade 2 se estableció durante una fase de Ajuste Fino Supervisado (SFT) meticulosamente seleccionada. A diferencia de iteraciones anteriores, los investigadores se centraron en un espectro más amplio de dominios de razonamiento y agénticos desde el principio. Esta base inicial proporcionó al modelo el "vocabulario" de lógica necesario que luego fue refinado a través del proceso de Cascade RL. El uso de la destilación on-policy de múltiples dominios actuó como una fuerza correctiva, asegurando que a medida que el modelo se volvía más competente en matemáticas, no perdiera su ventaja en programación o comprensión del lenguaje natural.
Además, la arquitectura de Mezcla de Expertos (MoE) desempeña un papel fundamental en esta eficiencia. Al activar solo 3 mil millones de los 30 mil millones de parámetros totales para cualquier tarea dada, el modelo funciona como una colección de expertos especializados. Cuando se le presenta un problema matemático, solo se activan los "expertos" entrenados en lógica matemática. Esto permite que Nemotron-Cascade 2 mantenga una base de conocimientos masiva mientras mantiene el costo computacional de cualquier "pensamiento" individual notablemente bajo. Este equilibrio es lo que Mohammad Shoeybi y el equipo identifican como la clave para escalar la inteligencia sin escalar los requisitos de hardware.
Implicaciones: El futuro de la IA eficiente
El lanzamiento de Nemotron-Cascade 2 como un modelo de pesos abiertos tiene implicaciones significativas para la democratización de la IA de alto nivel. Tradicionalmente, la inteligencia de "Medalla de Oro" estaba bloqueada tras los muros de API de los grandes conglomerados tecnológicos o requería clústeres de servidores de millones de dólares para ejecutarse. Al proporcionar un modelo que ofrece un razonamiento de nivel de frontera en una escala de 30B/3B, NVIDIA está permitiendo que una gama más amplia de investigadores y empresas emergentes experimenten con lógica de nivel de élite. Esto podría conducir a un aumento en los agentes de IA especializados diseñados para todo, desde diagnósticos médicos hasta simulaciones físicas avanzadas.
Lo siguiente para esta línea de investigación implica aumentar aún más la densidad de inteligencia y expandir los dominios de Cascade RL. El éxito de Nemotron-Cascade 2 sugiere que no estamos ni cerca del límite teórico de cuánta inteligencia se puede empaquetar en un modelo pequeño. A medida que los datos de entrenamiento se vuelven aún más seleccionados y las técnicas de destilación más refinadas, la industria pronto podría ver modelos de 1B o incluso de menos de 1B de parámetros que puedan competir en el escenario global de la inteligencia humana, llevando el razonamiento de élite a cada smartphone y dispositivo de borde del planeta.
Comments
No comments yet. Be the first!