Mały model, genialna inteligencja: Jak nowy Nemotron-Cascade 2 (30B) od NVIDII dorównał najlepszym matematykom olimpijskim na świecie

Naukowcy **NVIDIA** oficjalnie udostępnili **Nemotron-Cascade 2**, przełomowy model typu Mixture-of-Experts (MoE) o 30 miliardach parametrów, który osiąga zdolności rozumowania odpowiadające największym systemom AI na świecie. Dzięki wysoce wydajnej architekturze, która aktywuje tylko 3 miliardy parametrów podczas inferencji, model wykazał wydajność na poziomie złotego medalu w **Międzynarodowej Olimpiadzie Matematycznej (IMO)** 2025, **Międzynarodowej Olimpiadzie Informatycznej (IOI)** oraz **Finałach Światowych ICPC**. To odkrycie, którego autorami są **Grace Lam**, **Bryan Catanzaro** i **Mohammad Shoeybi**, stanowi kluczowy zwrot w kierunku „gęstości inteligencji” (Intelligence Density), gdzie kompaktowe modele dorównują wydajnością czołowym modelom o 20-krotnie większej liczbie parametrów.

Dążenie do wysokiego poziomu rozumowania w sztucznej inteligencji historycznie opierało się na ogromnej skali. Do niedawna osiągnięcie precyzji logicznej wymaganej w elitarnych konkursach matematycznych i programistycznych było zarezerwowane dla modeli typu „frontier”, takich jak DeepSeekV3.2, który wykorzystuje 671 miliardów parametrów. Zespół **NVIDIA** zainicjował projekt Nemotron-Cascade, aby rzucić wyzwanie temu paradygmatowi, chcąc udowodnić, że wydajność architektury i wyrafinowane techniki post-treningowe mogą zapewnić „elitarną” inteligencję przy znacznie mniejszym rozmiarze. Badania te odpowiadają na rosnące zapotrzebowanie na wysokowydajną AI, którą można wdrażać w środowiskach o ograniczonych opóźnieniach, takich jak obliczenia krawędziowe czy wyspecjalizowani agenci przemysłowi, bez poświęcania głębi rozumowania znanej z potężnych modeli w centrach danych.

Jak Nemotron-Cascade 2 wypada w porównaniu z DeepSeekV3.2?

**Nemotron-Cascade 2** dorównuje DeepSeekV3.2, zapewniając identyczną wydajność rozumowania na poziomie złotego medalu w elitarnych zawodach, takich jak IMO i IOI, zachowując przy tym znacznie mniejszy rozmiar. Podczas gdy DeepSeekV3.2 to gigantyczny model o 671 miliardach parametrów, architektura **NVIDIA** wykorzystuje strukturę MoE o 30 miliardach parametrów, z których tylko 3 miliardy są aktywowane podczas inferencji, co stanowi 20-krotną redukcję rozmiaru przy porównywalnej logice.

Analiza porównawcza tych dwóch modeli zwiastuje nową erę wydajności AI. O ile DeepSeekV3.2-Speciale-671B-A37B był pierwszym modelem o otwartych wagach, który zdobył tak wysokie laury w globalnych konkursach, **Nemotron-Cascade 2** jest obecnie drugim i robi to przy ułamku wymagań sprzętowych. Ta redukcja liczby parametrów nie jest jedynie ciekawostką techniczną; przekłada się bezpośrednio na niższe koszty operacyjne i szybszą inferencję. Dla programistów oznacza to możliwość uruchamiania logiki na poziomie „Złotego Medalu” na lokalnym sprzęcie, który wcześniej radził sobie jedynie z podstawowymi zadaniami konwersacyjnymi.

Czym jest gęstość inteligencji (Intelligence Density) w szkoleniu AI?

**Gęstość inteligencji** w AI odnosi się do ilości inteligencji generowanej w jednostce czasu inferencji, kładąc nacisk na wydajne dostarczanie wyników w środowiskach z ograniczeniami opóźnień. Równoważy ona inteligencję szczytową – jakość rozumowania na token – z przepustowością, zapewniając, że modele takie jak **Nemotron-Cascade 2** oferują elitarną logikę bez narzutu obliczeniowego tradycyjnie kojarzonego z wielkimi modelami językowymi skali „frontier”.

Koncepcja **gęstości inteligencji** staje się kluczowym miernikiem dla nowej generacji rozwoju AI. Jak zauważyli **Bryan Catanzaro** i zespół **NVIDIA**, celem jest maksymalizacja użyteczności każdego aktywowanego parametru. Koncentrując się na gęstości, badacze mogą zapewnić, że „moc obliczeniowa” modelu skupia się tam, gdzie ma to największe znaczenie: na złożonym rozwiązywaniu problemów i wieloetapowej logice. Zmiana ta odsuwa branżę od filozofii „im większy, tym lepszy” w stronę bardziej zrównoważonego i dostępnego modelu postępu AI, w którym jakość danych treningowych i wyrafinowanie procesu uczenia przez wzmacnianie (reinforcement learning) stają się ważniejsze niż czysta liczba parametrów.

Rozumowanie konkursowe: Sukcesy w IMO, IOI i ICPC

Standardem dla „elitarnego” rozumowania są często najtrudniejsze na świecie konkursy akademickie. **Nemotron-Cascade 2** dowiódł swojej wartości, osiągając wyniki na poziomie **Złotego Medalu** na trzech głównych arenach:

• **2025 Międzynarodowa Olimpiada Matematyczna (IMO):** Rozwiązywanie złożonych dowodów geometrycznych i algebraicznych wymagających nieliniowego myślenia.
• **Międzynarodowa Olimpiada Informatyczna (IOI):** Wykazanie się wysokim poziomem projektowania algorytmów i biegłością w kodowaniu.
• **Finały Światowe ICPC:** Zarządzanie wielkoskalowymi zadaniami programowania konkursowego pod ścisłymi rygorami logicznymi.

Sukces w tych dziedzinach jest świadectwem wysokiej gęstości inteligencji modelu. W matematyce konkursowej pojedynczy błąd logiczny może unieważnić całe rozwiązanie; dlatego model musi zachować wysoką „wierność rozumowania”. Badania **NVIDIA** wskazują, że dzięki skupieniu się na rozumowaniu matematycznym i programistycznym w fazie post-treningowej, model był w stanie zniwelować różnicę, która zazwyczaj dzieli kompaktowe modele od ich bilionowych odpowiedników. To czyni **Nemotron-Cascade 2** głównym kandydatem do badań naukowych i zaawansowanych zastosowań w inżynierii oprogramowania.

Co sprawia, że Nemotron-Cascade 2 lepiej radzi sobie z zadaniami agentowymi?

**Nemotron-Cascade 2** wyróżnia się w zadaniach agentowych dzięki rozszerzonemu frameworkowi **Cascade RL**, który został zaprojektowany specjalnie do obsługi wieloetapowego rozumowania i autonomicznego podejmowania decyzji. Szkoląc model w nawigowaniu po złożonych, specyficznych dla danej dziedziny przepływach pracy, badacze zapewnili, że potrafi on utrzymać spójność i dokładność podczas długofalowych zadań wymagających interakcji z zewnętrznymi narzędziami i dynamicznymi środowiskami.

Zdolności agentowe pozwalają AI ewoluować z chatbota w funkcjonalnego asystenta, który potrafi „działać”. W kontekście **Nemotron-Cascade 2** oznacza to, że model może autonomicznie pisać kod, testować go i iterować w oparciu o błędy – umiejętność ta została dopracowana podczas treningu w domenach **IOI** i **ICPC**. Ponieważ model jest kompaktowy, te pętle agentowe mogą odbywać się znacznie szybciej niż w przypadku większego modelu, redukując opóźnienie między zidentyfikowaniem problemu a wdrożeniem rozwiązania. Ta wydajność jest krytyczna dla rzeczywistych zastosowań, takich jak autonomiczne debugowanie czy modelowanie finansowe w czasie rzeczywistym.

Jak działa Cascade RL w post-treningu modeli LLM?

**Cascade RL** działa poprzez iteracyjne doskonalenie zdolności rozumowania modelu w rozszerzającym się spektrum dziedzin przy użyciu **wielodomenowej destylacji on-policy**. W **Nemotron-Cascade 2** proces ten obejmuje nauczanie modelu za pośrednictwem modeli „nauczycieli”, którzy dostarczają wysokiej jakości sygnały, co pozwala modelowi 30B na skuteczne odzyskiwanie spadków wydajności i utrzymywanie postępów w rozumowaniu w fazie uczenia przez wzmacnianie.

Techniczna innowacja **Cascade RL** polega na zdolności do zarządzania „katastroficznym zapominaniem”, które często występuje, gdy model jest dostrajany na nowych danych. Korzystając z destylacji on-policy, naukowcy **NVIDIA** upewniają się, że model uczy się od najbardziej kompetentnych pośrednich nauczycieli dostępnych dla każdej konkretnej domeny. Na przykład, jeśli model jest szkolony w programowaniu, otrzymuje sygnały destylacyjne od modelu nauczyciela, który aktualnie osiąga szczytowe wyniki w tej dziedzinie. Ta „kaskada” wiedzy pozwala **Nemotron-Cascade 2** absorbować mocne strony wielu wyspecjalizowanych systemów w jedną spójną, kompaktową architekturę, czego wynikiem jest wszechstronny i wysoce inteligentny finalny punkt kontrolny (checkpoint).

Przełomy techniczne: SFT i destylacja

Fundamenty **Nemotron-Cascade 2** zostały położone podczas skrupulatnie przygotowanej fazy **Supervised Fine-Tuning (SFT)**. W przeciwieństwie do poprzednich iteracji, badacze od samego początku skupili się na szerszym spektrum domen rozumowania i agentowych. To wstępne ugruntowanie dostarczyło modelowi niezbędnego „słownictwa” logiki, które zostało później dopracowane w procesie **Cascade RL**. Zastosowanie **wielodomenowej destylacji on-policy** zadziałało jako siła korygująca, zapewniając, że w miarę jak model stawał się coraz bardziej biegły w matematyce, nie tracił swojej przewagi w programowaniu ani rozumieniu języka naturalnego.

Co więcej, architektura **Mixture-of-Experts (MoE)** odgrywa krytyczną rolę w tej wydajności. Aktywując tylko 3 miliardy z łącznie 30 miliardów parametrów dla każdego konkretnego zadania, model funkcjonuje jak zbiór wyspecjalizowanych ekspertów. W przypadku problemu matematycznego angażowani są tylko „eksperci” przeszkoleni w logice matematycznej. Pozwala to **Nemotron-Cascade 2** na utrzymanie ogromnej bazy wiedzy przy jednoczesnym zachowaniu niezwykle niskich kosztów obliczeniowych każdej pojedynczej „myśli”. Ta równowaga jest tym, co **Mohammad Shoeybi** i zespół identyfikują jako klucz do skalowania inteligencji bez skalowania wymagań sprzętowych.

Implikacje: Przyszłość wydajnej AI

Udostępnienie **Nemotron-Cascade 2** jako modelu o otwartych wagach ma istotne znaczenie dla demokratyzacji zaawansowanej AI. Tradycyjnie inteligencja na poziomie „Złotego Medalu” była zamknięta za murami API wielkich konglomeratów technologicznych lub wymagała wielomilionowych klastrów serwerowych do działania. Dostarczając model, który zapewnia rozumowanie na poziomie czołowych systemów w skali 30B/3B, **NVIDIA** umożliwia szerszemu gronu badaczy i startupów eksperymentowanie z elitarną logiką. Może to doprowadzić do fali wyspecjalizowanych agentów AI zaprojektowanych do wszystkiego – od diagnostyki medycznej po zaawansowane symulacje fizyczne.

Kolejnym krokiem w tej linii badań jest dalsze zwiększanie gęstości inteligencji i rozszerzanie domen **Cascade RL**. Sukces **Nemotron-Cascade 2** sugeruje, że wciąż jesteśmy daleko od teoretycznej granicy tego, ile inteligencji można upakować w małym modelu. W miarę jak dane treningowe będą stawały się jeszcze lepiej wyselekcjonowane, a techniki destylacji bardziej wyrafinowane, branża może wkrótce ujrzeć modele o wielkości 1B lub nawet poniżej 1B parametrów, które będą mogły konkurować na globalnej arenie ludzkiej inteligencji, wprowadzając elitarne rozumowanie do każdego smartfona i urządzenia brzegowego na planecie.