Moment z Matrixa – HumanOrbit wykorzystuje fuzję wideo do rekonstrukcji 3D

HumanOrbit stanowi znaczące odejście od tradycyjnej rekonstrukcji 3D, wykorzystując fuzję technik dyfuzji wideo do syntezy ciągłych widoków 360 stopni z pojedynczego obrazu. Podczas gdy konwencjonalne metody opierają się na statycznej syntezie wielowidokowej, która często skutkuje deformacjami anatomicznymi, HumanOrbit wykorzystuje spójność czasową, aby zapewnić, że tożsamość obiektu, tekstury odzieży i proporcje fizyczne pozostaną stabilne pod każdym kątem. Opracowane przez naukowców takich jak Lei Wang, Peng Liu i Bang Du, rozwiązanie to skutecznie wypełnia lukę między dwuwymiarową generatywną sztuczną inteligencją a modelowaniem 3D o wysokiej wierności.

Czym HumanOrbit różni się od innych metod rekonstrukcji postaci ludzkich w 3D?

HumanOrbit różni się od istniejących metod rekonstrukcji postaci 3D poprzez przesunięcie punktu ciężkości z generowania pojedynczych obrazów na ciągłe generowanie orbit oparte na wideo. Tradycyjne modele często napotykają problem „dryfu tożsamości” (identity drift), w którym cechy osoby zmieniają się wraz z ruchem kamery. Dzięki zastosowaniu modelu dyfuzji wideo, HumanOrbit gwarantuje, że każda klatka w obrocie o 360 stopni jest fizycznie i geometrycznie spójna z oryginalnym zdjęciem wejściowym.

Głównym wyzwaniem w rekonstrukcji postaci 3D od dawna są „halucynacje” cech. Gdy AI próbuje przewidzieć, jak wygląda tył osoby na podstawie tylko zdjęcia od przodu, często generuje niespójną geometrię lub rozmyte tekstury. Obecne najnowocześniejsze modele zazwyczaj dostosowują dyfuzję opartą na obrazach do syntezie wielowidokowej, ale często brakuje im rygoru strukturalnego wymaganego dla profesjonalnych cyfrowych bliźniaków (digital twins). Fuzja danych czasowych w HumanOrbit pozwala systemowi traktować ścieżkę kamery jako logiczną sekwencję, zapobiegając gwałtownym przejściom powszechnie obserwowanym w syntezie klatka po klatce.

Fundament techniczny HumanOrbit opiera się na zdolności do zachowania spójności geometrycznej. Symulując orbitowanie kamery wokół obiektu, model zachowuje relacje przestrzenne między różnymi częściami ciała. Zapobiega to typowym błędom, takim jak zmiana kształtu kończyn lub nienaturalne przesuwanie się wzorów na ubraniach podczas obrotu. Rezultatem jest płynne przejście między widokami, które służy jako wiarygodny schemat do tworzenia zasobów trójwymiarowych.

Jakie są zalety stosowania modeli dyfuzji wideo w syntezie wielowidokowej?

Podstawową zaletą stosowania modeli dyfuzji wideo w syntezie wielowidokowej jest wrodzona spójność czasowa, która stabilizuje cechy wizualne w różnych perspektywach. W przeciwieństwie do modeli statycznych, dyfuzja wideo zachowuje „pamięć” poprzednich klatek, zapewniając, że drobne szczegóły, takie jak fałdy materiału i rysy twarzy, pozostają identyczne. Podejście to skutkuje modelami 3D o wysokiej wierności (high-fidelity), cechującymi się większą kompletnością w porównaniu z modelami bazowymi opartymi na obrazach.

In the realm of Computer Vision (wizja komputerowa), modele dyfuzji wideo wykazały unikalną zdolność do generowania fotorealistycznych wyników, które ściśle odpowiadają danemu poleceniu lub obrazowi referencyjnemu. HumanOrbit wykorzystuje to, traktując 360-stopniową orbitę jako sekwencję kinową. Metoda ta pozwala na bardziej naturalną fuzję perspektyw, w której AI rozumie trójwymiarową objętość ludzkiego ciała, zamiast jedynie przewidywać serię płaskich obrazów. Zalety obejmują:

• Stabilność czasowa: Eliminuje migotanie i zniekształcenia między różnymi kątami widzenia.
• Zachowanie tożsamości: Gwarantuje, że „cyfrowy bliźniak” pozostaje rozpoznawalny jako konkretna osoba ze zdjęcia źródłowego.
• Wysoka rozdzielczość: Wspiera generowanie zawiłych tekstur i detali odzieży, które często giną w modelowaniu o niższej wymiarowości.
• Zautomatyzowany przepływ pracy: Zmniejsza potrzebę ręcznego poprawiania modeli poprzez tworzenie poprawnych geometrycznie klatek początkowych.

Czy HumanOrbit może być wykorzystywany do wirtualnych przymierzalni lub zastosowań w modzie?

HumanOrbit wyjątkowo dobrze nadaje się do wirtualnych przymierzalni i zastosowań w branży modowej dzięki zdolności do generowania teksturowanych siatek o wysokiej rozdzielczości z pojedynczej fotografii. Generując spójny widok 360 stopni, model pozwala sprzedawcom tworzyć cyfrowe bliźniaki klientów lub ubrań. Umożliwia to użytkownikom wizualizację tego, jak odzież układa się i dopasowuje pod każdym możliwym kątem w środowisku Wirtualnej Rzeczywistości (Virtual Reality).

Badacze, w tym Lei Wang i jego współpracownicy, podkreślają, że wygenerowane klatki wielowidokowe są wprowadzane do wyspecjalizowanego potoku rekonstrukcji. Potok ten przekształca dane wideo w teksturowaną siatkę (textured mesh), która jest standardowym formatem zasobów 3D w handlu elektronicznym i grach. W kontekście handlu detalicznego oznacza to, że kupujący mógłby przesłać jedno zdjęcie i natychmiast zobaczyć swój trójwymiarowy awatar w nowej kolekcji, z dokładnym odwzorowaniem tekstury materiału i dopasowania.

Poza modą, implikacje dla generatywnej sztucznej inteligencji w branży rozrywkowej są znaczące. Tworzenie postaci do gier wideo i kinowych efektów wizualnych często wymaga wielu godzin ręcznej pracy, aby zamienić szkic koncepcyjny w model 3D. HumanOrbit usprawnia ten proces, dostarczając punkt wyjściowy o wysokiej wierności, który zachowuje oryginalny zamysł artystyczny. Ta fuzja szybkości i precyzji stanowi znaczący krok naprzód w zautomatyzowanym tworzeniu treści 3D.

Przyszłość rekonstrukcji 3D o wysokiej wierności

Patrząc w przyszłość, zespół badawczy zamierza dopracować model HumanOrbit, aby radził sobie z jeszcze bardziej złożonymi pozami i zróżnicowanymi warunkami oświetleniowymi. Choć obecny model doskonale radzi sobie z obiektami stojącymi, przyszłe iteracje mogą uwzględniać dynamiczne ruchy, pozwalając na rekonstrukcję postaci w ruchu. W miarę ewolucji dziedziny Computer Vision, narzędzia takie jak HumanOrbit prawdopodobnie staną się fundamentem rozwoju metawersum i zaawansowanych technologii teleobecności.

Wyniki eksperymentalne badania potwierdzają, że HumanOrbit przewyższa obecne, najnowocześniejsze modele bazowe zarówno pod względem jakości wizualnej, jak i dokładności strukturalnej. Nadając priorytet fuzji spójności wideo z geometrią 3D, Lei Wang, Peng Liu i Bang Du dostarczyli solidne rozwiązanie jednego z najbardziej uporczywych problemów w tworzeniu treści napędzanym przez AI: przejścia od płaskiego obrazu do żywego, cyfrowego sobowtóra.