DAGE: Högupplöst 3D-rekonstruktion inom datorseende

DAGE inom datorseende står för Dual-Stream Architecture for Efficient and Fine-Grained Geometry Estimation, en sofistikerad transformer-baserad modell designad för att rekonstruera högkvalitativa 3D-miljöer från vanliga videoindata. Genom att använda ett system med dubbla vägar lyckas DAGE separera uppgifterna att upprätthålla global scenkoherens och att fånga subtila strukturella detaljer, vilket möjliggör skapandet av digitala tvillingar i 2K-upplösning från okalibrerad kameradata. Detta genombrott tillåter bearbetning av långa videosekvenser med hög spatial upplösning samtidigt som en praktisk beräkningsmässig resursförbrukning bibehålls.

3D-rekonstruktion från okalibrerad video har länge varit en grundläggande utmaning inom datorseende på grund av den inneboende konflikten mellan skala och precision. Traditionellt har forskare varit tvungna att välja mellan "global koherens" – att säkerställa att kamerabanan och scenlayouten förblir stabila över tid – och "finkorniga detaljer", som fångar skarpa kanter och texturer hos enskilda objekt. Standardmodeller med enstaka transformer-strömmar kämpar ofta med denna avvägning, eftersom ökad upplösning vanligtvis leder till exponentiella ökningar av minnesanvändning och bearbetningstid, vilket gör 3D-kartläggning i hög upplösning nästan omöjlig för standardhårdvara.

Kan DAGE uppskatta kameraposer från okalibrerade videor?

DAGE kan uppskatta exakta kameraposer och 3D-geometri från okalibrerade videor genom att utnyttja en lågupplöst ström som fokuserar specifikt på global vy-konsekvens och temporal stabilitet. Genom att bearbeta nedsamplade bildrutor genom alternerande globala uppmärksamhetsmekanismer identifierar arkitekturen det spatiala förhållandet mellan kamerapunkter utan att kräva befintliga linsparametrar eller extern spårningsdata.

Geometriuppskattning i okalibrerade scenarier kräver att modellen samtidigt löser både scenens djup och kamerans rörelse. Forskarna Jiahui Huang, Seoung Wug Oh och Joon-Young Lee utvecklade DAGE-arkitekturen för att hantera detta genom att använda en effektiv lågupplöst ström som bygger en enhetlig representation av hela scenen. Denna ström hanterar det "tunga arbetet" med spatial positionering och säkerställer att kamerans bana förblir jämn och korrekt över hundratals bildrutor, vilket är kritiskt för förstärkt verklighet (AR) och autonom navigering.

Innovationen ligger i hur modellen använder denna lågupplösta "karta" för att vägleda högupplöst data. I traditionella pipelines för datorseende kan fel i uppskattningen av kameraposer leda till "drifting", där den rekonstruerade 3D-modellen blir förvriden eller osammanhängande. DAGE mildrar detta genom att hålla logiken för pose-uppskattning inom den globala strömmen, där beräkningsresurser kan fokuseras på temporal konsekvens snarare än bearbetning av enskilda pixlar.

Varför särskilja global koherens från fina detaljer i DAGE?

Att särskilja global koherens från fina detaljer i DAGE är nödvändigt för att skala 3D-rekonstruktion till 2K-upplösningar utan att orsaka de avskräckande beräkningskostnader som är förknippade med högdensitets-uppmärksamhetskartor. Denna separation gör det möjligt för modellen att beräkna den övergripande scenstrukturen vid en låg upplösning samtidigt som skarpa gränser och texturer bevaras genom en separat högupplöst väg.

Transformer-arkitekturer är kraftfulla men ökända för att vara minneskrävande vid bearbetning av stora bilder eftersom varje pixel potentiellt "interagerar" med varje annan pixel. För att lösa detta använder DAGE en dubbelströms-metod där den högupplösta strömmen bearbetar originalbilderna ruta för ruta för att extrahera skarp strukturell information. Denna väg behöver inte titta på varje annan bildruta i videon, vilket avsevärt minskar arbetsbelastningen samtidigt som integriteten hos små objekt och skarpa kanter bibehålls.

En lättviktsadapter fungerar som bryggan mellan dessa två strömmar och använder korsuppmärksamhet för att sammanfoga de högupplösta detaljerna med det globala sammanhanget. Denna fusion säkerställer att:

• Globalt sammanhang: Den övergripande layouten och kameraposerna är stabila och konsekventa genom hela videon.
• Fina detaljer: Skarpa gränser och små strukturer bevaras från den ursprungliga högupplösta indatan.
• Beräkningseffektivitet: Modellen kan skala upplösning och videolängd oberoende av varandra, vilket stöder 2K-indata.

Att bryta 2K-upplösningsvallen

Spatial upplösning och klipplängd är inte längre strikt bundna till samma beräkningsmässiga flaskhals tack vare DAGE:s oberoende skaleringsmöjligheter. Genom att bearbeta den högupplösta strömmen lokalt och den lågupplösta strömmen globalt kan systemet hantera indata upp till 2048 pixlar (2K) samtidigt som den temporala stabilitet som krävs för industriella tillämpningar bibehålls. Detta möjliggör generering av skarpa djupkartor och punktkartor som tidigare var för minneskrävande för transformer-modeller i realtid eller nära realtid.

Praktiska inferenskostnader bibehålls eftersom den högupplösta vägen undviker den "allt-till-allt"-uppmärksamhet som plågar traditionella modeller. Istället fokuserar den på att extrahera de visuella särdragen i den aktuella bildrutan samtidigt som den får "ledtrådar" om den övergripande scenen från den mer effektiva globala strömmen. Denna designfilosofi representerar ett betydande skifte i hur modeller för 3D-rekonstruktion byggs, genom att prioritera modularitet för att uppnå högre detaljrikedom.

Verkliga tillämpningar och prestandatester

Prestandamått för DAGE indikerar att den sätter nya state-of-the-art-standarder för videogeometriuppskattning och flervy-rekonstruktion. I jämförande tester levererade modellen betydligt skarpare djupkartor och mer exakta kamerabanor än tidigare enkelströmsmodeller. Dessa resultat är särskilt relevanta för industrier som kräver högprecisions digitala tvillingar, såsom samhällsbyggnad, där korrekta 3D-modeller av strukturer är nödvändiga för säkerhet och planering.

Robotik och autonom navigering drar också stor nytta av detta dubbelströms-genombrott. En robot som navigerar i en komplex miljö behöver både "helhetsbilden" (global koherens) för att veta sin position och de "fina detaljerna" (hög upplösning) för att undvika små hinder. DAGE tillhandahåller båda, vilket möjliggör tillförlitlig navigering i okalibrerade miljöer där högupplösta visuella sensorer är den primära datakällan.

Framtida riktningar inom datorseende

Oövervakat lärande och förmågan att hantera helt okalibrerade indata förblir de främsta målen för DAGE-ramverket. Allteftersom modellen mognar förväntar sig forskare att den kommer att påverka designen av framtida transformer-arkitekturer genom att bevisa att separerad bearbetning är en livskraftig väg mot högupplöst AI. Detta kan leda till verktyg för 3D-rekonstruktion som körs effektivt på hårdvara för konsumentmarknaden, vilket för ut skapande av förstärkt verklighet på professionell nivå till mobila enheter.

Kinematografisk virtuell produktion är ett annat område där DAGE:s förmåga att hantera långa sekvenser i 2K-upplösning kommer att vara transformativ. Genom att automatisera processen att förvandla videomaterial till 3D-miljöer kan filmskapare enklare integrera digitala effekter med fysiska miljöer. Forskningen av Huang, Oh och Lee tyder på att framtiden för datorseende ligger i detta balanserade tillvägagångssätt – att sammanfoga världens makro- och mikroperspektiv till en enda, sammanhängande digital verklighet.