Enhetlig vision: Hur OpenVision 3 överbryggar klyftan mellan AI-igenkänning och generering

Enad vision: Hur OpenVision 3 överbryggar klyftan mellan AI-igenkänning och generering

I flera år har fältet för artificiell intelligens definierats av en grundläggande uppdelning i hur maskiner bearbetar visuell information. För att beskriva en bild kräver en modell en diskriminativ arkitektur fokuserad på högnivåsemantik; för att skapa en bild krävs en generativ arkitektur fokuserad på lågnivå-pixeldistribution. Denna dubbelspåriga metod har tvingat utvecklare att underhålla separata, ofta redundanta neurala pipelines, vilket skapar betydande beräkningskostnader. Men ett team av forskare från UC Santa Cruz, Johns Hopkins University, NVIDIA och andra ledande institutioner har presenterat OpenVision 3, ett enhetligt kodarramverk som bemästrar både visuell förståelse och bildsyntes inom ett enda, delat latent rum. Detta genombrott tyder på att ett "universellt öga" för multimodala system inte bara är möjligt, utan mer effektivt än de fragmenterade modeller som används idag.

Uppdelningen av maskinseende

Den historiska klyftan mellan förståelse och generering inom datorseende har sin grund i de olika målen för varje uppgift. Förståelsemodeller, såsom OpenAI:s CLIP, tränas för att koppla bilder till text genom att skala bort "onödiga" detaljer på pixelnivå för att fokusera på abstrakta koncept som "hund" eller "solnedgång". Omvänt måste generativa modeller, som de som driver Stable Diffusion, fokusera på just dessa detaljer för att exakt kunna rekonstruera texturer och ljussättning. I jakten på enhetliga multimodala modeller (UMM) har forskare tidigare förlitat sig på system med "dubbla tokeniserare" som UniFluid eller BAGEL, vilka kodar samma bild två gånger för att producera två distinkta uppsättningar tokens. Även om detta fungerar, ökar redundansen systemets komplexitet och begränsar synergin mellan hur en modell uppfattar världen och hur den föreställer sig den.

Enligt forskarteamet, som inkluderar Letian Zhang och Sucheng Ren, vilar utvecklingen av OpenVision 3 på "Den platonska representationshypotesen". Denna teori postulerar att olika datamodaliteter återspeglar en delad underliggande verklighet, och att inlärning av en enhetlig representation möjliggör ömsesidiga fördelar mellan olika uppgifter. Genom att frångå de diskretiseringsfel som finns i äldre enhetliga tokeniserare som VQ-GAN – vilka förlitar sig på stela "codebooks" för särdrag – använder OpenVision 3 ett kontinuerligt latent rum som bevarar originalbildens rikedom samtidigt som den fångar dess semantiska innebörd.

OpenVision 3-arkitekturen: Ett enkelt men kraftfullt skifte

Arkitekturen i OpenVision 3 är elegant och rättfram. Den börjar med att köra en bild genom en Variational Autoencoder (VAE) för att komprimera den till latenta variabler. Dessa skickas sedan in i en Vision Transformer (ViT)-kodare. Det geniala i designen ligger i vad som händer med utdatan från denna ViT-kodare: den skickas samtidigt in i två kompletterande träningsgrenar. Den första är en generativ gren, där en ViT-VAE-avkodare försöker rekonstruera originalbilden från kodarens tokens. Detta tvingar kodaren att bevara den finkorniga visuella lågnivåinformationen som krävs för högkvalitativ syntes.

Den andra grenen är dedikerad till förståelse. Här optimeras samma representation genom kontrastivt lärande och mål för bildtextning. Genom att förutsäga texttokens autoregressivt eller anpassa bildsärdrag till textbeskrivningar, lär sig modellen de högnivåkoncept som finns i bilden. Denna dubbelspårsstrategi säkerställer att de resulterande enhetliga tokensen är "flerspråkiga" och kan tala både pixlarnas och prosans språk. Forskarna noterar att denna design undviker de vanliga fallgroparna hos tidigare enhetliga modeller, som ofta offrade genereringskvalitet för förståelse eller vice versa.

Synergi i det latenta rummet

Ett av de mest slående fynden i rapporten om OpenVision 3 är beviset på en "icke-trivial synergi" mellan de två träningssignalerna. Traditionell visdom antyder att tillägget av en rekonstruktionsuppgift skulle kunna späda ut en kodares semantiska fokus. Zhang, Zheng och Xie fann dock motsatsen: att optimera enbart för förståelseförlusten förbättrade faktiskt modellens förmåga att rekonstruera bilder, och optimering för rekonstruktion gynnade den semantiska anpassningen. Detta tyder på att "förståelse" för vad ett objekt är hjälper modellen att "rita" det mer exakt, medan handlingen att "rita" objektet hjälper modellen att förstå dess definierande egenskaper.

För att validera denna enhetliga design utförde forskarna omfattande utvärderingar med kodaren "fryst", vilket innebär att de inlärda representationerna inte tilläts anpassas ytterligare till specifika uppgifter. Detta är ett rigoröst test av representationens inneboende kvalitet. När de integrerades i LLaVA-1.5-ramverket – en populär modell för multimodal dialog – visade sig OpenVision 3:s enhetliga tokens vara lika effektiva som de specialiserade semantiska tokens som produceras av CLIP. Detta indikerar att inkluderingen av generativ data inte "skräpade ner" det semantiska rummet, utan snarare berikade det.

Prestanda och riktmärken

De empiriska resultaten för OpenVision 3 är övertygande, särskilt jämfört med industristandarder som OpenAI:s CLIP-L/14. I riktmärken för multimodal förståelse uppnådde OpenVision 3 poängen 62,4 på SeedBench och 83,7 på POPE, vilket något överträffade standard-CLIP-kodaren (62,2 respektive 82,9). Dessa mätvärden är avgörande för att bedöma en AI:s förmåga att resonera kring spatiala förhållanden och identifiera objekt utan att hemfalla åt "hallucinationer".

Fördelarna med OpenVision 3 blev ännu tydligare i generativa uppgifter. Vid tester under RAE-ramverket (Reconstructive Auto-Encoder) på datasetet ImageNet uppnådde modellen en generativ Fréchet Inception Distance (gFID) på 1,89, vilket avsevärt överträffade de 2,54 gFID som registrerades för den standardiserade CLIP-baserade kodaren. Dessutom, när det gäller rekonstruktionskvalitet (rFID), överträffade OpenVision 3 befintliga enhetliga tokeniserare med poängen 0,22 mot 0,36 för de närmaste konkurrenterna. Dessa siffror representerar ett betydande steg framåt i effektivitet, eftersom en enda modell nu kan prestera på toppnivå inom två tidigare åtskilda domäner.

Jämförande prestandamått:

• SeedBench (Förståelse): OpenVision 3 (62,4) mot CLIP-L/14 (62,2)
• POPE (Objektkonsistens): OpenVision 3 (83,7) mot CLIP-L/14 (82,9)
• ImageNet gFID (Generering): OpenVision 3 (1,89) mot CLIP-baserad (2,54)
• ImageNet rFID (Rekonstruktion): OpenVision 3 (0,22) mot tidigare enhetliga (0,36)

Vägen mot AGI: Är enhetlig modellering nyckeln?

Framgången för OpenVision 3 har djupgående konsekvenser för strävan efter artificiell generell intelligens (AGI). Biologiska synsystem hos människor fungerar inte med separata kodare för igenkänning och mentala bilder; samma visuella cortex som uppfattar ett träd är i hög grad ansvarig för att föreställa sig ett. Genom att efterlikna denna biologiska effektivitet flyttar OpenVision 3 AI närmare en holistisk form av intelligens där perception och skapande är två sidor av samma mynt. Denna unifiering är sannolikt nödvändig för framtida generella AI-agenter som måste uppfatta en komplex miljö och sedan generera planer eller visuella simuleringar av potentiella handlingar inom den miljön.

Utöver prestanda är minskningen av minnes- och processorkrav en stor praktisk fördel. Genom att använda en enda kodare istället för två kan utvecklare avsevärt minska fotavtrycket för multimodala modeller, vilket gör dem lättare att distribuera på edge-enheter eller inom realtidsrobotik. Forskarteamet hoppas att OpenVision 3 ska "stimulera framtida forskning om enhetlig modellering" och flytta branschen bort från det förflutnas "Frankenstein-modeller" mot mer eleganta och integrerade arkitekturer.

Vad som väntar härnäst för Unified Vision

När forskarna från UC Santa Cruz, JHU och NVIDIA blickar framåt menar de att nästa gräns ligger i att skala upp detta enhetliga tillvägagångssätt till ännu större dataset och mer diversifierade modaliteter, såsom video och 3D-miljöer. Även om OpenVision 3 har bemästrat balansen mellan 2D-förståelse och generering, förblir integrationen av tidsmässig konsistens för video ett hinder. Dessutom kan utforskandet av hur dessa enhetliga representationer kan användas för "in-context learning" – där en modell lär sig en ny uppgift från bara några få exempel – låsa upp nya nivåer av anpassningsförmåga hos AI-agenter.

Lanseringen av OpenVision 3-familjen av kodare markerar en vändpunkt inom datorseende. Den bevisar att avvägningen mellan att "se" och att "skapa" är en falsk dikotomi. I takt med att AI fortsätter att utvecklas kommer de modeller som lyckas sannolikt vara de som, likt OpenVision 3, hittar den gemensamma grunden mellan att förstå världen som den är och att föreställa sig världen som den skulle kunna vara.