HumanOrbit은 단일 이미지에서 연속적인 360도 뷰를 합성하기 위해 비디오 디퓨전(video diffusion) 기술의 융합을 활용함으로써, 기존의 3D 재구성 방식에서 중대한 진전을 이루었습니다. 전형적인 방법들이 해부학적 왜곡을 초래하는 정적 다중 뷰 합성에 의존하는 것과 달리, HumanOrbit은 시간적 일관성(temporal coherence)을 활용하여 모든 각도에서 피사체의 아이덴티티, 의류 질감 및 신체 비율이 안정적으로 유지되도록 합니다. 연구자 Lei Wang, Peng Liu, Bang Du가 개발한 이 프레임워크는 2D 생성형 AI와 고정밀 3D 모델링 사이의 간극을 효과적으로 메워줍니다.
HumanOrbit은 기존의 3D 인간 재구성 방식과 어떻게 다른가요?
HumanOrbit은 개별 이미지 생성에서 연속적인 비디오 기반 궤도(orbit) 생성으로 초점을 전환함으로써 기존의 3D 인간 재구성 방식과 차별화됩니다. 기존 프레임워크에서는 카메라가 이동함에 따라 인물의 특징이 변하는 '아이덴티티 드리프트(identity drift)' 현상이 자주 발생합니다. HumanOrbit은 비디오 디퓨전 모델을 사용하여 360도 회전의 모든 프레임이 원본 입력 사진과 물리적, 기하학적으로 일관되게 유지되도록 보장합니다.
3D 인간 재구성에서 오랫동안 지속되어 온 주요 과제는 특징의 '할루시네이션(hallucination)' 현상이었습니다. AI가 정면 사진만을 토대로 사람의 뒷모습이 어떻게 생겼을지 예측하려 할 때, 불일치하는 기하학적 구조나 흐릿한 질감을 생성하는 경우가 빈번했습니다. 현재의 최첨단 모델들은 대개 이미지 기반 디퓨전을 다중 뷰 합성에 맞게 변형하여 사용하지만, 이는 전문가 수준의 디지털 트윈에 필요한 구조적 엄밀함이 부족한 경우가 많습니다. HumanOrbit 내의 시계열 데이터 융합을 통해 시스템은 카메라의 경로를 논리적인 진행으로 처리하며, 이는 프레임 단위 합성에서 흔히 나타나는 부자연스러운 전환을 방지합니다.
HumanOrbit의 기술적 토대는 기하학적 일관성을 유지하는 능력에 있습니다. 피사체 주위를 도는 카메라를 시뮬레이션함으로써, 모델은 신체 각 부위 간의 공간적 관계를 보존합니다. 이를 통해 회전 중에 팔다리의 모양이 변하거나 옷의 패턴이 부자연스럽게 어긋나는 일반적인 오류를 방지합니다. 그 결과, 3차원 자산 제작을 위한 신뢰할 수 있는 청사진 역할을 하는 매끄러운 시점 전환이 가능해집니다.
다중 뷰 합성에 비디오 디퓨전 모델을 사용하면 어떤 장점이 있나요?
다중 뷰 합성을 위해 비디오 디퓨전 모델을 사용하는 가장 큰 장점은 서로 다른 시점 간의 시각적 특징을 안정화하는 고유의 시간적 일관성입니다. 정적 모델과 달리 비디오 디퓨전은 이전 프레임에 대한 '기억'을 유지하여 옷감의 주름이나 얼굴 특징과 같은 미세한 세부 사항이 동일하게 유지되도록 합니다. 이러한 접근 방식은 이미지 기반의 베이스라인 모델들과 비교했을 때 훨씬 뛰어난 완성도를 가진 고정밀 3D 모델을 생성합니다.
컴퓨터 비전 분야에서 비디오 디퓨전 모델은 주어진 프롬프트나 참조 이미지와 엄격하게 일치하는 포토리얼리스틱한 결과를 생성하는 독보적인 능력을 입증해 왔습니다. HumanOrbit은 360도 궤도를 하나의 영화적 시퀀스로 취급함으로써 이를 활용합니다. 이 방법은 단순히 일련의 평면 이미지를 예측하는 것이 아니라 AI가 인체의 3D 부피를 이해하게 하여, 시점 간의 더욱 자연스러운 융합을 가능하게 합니다. 주요 장점은 다음과 같습니다.
- 시간적 안정성: 서로 다른 시야각 사이의 깜빡임이나 왜곡 현상을 제거합니다.
- 아이덴티티 보존: '디지털 트윈'이 소스 사진 속의 특정 인물임을 알아볼 수 있도록 보장합니다.
- 고해상도: 저차원 모델링에서 종종 손실되는 복잡한 질감과 의류의 세부 사항 생성을 지원합니다.
- 자동화된 워크플로우: 기하학적으로 견고한 초기 프레임을 생성하여 수동 수정 작업의 필요성을 줄여줍니다.
HumanOrbit을 가상 시착이나 패션 애플리케이션에 활용할 수 있나요?
HumanOrbit은 단일 사진에서 고해상도 텍스처 메시를 생성하는 기능 덕분에 가상 시착(virtual try-on) 및 패션 분야에 매우 적합합니다. 일관된 360도 뷰를 생성함으로써 이 모델은 소매업체가 고객이나 의류의 디지털 트윈을 제작할 수 있게 해줍니다. 이를 통해 사용자는 가상 현실 환경에서 옷이 모든 각도에서 어떻게 드레이핑되고 맞는지 시각화할 수 있습니다.
Lei Wang과 동료들을 포함한 연구진은 생성된 다중 뷰 프레임이 특수 재구성 파이프라인으로 전달된다고 강조합니다. 이 파이프라인은 비디오 데이터를 전자상거래 및 게임에서 3D 자산의 표준 형식인 텍스처 메시(textured mesh)로 변환합니다. 소매 환경에서 이는 쇼핑객이 사진 한 장을 업로드하면 의류의 질감과 핏이 정확하게 표현된 자신의 3D 아바타가 새 컬렉션을 착용한 모습을 즉시 확인할 수 있음을 의미합니다.
패션을 넘어 엔터테인먼트 분야의 생성형 AI에 시사하는 바도 큽니다. 비디오 게임의 캐릭터 생성이나 영화적 시각 효과 작업에서는 컨셉 스케치를 3D 모델로 바꾸기 위해 수많은 수작업 시간이 소요되곤 합니다. HumanOrbit은 원본 예술적 의도를 보존하는 고정밀 시작점을 제공함으로써 이 과정을 간소화합니다. 이러한 속도와 정밀도의 융합은 3D 콘텐츠 제작 자동화의 주요한 진전을 의미합니다.
고정밀 3D 재구성의 미래
앞으로 연구 팀은 훨씬 더 복잡한 포즈와 다양한 조명 조건을 처리할 수 있도록 HumanOrbit 프레임워크를 개선하는 것을 목표로 하고 있습니다. 현재 모델은 서 있는 피사체에 특화되어 있지만, 향후 버전에서는 동적인 움직임을 포함하여 움직이는 인간을 재구성할 수 있게 될 것입니다. 컴퓨터 비전이 지속적으로 발전함에 따라 HumanOrbit과 같은 도구는 메타버스와 고급 텔레프레즌스 기술 개발의 초석이 될 것으로 보입니다.
연구의 실험 결과는 HumanOrbit이 시각적 품질과 구조적 정확도 모두에서 기존의 최첨단 베이스라인 모델들을 능가함을 입증합니다. 비디오의 일관성과 3D 기하학의 융합을 우선시함으로써, Lei Wang, Peng Liu, Bang Du는 AI 기반 콘텐츠 제작에서 가장 까다로운 문제 중 하나인 '평면 이미지에서 살아 움직이는 디지털 더블로의 전환'에 대한 강력한 솔루션을 제시했습니다.
Comments
No comments yet. Be the first!