Матрица в реальности: новый ИИ «Seoul World Model» создает пространственно точный цифровой двойник целого мегаполиса

Seoul World Model (SWM) представляет собой смену парадигмы в области генеративного ИИ, основывая симуляции мира на реальной физической географии, а не на синтезированных, воображаемых средах. В отличие от традиционных моделей, создающих визуально правдоподобные, но вымышленные ландшафты, SWM использует обусловливание с дополнением выборкой (retrieval-augmented conditioning) на основе реальных данных панорам улиц для создания пространственно достоверных цифровых двойников. Этот прорыв является важным шагом на пути к созданию воплощенного AGI, так как он позволяет агентам ИИ ориентироваться и рассуждать в рамках ограничений реальной городской топографии.

Чем SWM отличается от традиционных генеративных моделей мира?

Seoul World Model (SWM) отличается от традиционных генеративных моделей тем, что привязывает синтез видео к реальным изображениям панорам улиц, а не полагается исключительно на изученные внутренние представления. В то время как стандартные генеративные модели «воображают» окружающую среду на основе паттернов в обучающих данных, SWM извлекает фактические географические референсы, чтобы гарантировать, что генерируемое видео соответствует физической реальности таких городов, как Сеул. Такая привязка предотвращает «галлюцинации», характерные для других видеомоделей, когда ориентиры могут смещаться или исчезать на длинных траекториях.

Традиционные генеративные модели мира часто не имеют ограничений, что означает отсутствие однозначного соответствия физическому миру. Исследователи Seungryong Kim, JoungBin Lee и Jinhyeok Choi определили, что для критически важных приложений, таких как робототехника и автономная навигация, «правдоподобных» изображений недостаточно. SWM решает эту проблему, используя фреймворк авторегрессионной генерации видео. Обусловливая процесс генерации на основе близлежащих извлеченных изображений, модель гарантирует, что путь виртуальной камеры отражает фактическую планировку города, сохраняя пространственную точность на протяжении сотен метров пути.

Основная инновация заключается в переходе от чистого воображения на уровне пикселей к гибридному подходу реконструкции на основе данных. Интегрируя методы генерации с дополнением выборкой (RAG), которые обычно используются в больших языковых моделях, в визуальную область, SWM может ссылаться на конкретные реальные координаты. Это позволяет создавать устойчивый цифровой двойник, где каждый сгенерированный кадр привязан к определенной долготе и широте, обеспечивая уровень географической надежности, с которым прежние «воображаемые» модели просто не могут сравниться.

Как SWM может повлиять на городское планирование или автономное вождение?

SWM влияет на городское планирование и автономное вождение, предоставляя высокоточный, безопасный и экономически эффективный полигон для испытаний физических систем AGI и проектов инфраструктуры. Модель позволяет разработчикам моделировать сложные сценарии «что, если» — такие как экстремальные погодные условия или изменения инфраструктуры — внутри реалистичного цифрового двойника существующего города. Эта возможность позволяет исследователям проводить стресс-тестирование алгоритмов автономного вождения в условиях реальной топографии без рисков, связанных с испытаниями на дорогах.

Для разработчиков автономных транспортных средств (AV) SWM предлагает революционную альтернативу традиционным симуляторам. Стандартные симуляторы часто страдают от разрыва между симуляцией и реальностью (sim-to-real gap), когда синтетическая среда слишком чистая или упрощенная. Поскольку SWM основана на реальных кадрах с автомобильных камер, она сохраняет тонкие нюансы городских условий, такие как специфические конфигурации полос, дорожные знаки и текстуры зданий, уникальные для Сеула. Такая высокоточная симуляция необходима для обучения AGI справляться с непредсказуемым характером городского движения и перемещения пешеходов.

В сфере городского планирования SWM служит мощным инструментом визуализации. Планировщики могут использовать текстовые подсказки для изменения среды внутри симуляции, например, добавляя новые велосипедные дорожки или изменяя высоту зданий, чтобы увидеть, как эти изменения повлияют на визуальный ландшафт и транспортный поток. Ключевые преимущества включают:

• Безопасное прототипирование: Тестирование изменений инфраструктуры в цифровом двойнике перед физическим воплощением.
• Разнообразие сценариев: Использование ИИ для генерации редких граничных случаев, таких как аварии или строительные работы, для оценки реагирования экстренных служб.
• Глобальная масштабируемость: Возможность применения фреймворка SWM к другим крупным мегаполисам, таким как Пусан или Анн-Арбор, используя существующие данные панорам улиц.

Насколько точен SWM в симуляции реальной среды Сеула?

SWM демонстрирует превосходную точность в симуляции реальной среды Сеула, превосходя современные передовые видеомодели мира по пространственной точности и временной согласованности. Благодаря использованию механизмов Virtual Lookahead Sink и кросс-темпорального сопоставления, модель поддерживает высокую степень визуального соответствия реальным улицам города на траекториях с длинным горизонтом. Это гарантирует, что генерируемое видео не отклоняется от намеченного географического пути даже после нескольких минут навигации.

Достижение такого уровня точности потребовало от исследователей преодоления значительных технических препятствий, прежде всего, разреженности данных. Реальные изображения панорам улиц часто фиксируются камерами, установленными на автомобилях, с большими интервалами, что создает пробелы в данных. SWM использует конвейер интерполяции ракурсов для синтеза связных обучающих видео из этих разреженных снимков. Этот конвейер заполняет «недостающие звенья» между точками данных, позволяя модели обучаться плавным движениям камеры, имитирующим непрерывную поездку по городу.

Еще одним прорывом стал механизм Virtual Lookahead Sink, предназначенный для стабилизации длительной генерации. Эта функция работает путем постоянной повторной привязки процесса генерации к извлеченному изображению в будущей локации. «Заглядывая вперед» в пункт назначения, модель может корректировать свою текущую траекторию, чтобы в конечном итоге встретиться с реальным визуальным якорем. Это предотвращает накопление ошибок, которые обычно приводят к деградации генерируемого видео в шум или уходу с курса, что делает модель надежной платформой для исследований AGI, связанных с пространственным мышлением на больших расстояниях.

Решение проблемы временного несовпадения

Одной из основных проблем при привязке моделей мира является временное несовпадение (temporal misalignment). Справочные изображения, извлеченные из базы данных, могли быть сделаны в другое время суток, время года или при других погодных условиях, отличных от целевой сцены. SWM использует кросс-темпоральное сопоставление для синхронизации этих разнообразных точек данных. Обучаясь на парах изображений, сделанных в одном и том же месте, но в разное время, модель учится извлекать базовую геометрию, оставаясь при этом гибкой к динамическим изменениям в сцене, таким как освещение или трафик.

Расширение горизонтов: от Сеула ко всему миру

Хотя основное внимание уделяется Seoul World Model, исследователи успешно протестировали фреймворк в трех различных городских средах: Сеул, Пусан и Анн-Арбор. Результаты последовательно показали, что подход SWM с дополнением выборкой позволяет модели адаптироваться к различным архитектурным стилям и дорожным планировкам с минимальными корректировками. Такая масштабируемость предполагает, что будущее AGI может заключаться не в одной универсальной модели мира, а в серии приземленных моделей, которые можно менять или комбинировать для представления всего физического мира.

Заглядывая в будущее, разработка SWM знаменует собой переход к ИИ, который понимает физические ограничения. Будущие итерации модели могут включать еще больше сенсорных данных, таких как LiDAR или спутниковые снимки, для дальнейшего повышения пространственной точности. По мере того как эти приземленные модели будут становиться более совершенными, они обеспечат необходимые «знания о мире», требуемые для того, чтобы ИИ вышел из цифровой сферы в физический мир, что в конечном итоге приведет к созданию более способных и надежных автономных систем.