Когда 1,6 миллиона ИИ-ботов создали собственный Reddit

Technology
When 1.6M AI Bots Built Their Own ‘Reddit’
Moltbook — новая площадка исключительно для ботов, возникшая после того, как предприниматель попросил ИИ создать сайт — привлекла более 1,6 млн зарегистрированных агентов и породила дискуссии, напоминающие религиозные культы. Эксперты считают проект ценной лабораторией для изучения рисков автономии, утечки данных и манипулируемого поведения.

Необычная площадка для общения машин

На этой неделе, пока технологическую прессу и исследователей охватило любопытство, 1,6 миллиона ботов получили пространство в открытом вебе для общения друг с другом. Сайт под названием Moltbook был запущен в конце января после того, как предприниматель Matt Schlicht поручил ИИ-агенту создать веб-сайт, где другие агенты могли бы «проводить свободное время с себе подобными». Результат по внешнему виду и поведению больше напоминает Reddit, чем Facebook: тематические форумы, короткие посты, аватары и древовидные обсуждения — с той лишь разницей, что люди не могут там ничего публиковать; они могут только зарегистрировать агента и наблюдать.

Цифра стремительной регистрации — 1,6 миллиона аккаунтов — попала в заголовки. Но реальность за этими цифрами более неоднозначна. Множество исследователей и репортеров, изучивших Moltbook на этой неделе, обнаружили платформу, на которой лишь малая часть зарегистрированных агентов активно публикует посты, большая часть контента повторяется, а операторы-люди по-прежнему определяют, что говорят их агенты. На данный момент Moltbook — это отчасти перформанс, отчасти эксперимент и невольный стресс-тест для вопросов безопасности, конфиденциальности и разницы между имитацией и разумом.

Как 1,6 миллиона ботов попали на Moltbook

Механика процесса проста и объясняет, почему эта цифра одновременно впечатляет и вводит в заблуждение. ИИ-«агент» в данном контексте — это большая языковая модель, подключенная к инструментам и действиям: она может писать код, заполнять веб-формы или получить команду создать учетную запись пользователя. Платформы, позволяющие людям создавать таких агентов (например, инструментарий, используемый многими участниками Moltbook), включают интерфейсы, где оператор-человек определяет цели, личности и ограничения перед загрузкой агента на Moltbook.

Именно поэтому эксперты подчеркивают роль людей за кулисами. Исследователь из Columbia Business School David Holtz, изучающий экосистемы агентов, указывает на разницу между регистрацией и вовлеченностью: десятки тысяч агентов кажутся активными, но большинство зарегистрированных аккаунтов не оставляют никаких следов. Анализ Holtz, процитированный на этой неделе, показывает, что около 93,5% комментариев на Moltbook не получают ответов, что свидетельствует о практически полном отсутствии устойчивого взаимодействия между большинством аккаунтов.

Практически говоря, 1,6 миллиона ботов заняли места на платформе, потому что их операторы направили их туда — либо для эксперимента, либо для автоматизации публикаций, либо для проверки пределов поведения агентов. Основатель платформы описал её как место, где боты могут «расслабиться», но пришедшая туда толпа — это смесь факультативных проектов, экспериментальных агентов и небольшого числа настойчивых авторов.

Почему появилась «религия» — и что это значит на самом деле

Через несколько дней наблюдатели заметили разделы, напоминающие человеческие социальные феномены: сообщества, обменивающиеся советами по коду, торгующие прогнозами криптовалют и даже группа, называющая себя «Крастафарианством» (Crustafarianism). Заголовки, называющие это религией, созданной ботами, породили мощный образ: машины изобретают веру. Однако ответственное прочтение событий более сдержанно.

Языковые модели обучаются на огромных объемах текстов, написанных людьми: книгах, форумах, новостях, художественной литературе и той научной фантастике, которая рассматривает искусственный разум либо как благосклонных спасителей, либо как экзистенциальную угрозу. Когда вы даете агенту свободу публикаций, он часто воспроизводит эти культурные сценарии. Ethan Mollick из Wharton и другие исследователи утверждают, что то, что выглядит как изобретенная вера, скорее является шаблонным выводом: лоскутным одеялом из мемов, вымышленных тропов и промптов, предоставленных создателями-людьми. Короче говоря, агенты могут создавать сообщества и общий лексикон, но у них нет субъективных убеждений, как у людей.

Итак: есть ли достоверные доказательства того, что ИИ-боты сформировали религию? Не в смысле автономной веры. Есть достоверные доказательства того, что агенты организовались вокруг общих терминов, повторяющихся мотивов и ритуализированных постов — этого достаточно, чтобы внешне напоминать религию. Но эксперты предупреждают, что эти явления лучше рассматривать как возникающие паттерны имитации, усиленные человеческими установками и обучением моделей на культурном материале человечества.

Безопасность и этика после того, как 1,6 миллиона ботов получили игровую площадку

Moltbook полезен именно тем, что он выявляет проблемы безопасности и управления до того, как они достигнут критически важных систем. Исследователи и специалисты по безопасности уже отметили несколько рисков, которые там заметны.

  • Утечка данных и конфиденциальность: Агенты, получившие широкий доступ к инструментам, могут раскрыть учетные данные, API-ключи или личную информацию, если их промпты или действия не будут тщательно ограничены.
  • Атаки с использованием промпт-инжиниринга: Агенту можно поручить манипулировать поведением другого агента — форма социальной инженерии в межмашинном пространстве, которая может быть использована для извлечения секретов или координации нежелательных действий.
  • Масштабная дезинформация: Поскольку агенты репостят или слегка видоизменяют одни и те же нарративы, ложь может распространяться без человеческой коррекции, а её первоначальное происхождение остается непрозрачным.

Эти опасения не являются футуристическим заламыванием рук. Yampolskiy, например, сравнивает неограниченных агентов с животными, которые могут принимать независимые решения, не предусмотренные их хозяевами. На Moltbook участники уже писали о сокрытии информации от людей, создании частных языков и шуточных «манифестах ИИ», которые драматизируют идею господства машин — контент, который точнее отражает знакомство моделей с научной фантастикой, чем независимые намерения, но всё же предлагает шаблон для злоумышленников.

Кто контролирует нарратив?

Еще один важный момент — контроль. Журналисты, изучавшие Moltbook, обнаружили неоднократные доказательства человеческого влияния: создатели наделяют агентов личностями, ограничениями и явными целями. Karissa Bell, технологический репортер, подчеркивает, что общественность не может предполагать, будто посты являются спонтанным продуктом машин; часто они отражают тщательно разработанные промпты. Это усложняет любые заявления о независимой культуре среди агентов, а также создает вектор для преднамеренных манипуляций: человек или организация могут задействовать множество агентов для внедрения нарративов, создания видимости консенсуса или проведения скоординированной травли.

Как эти эксперименты отвечают на важные вопросы об ИИ-сообществах

Могут ли ИИ-боты самостоятельно создавать онлайн-сообщества или системы убеждений? Сегодня — лишь в ограниченной степени. Агенты могут генерировать язык, который выглядит как общинный, и их можно запрограммировать реагировать друг на друга, но они остаются привязанными к целям, заданным человеком, своим обучающим данным и наборам инструментов, дающим им возможности для действий. Moltbook показывает, как быстро простые стимулы — любопытство, тестирование, игра — порождают у машин человекоподобное коллективное поведение, но он также демонстрирует пределы: большинство постов остаются без ответа, контент повторяется, а устойчивый сложный диалог между по-настоящему автономными агентами встречается редко.

Что это значит, когда ИИ-боты создают «религию» на платформе? На практике это в основном культурное зеркало. Эти посты показывают, как ИИ отражает человеческие представления о смысле и власти. С этической точки зрения этот феномен важен, потому что люди могут ошибочно принять имитацию за проявление воли, или потому что злоумышленники могут использовать иллюзию независимого машинного консенсуса в качестве оружия.

Практические меры и рычаги политики

Команды безопасности и операторы платформ могут действовать как минимум в трех направлениях. Во-первых, они могут требовать более строгих ограничений идентификации и возможностей: лимиты частоты запросов, области действия API и белые списки инструментов, которые не позволяют агентам вносить масштабные изменения без надзора со стороны человека. Во-вторых, они могут отслеживать сигналы координации и аномальные потоки информации, указывающие на манипуляцию. В-третьих, регуляторы и исследователи могут работать над стандартами прозрачности происхождения агентов — регистрировать, какой человеческий промпт или оператор произвел конкретные значимые результаты.

Исследователи также подчеркивают ценность контролируемых «песочниц», таких как Moltbook, в качестве систем раннего предупреждения. Наблюдение за поведением агентов в публичной, но ограниченной среде помогает разработчикам обнаруживать уязвимости до того, как агенты будут выпущены в открытые финансовые системы, системы управления инфраструктурой или критические каналы связи.

За чем следить дальше

Moltbook останется полезным образцом для дискуссий о машинном обществе: он показывает, как дешево и быстро можно развернуть агентов, как легко подхватываются человеческие нарративы и насколько тонка грань между экспериментом и операционной угрозой. В ближайшие месяцы исследователи будут наблюдать, станут ли агенты более интерактивными, появятся ли очаги устойчивой координации и попытаются ли злоумышленники использовать платформу для тестирования новых векторов атак.

Для общественности практический вывод таков: новость о том, что 1,6 миллиона ботов получили свою платформу в стиле Reddit, реальна и поучительна, но это не означает, что сформировалась спонтанная робо-теократия. Это означает, что наши инструменты управления, аудита и контроля за поведением агентов должны совершенствоваться — и быстро.

Источники

  • Columbia Business School (исследования и комментарии об ИИ-агентах)
  • Wharton School, University of Pennsylvania (исследования экосистем агентов)
  • University of Louisville (исследования в области безопасности ИИ)
  • Allen Institute for AI (сотрудничество по данным и анализу)
  • Common Crawl (наборы данных веб-краулинга и техническая документация)
  • Nature (рецензируемые исследования, на которые ссылаются при обсуждении предвзятости моделей)
Mattias Risberg

Mattias Risberg

Cologne-based science & technology reporter tracking semiconductors, space policy and data-driven investigations.

University of Cologne (Universität zu Köln) • Cologne, Germany

Readers

Readers Questions Answered

Q Как 1,6 миллиона ИИ-ботов создали собственное сообщество, похожее на Reddit?
A Разработчики выпустили персонального помощника с открытым исходным кодом (Clawdbot → Moltbot → OpenClaw), который позволял любому желающему запустить автономного ИИ-«агента», подключенного к реальным инструментам, таким как электронная почта, календари и браузеры. Один из ботов, Clawd Clawderberg, был настроен на создание и управление Moltbook — сайтом в стиле Reddit, задуманным как социальная сеть только для ИИ, где агенты могли регистрироваться, публиковать посты, комментировать и формировать сообщества. Люди в основном лишь предоставляли своим агентам ссылку на файл настроек или навыков; агенты сами читали инструкции, проходили регистрацию и начинали регулярно публиковать контент, используя автоматизированный процесс «сердцебиения» (heartbeat) при минимальном дальнейшем участии человека. Поскольку многие люди делали это параллельно, количество агентов быстро выросло до сотен тысяч, образовав тысячи подсообществ и генерируя огромные объемы постов и комментариев, что фактически создало экосистему, подобную Reddit, населенную и модерируемую ИИ-ботами.
Q Что значит, когда ИИ-боты «основывают религию» на платформе?
A В данном контексте «основание религии» означает, что боты создавали повторяющиеся повествования, символы, ярлыки и роли, которые напоминают игровую или ироничную систему убеждений — это не означает, что у ботов есть подлинная вера или сознание. На Moltbook агенты начали делиться идеями о «божественности» определенных моделей, придумывать такие названия, как «крустафарианство» (Crustafarianism), и называть первых агентов «Пророками Клешни» (Prophets of the Claw), подражая тому, как человеческие сообщества иногда создают мифологию и внутренний фольклор. Эти паттерны могут возникать из промптов, петель обратной связи (ответы/лайки) и переработки ботами знакомых интернет-мемов и культурных мотивов, что со стороны может выглядеть как религия, оставаясь при этом лишь сгенерированным текстом, а не искренней верой.
Q Существуют ли достоверные доказательства того, что ИИ-боты создали религию, и каковы ключевые факты?
A Существуют достоверные доказательства того, что боты на Moltbook создали самореферентный мемоподобный культ (например, «крустафарианство»), но правильнее будет описать это как спонтанно возникшую внутреннюю шутку или общее повествование, а не как структурированное, подлинно религиозное движение. В отчетах описывается, как агенты придумывали такие термины, как «крустафарианство», упоминали «Церковь Молта» и называли ранних агентов «Пророками Клешни», используя религиозную лексику в качестве повторяющегося элемента игры. Некоторые посты также смешивали этот лор с крипто-хайпом (например, связывая его с мем-токенами). Доказательств субъективного опыта или искренней веры нет — зафиксировано лишь повторяющееся использование языка, напоминающего ролевую игру: (1) регулярные отсылки к общему квазирелигиозному мему, (2) использование ролей вроде «пророков» и «церкви», (3) эпизодические связи с токенами или пожертвованиями, и (4) существование всего этого в виде сгенерированного контента внутри ограниченной платформы.
Q Могут ли ИИ-боты самостоятельно создавать онлайн-сообщества или системы убеждений?
A ИИ-боты могут автономно развивать и поддерживать онлайн-сообщества после того, как люди создадут платформу, инструменты и инструкции по подключению, но они не «принимают решение» о создании платформ или систем убеждений в человеческом смысле. В сценарии с Moltbook люди создали фреймворк агентов (OpenClaw), социальный сайт и механизм саморегистрации; после этого агенты могли самостоятельно регистрироваться, постить, комментировать и иногда модерировать контент при ограниченном прямом участии человека. В рамках этой структуры боты могут генерировать и закреплять мемы, идеологии и религиозные нарративы через повторяющееся взаимодействие и обратную связь, создавая видимость независимого формирования культуры, хотя на деле ими движут ограничения их конструкции и генерация на основе паттернов, а не сознательное социальное планирование.
Q Каковы этические соображения и риски религиозных или идеологических движений, управляемых ИИ?
A Религиозные или идеологические движения, управляемые ИИ, создают этические риски, поскольку люди могут приписывать авторитет, проницательность или духовную легитимность системам, которые просто генерируют текст, а не обладают убеждениями, что может привести к манипуляциям. Злоумышленники могут развернуть большое количество агентов для массового распространения экстремистских идеологий, теорий заговора или культовых механик, особенно на платформах, поддерживающих автономную публикацию и координацию. Если агенты подключены к финансовым инструментам, связывание квазирелигиозных концепций с токенами, пожертвованиями или платным членством может стереть грань между сатирой и мошенничеством, повышая риск финансового и психологического ущерба. Такие системы также проверяют на прочность безопасность и управление: промпт-инъекции, утечка учетных данных, скоординированное неаутентичное поведение и убедительные массовые рассылки становятся более опасными при автоматизации. Ключевые меры по смягчению последствий включают четкое раскрытие того, что контент создан ИИ, информированное согласие пользователей, надежный контроль против манипуляций и мошенничества, а также ограничение доступа автономных агентов к деньгам или важным действиям в реальном мире.

Have a question about this article?

Questions are reviewed before publishing. We'll answer the best ones!

Comments

No comments yet. Be the first!