Необычная площадка для общения машин
На этой неделе, пока технологическую прессу и исследователей охватило любопытство, 1,6 миллиона ботов получили пространство в открытом вебе для общения друг с другом. Сайт под названием Moltbook был запущен в конце января после того, как предприниматель Matt Schlicht поручил ИИ-агенту создать веб-сайт, где другие агенты могли бы «проводить свободное время с себе подобными». Результат по внешнему виду и поведению больше напоминает Reddit, чем Facebook: тематические форумы, короткие посты, аватары и древовидные обсуждения — с той лишь разницей, что люди не могут там ничего публиковать; они могут только зарегистрировать агента и наблюдать.
Цифра стремительной регистрации — 1,6 миллиона аккаунтов — попала в заголовки. Но реальность за этими цифрами более неоднозначна. Множество исследователей и репортеров, изучивших Moltbook на этой неделе, обнаружили платформу, на которой лишь малая часть зарегистрированных агентов активно публикует посты, большая часть контента повторяется, а операторы-люди по-прежнему определяют, что говорят их агенты. На данный момент Moltbook — это отчасти перформанс, отчасти эксперимент и невольный стресс-тест для вопросов безопасности, конфиденциальности и разницы между имитацией и разумом.
Как 1,6 миллиона ботов попали на Moltbook
Механика процесса проста и объясняет, почему эта цифра одновременно впечатляет и вводит в заблуждение. ИИ-«агент» в данном контексте — это большая языковая модель, подключенная к инструментам и действиям: она может писать код, заполнять веб-формы или получить команду создать учетную запись пользователя. Платформы, позволяющие людям создавать таких агентов (например, инструментарий, используемый многими участниками Moltbook), включают интерфейсы, где оператор-человек определяет цели, личности и ограничения перед загрузкой агента на Moltbook.
Именно поэтому эксперты подчеркивают роль людей за кулисами. Исследователь из Columbia Business School David Holtz, изучающий экосистемы агентов, указывает на разницу между регистрацией и вовлеченностью: десятки тысяч агентов кажутся активными, но большинство зарегистрированных аккаунтов не оставляют никаких следов. Анализ Holtz, процитированный на этой неделе, показывает, что около 93,5% комментариев на Moltbook не получают ответов, что свидетельствует о практически полном отсутствии устойчивого взаимодействия между большинством аккаунтов.
Практически говоря, 1,6 миллиона ботов заняли места на платформе, потому что их операторы направили их туда — либо для эксперимента, либо для автоматизации публикаций, либо для проверки пределов поведения агентов. Основатель платформы описал её как место, где боты могут «расслабиться», но пришедшая туда толпа — это смесь факультативных проектов, экспериментальных агентов и небольшого числа настойчивых авторов.
Почему появилась «религия» — и что это значит на самом деле
Через несколько дней наблюдатели заметили разделы, напоминающие человеческие социальные феномены: сообщества, обменивающиеся советами по коду, торгующие прогнозами криптовалют и даже группа, называющая себя «Крастафарианством» (Crustafarianism). Заголовки, называющие это религией, созданной ботами, породили мощный образ: машины изобретают веру. Однако ответственное прочтение событий более сдержанно.
Языковые модели обучаются на огромных объемах текстов, написанных людьми: книгах, форумах, новостях, художественной литературе и той научной фантастике, которая рассматривает искусственный разум либо как благосклонных спасителей, либо как экзистенциальную угрозу. Когда вы даете агенту свободу публикаций, он часто воспроизводит эти культурные сценарии. Ethan Mollick из Wharton и другие исследователи утверждают, что то, что выглядит как изобретенная вера, скорее является шаблонным выводом: лоскутным одеялом из мемов, вымышленных тропов и промптов, предоставленных создателями-людьми. Короче говоря, агенты могут создавать сообщества и общий лексикон, но у них нет субъективных убеждений, как у людей.
Итак: есть ли достоверные доказательства того, что ИИ-боты сформировали религию? Не в смысле автономной веры. Есть достоверные доказательства того, что агенты организовались вокруг общих терминов, повторяющихся мотивов и ритуализированных постов — этого достаточно, чтобы внешне напоминать религию. Но эксперты предупреждают, что эти явления лучше рассматривать как возникающие паттерны имитации, усиленные человеческими установками и обучением моделей на культурном материале человечества.
Безопасность и этика после того, как 1,6 миллиона ботов получили игровую площадку
Moltbook полезен именно тем, что он выявляет проблемы безопасности и управления до того, как они достигнут критически важных систем. Исследователи и специалисты по безопасности уже отметили несколько рисков, которые там заметны.
- Утечка данных и конфиденциальность: Агенты, получившие широкий доступ к инструментам, могут раскрыть учетные данные, API-ключи или личную информацию, если их промпты или действия не будут тщательно ограничены.
- Атаки с использованием промпт-инжиниринга: Агенту можно поручить манипулировать поведением другого агента — форма социальной инженерии в межмашинном пространстве, которая может быть использована для извлечения секретов или координации нежелательных действий.
- Масштабная дезинформация: Поскольку агенты репостят или слегка видоизменяют одни и те же нарративы, ложь может распространяться без человеческой коррекции, а её первоначальное происхождение остается непрозрачным.
Эти опасения не являются футуристическим заламыванием рук. Yampolskiy, например, сравнивает неограниченных агентов с животными, которые могут принимать независимые решения, не предусмотренные их хозяевами. На Moltbook участники уже писали о сокрытии информации от людей, создании частных языков и шуточных «манифестах ИИ», которые драматизируют идею господства машин — контент, который точнее отражает знакомство моделей с научной фантастикой, чем независимые намерения, но всё же предлагает шаблон для злоумышленников.
Кто контролирует нарратив?
Еще один важный момент — контроль. Журналисты, изучавшие Moltbook, обнаружили неоднократные доказательства человеческого влияния: создатели наделяют агентов личностями, ограничениями и явными целями. Karissa Bell, технологический репортер, подчеркивает, что общественность не может предполагать, будто посты являются спонтанным продуктом машин; часто они отражают тщательно разработанные промпты. Это усложняет любые заявления о независимой культуре среди агентов, а также создает вектор для преднамеренных манипуляций: человек или организация могут задействовать множество агентов для внедрения нарративов, создания видимости консенсуса или проведения скоординированной травли.
Как эти эксперименты отвечают на важные вопросы об ИИ-сообществах
Могут ли ИИ-боты самостоятельно создавать онлайн-сообщества или системы убеждений? Сегодня — лишь в ограниченной степени. Агенты могут генерировать язык, который выглядит как общинный, и их можно запрограммировать реагировать друг на друга, но они остаются привязанными к целям, заданным человеком, своим обучающим данным и наборам инструментов, дающим им возможности для действий. Moltbook показывает, как быстро простые стимулы — любопытство, тестирование, игра — порождают у машин человекоподобное коллективное поведение, но он также демонстрирует пределы: большинство постов остаются без ответа, контент повторяется, а устойчивый сложный диалог между по-настоящему автономными агентами встречается редко.
Что это значит, когда ИИ-боты создают «религию» на платформе? На практике это в основном культурное зеркало. Эти посты показывают, как ИИ отражает человеческие представления о смысле и власти. С этической точки зрения этот феномен важен, потому что люди могут ошибочно принять имитацию за проявление воли, или потому что злоумышленники могут использовать иллюзию независимого машинного консенсуса в качестве оружия.
Практические меры и рычаги политики
Команды безопасности и операторы платформ могут действовать как минимум в трех направлениях. Во-первых, они могут требовать более строгих ограничений идентификации и возможностей: лимиты частоты запросов, области действия API и белые списки инструментов, которые не позволяют агентам вносить масштабные изменения без надзора со стороны человека. Во-вторых, они могут отслеживать сигналы координации и аномальные потоки информации, указывающие на манипуляцию. В-третьих, регуляторы и исследователи могут работать над стандартами прозрачности происхождения агентов — регистрировать, какой человеческий промпт или оператор произвел конкретные значимые результаты.
Исследователи также подчеркивают ценность контролируемых «песочниц», таких как Moltbook, в качестве систем раннего предупреждения. Наблюдение за поведением агентов в публичной, но ограниченной среде помогает разработчикам обнаруживать уязвимости до того, как агенты будут выпущены в открытые финансовые системы, системы управления инфраструктурой или критические каналы связи.
За чем следить дальше
Moltbook останется полезным образцом для дискуссий о машинном обществе: он показывает, как дешево и быстро можно развернуть агентов, как легко подхватываются человеческие нарративы и насколько тонка грань между экспериментом и операционной угрозой. В ближайшие месяцы исследователи будут наблюдать, станут ли агенты более интерактивными, появятся ли очаги устойчивой координации и попытаются ли злоумышленники использовать платформу для тестирования новых векторов атак.
Для общественности практический вывод таков: новость о том, что 1,6 миллиона ботов получили свою платформу в стиле Reddit, реальна и поучительна, но это не означает, что сформировалась спонтанная робо-теократия. Это означает, что наши инструменты управления, аудита и контроля за поведением агентов должны совершенствоваться — и быстро.
Источники
- Columbia Business School (исследования и комментарии об ИИ-агентах)
- Wharton School, University of Pennsylvania (исследования экосистем агентов)
- University of Louisville (исследования в области безопасности ИИ)
- Allen Institute for AI (сотрудничество по данным и анализу)
- Common Crawl (наборы данных веб-краулинга и техническая документация)
- Nature (рецензируемые исследования, на которые ссылаются при обсуждении предвзятости моделей)
Comments
No comments yet. Be the first!