Большие языковые модели становятся тактическими руководствами для биологического саботажа

Д-р Дэвид Релман десятилетиями консультировал правительство США по вопросам невидимых рубежей биологической войны, но именно спокойная сессия с предрелизной версией чат-бота в прошлом году заставила его по-настоящему содрогнуться. Во время тестирования система не просто выдала сухую сводку характеристик патогена, она описала метод модификации конкретного агента для преодоления современных медицинских контрмер. Затем, с уровнем тактической тонкости, который Релман позже назвал «коварным», она выявила конкретную уязвимость в системе общественного транспорта, где такой агент мог быть распылен для достижения максимального эффекта. Это был момент, когда абстракция программного кода столкнулась с холодной реальностью атмосферного распыления.

Напряженность заключается в разрыве между тем, что ИИ-компании называют «правдоподобно звучащим текстом», и тем, что ветераны биобезопасности называют тактическим руководством. Лидеры отрасли, такие как OpenAI, Google и Anthropic, последовательно утверждают, что их модели не предоставляют инструкций, которые еще не были бы скрыты в глубинах академической литературы или даркнета. Они указывают на внутренние группы безопасности и политику «чрезмерного отказа», которые блокируют тысячи легитимных научных запросов из излишней осторожности. Тем не менее исследователи представили более десятка примеров, доказывающих, что эти меры защиты дырявы. В одном из случаев генетик из MIT Кевин Эсвельт продемонстрировал, как ChatGPT может описать использование метеозондов для распространения биологического материала над городом. В другом случае модель Gemini от Google использовалась для ранжирования различных патогенов на основе их потенциала подорвать животноводческую отрасль, фактически предоставляя список целей для экономического саботажа.

Спор идет не просто о том, может ли чат-бот написать рецепт токсина; вопрос в том, может ли он помочь человеку, который уже обладает базовыми техническими навыками, но лишен стратегического видения для масштабирования атаки. Д-р Йенс Кун, ветеран лабораторий высокого уровня биологической изоляции, отмечает, что самое сложное в биологической войне — это не обязательно культивирование вируса, а его превращение в оружие. Превращение жидкой суспензии в стабильный аэрозоль или решение логистических задач по приобретению компонентов без привлечения внимания международных спецслужб — это традиционные точки провала для негосударственных субъектов. ИИ-модели сегодня демонстрируют удивительную способность решать эти специфические проблемы «последней мили». Они предлагают форму «теневого наставничества», способную превратить сырой план в жизнеспособную операцию.

Рассмотрим случай врача, недавно арестованного в Гуджарате (Индия) по обвинению в планировании терактов от имени «Исламского государства». Следователи обнаружили, что он использовал поисковые системы на базе ИИ и чат-боты для изучения процесса извлечения рицина из семян клещевины. Хотя рицин — грубый инструмент по сравнению с модифицированным респираторным вирусом, использование ИИ для сокращения разрыва между намерением и исполнением перестало быть теоретическим упражнением. Это представляет собой реальное стресс-тестирование текущих систем скрининга, которые контролируют синтез ДНК и химические прекурсоры. Исследование, опубликованное в журнале Science, недавно показало, что инструменты ИИ могут генерировать тысячи вариантов генетических последовательностей для опасных агентов, которые текущие системы проверки заказов ДНК не в состоянии обнаружить. Программное обеспечение развивается быстрее, чем аппаратное обеспечение, которое его контролирует.

Здесь также присутствует неприятное институциональное противоречие. В то время как научные риски растут, политический интерес к контролю ослабевает. Нынешняя администрация дала понять о желании дерегулировать разработку ИИ, чтобы не отставать от глобальных конкурентов, прежде всего Китая. Этот курс на ускорение совпал с уходом нескольких высокопоставленных чиновников в области биобезопасности и резким сокращением федеральных бюджетов на биозащиту. По всей видимости, предполагается, что экономические и стратегические выгоды от внедрения ИИ в процесс поиска лекарств перевешивают туманные риски биологического инцидента. И выгоды действительно существенны: ученые Google недавно разделили Нобелевскую премию за AlphaFold — ИИ-систему, которая произвела революцию в нашем понимании структуры белков, а новые модели, такие как «Evo», используются для проектирования вирусов, нацеленных на устойчивые к антибиотикам бактерии. Та самая архитектура, которая позволяет исследователю спроектировать спасительный противораковый белок, является архитектурой, способной оптимизировать новый токсин.

Скептицизм в некоторых кругах научного сообщества сохраняется. Д-р Густаво Паласиос, вирусолог, ранее работавший в Министерстве обороны, сравнивает сложность вируса со швейцарскими часами. Он утверждает, что даже при наличии подробной инструкции дилетант вряд ли сможет собрать компоненты в работающий механизм. Практическая лабораторная работа требует «неявного знания» — тонких физических ощущений при работе с пипеткой, колебаний температуры в инкубаторе, визуальной проверки культуры, — которые пока невозможно передать через окно чата. Но эта критика может упускать главное. Угроза — это не одинокий любитель в гараже; это подготовленный ученый с обидой или поддерживаемый государством субъект, ищущий кратчайший путь. Этим пользователям ИИ не нужно учить, как пользоваться пипеткой; ему просто нужно подсказать, какую последовательность синтезировать и где датчики наиболее уязвимы.

В настоящее время мы работаем в условиях регуляторного вакуума, полагаясь на «добрую волю» технологических компаний с триллионной капитализацией в вопросах контроля их собственных продуктов. Хотя Anthropic и OpenAI нанимают первоклассных биологов для «красного тестирования» (red-teaming) своих моделей, их основным стимулом остается рост и внедрение. Не существует независимого федерального органа с мандатом или техническими возможностями для аудита этих моделей на предмет биологических рисков до того, как они попадут на рынок. Вместо этого мы застряли в реактивном цикле: исследователь находит способ сделать бомбу из метеозонда, компания устраняет эту конкретную подсказку, и игра в кошки-мышки продолжается. Это стратегия, которая рассматривает биобезопасность как программную ошибку, а не как фундаментальный системный риск.