Хинтон предупреждает: ИИ может разрушить общество

Почему один из создателей ИИ считает, что цивилизация может пошатнуться

Джеффри Хинтон — ключевая фигура в развитии глубокого обучения — на открытой дискуссии в рамках университетского форума описал сценарий, которого многие в технологической сфере предпочитают избегать: массовая безработица, ослабление демократической подотчетности и дестабилизация международной безопасности из-за автономных систем. Его выступление было отчасти критикой политики, отчасти сигналом тревоги; оно обострило давние опасения по поводу того, как экономика и государственное устройство, рассчитанные на человеческий труд, справятся с масштабным замещением этого труда.

Суть сказанного Хинтоном простыми словами

Его основной тезис был простым и суровым: если ИИ достигнет или превзойдет человеческий уровень компетенций в достаточно широких масштабах, рабочие места, которые сейчас занимают люди, могут быть автоматизированы без появления очевидных новых ролей взамен. По его словам, люди, потерявшие работу, могут не найти новую, что способно подорвать потребление и социальную сплоченность в масштабах всей страны. Этот аргумент связывает наблюдаемый технический прогресс с социальной петлей обратной связи: сокращение числа оплачиваемых работников ведет к уменьшению числа покупателей товаров и услуг, что, в свою очередь, подрывает рыночный фундамент многих предприятий.

Из лаборатории — к социальным рискам

Репутация Хинтона здесь имеет решающее значение: он помогал создавать нейросетевые методы, лежащие в основе современных генеративных моделей. Такой послужной список придает его предостережениям особый вес, поскольку они исходят от человека, понимающего как инженерную сторону вопроса, так и траекторию исследований. Ранее он заявлял, что появление ИИ общего назначения на человеческом уровне — это более близкая перспектива, чем он считал прежде, и публично рассуждал об экзистенциальных угрозах, которые когда-то казались маргинальными. Эти прежние оценки определили тон его выступления в университете — смесь технического прогноза и социального предупреждения.

Как коллапс может выглядеть на практике

Хинтон описал ряд механизмов, которые могут усиливать друг друга. Экономическое вытеснение может привести к концентрации богатства у владельцев ИИ и мощностей по производству чипов, что снизит широкий потребительский спрос. Политическим институтам может быть трудно адаптироваться в условиях эрозии налоговой базы и ощущения заброшенности у значительной части населения. В сфере безопасности он утверждал, что автоматизация применения силы — летальные системы, работающие с ограниченным контролем со стороны человека — может снизить «политическую цену» использования военной мощи, делая конфликты более стремительными и трудноуправляемыми. В совокупности эти динамики создают риск системного краха, а не просто отдельных сбоев.

Согласны не все, а доказательства неоднозначны

Сценарий Хинтона вызывает споры. Некоторые эксперты указывают на то, что предыдущие технологические революции уничтожали одни рабочие места, создавая другие, и история знает множество примеров успешной адаптации. В нынешней волне автоматизации многие попытки заменить людей полуавтономными агентами столкнулись с практическими ограничениями: системы пасуют перед сложными нестандартными случаями, вопросами безопасности и стимулами, сохраняющими контроль человека в системе. Тем не менее, в новых академических работах высказывается аргумент в пользу иного типа риска: даже постепенные, инкрементальные улучшения могут подорвать человеческий контроль над крупными системами незаметно, но в конечном счете фундаментально. Суть не в неизбежности краха, а в том, что пути к серьезному системному ущербу разнообразны и достаточно вероятны, чтобы требовать серьезного планирования.

Варианты политических решений

Предлагаемые меры делятся на два лагеря: попытки замедлить или скорректировать развитие технологий с помощью регулирования, налогов и экспортного контроля, и меры по смягчению социальных последствий через перераспределение благ, системы социальной защиты и новые институты. Идеи варьируются от повышения корпоративных налогов до государственного финансирования переобучения, пилотных проектов по введению безусловного базового дохода и более строгих правил безопасности для систем двойного назначения, таких как автономное оружие. Логика многих из этих предложений проста: если выгоды от ИИ сконцентрируются слишком быстро, одни лишь рыночные механизмы не обеспечат стабильный и справедливый переходный период. Поэтому политикам, желающим предотвратить худшие сценарии, потребуется сочетать экономические меры с адресным техническим управлением.

За чем следить дальше

• Скорость внедрения: как быстро компании внедряют заменяющие труд системы в крупномасштабные сервисы и рабочие процессы.
• Сигналы рынка труда: измеримое снижение темпов найма или сохраняющееся давление на заработную плату в профессиях, считающихся автоматизируемыми.
• Регуляторные меры: примут ли правительства обязательные правила безопасности для ИИ с высокой степенью риска и как они будут облагать налогом или перераспределять прибыль.
• Военное применение: ускорят ли государства развертывание автономных систем и как будут эволюционировать нормы или договоры, ограничивающие вредоносное использование.

Почему это важно для читателей

Предупреждения Хинтона важны не потому, что они неизбежны, а потому, что они кристаллизуют риски, сочетающие технологические возможности с экономической и политической уязвимостью. Масштабы современной экономики и скорость изменений, движимых вычислительными мощностями, означают, что небольшие сдвиги в стимулах или возможностях могут иметь колоссальные социальные последствия. Для граждан это означает, что дискуссия перестала быть чисто академической: решения о госзакупках, налоговой политике, сетях социальной защиты и финансировании НИОКР определят, станет ли ИИ двигателем общего процветания или силой, которая концентрирует власть и дестабилизирует институты.

Кем бы вы ни считали Хинтона — пророком гибели или необходимым возмутителем спокойствия, — его вмешательство выносит на всеобщее обозрение главный вопрос: кто выигрывает от сегодняшних достижений и кто платит за это свою цену? Ответ на него определит очертания сферы труда, политики и безопасности в ближайшие десятилетия.

— Маттиас Рисберг, Dark Matter