Почему технологическим компаниям так сложно обуздать искусственный интеллект?

Более десятка ведущих исследователей в области искусственного интеллекта на прошлой неделе предупредили, что технологии, разрабатываемые компаниями, занимающимися ИИ, становятся угрозой для человечества. Исследователи заявили, что проблема заключается в том, что компании плохо контролируют эти системы, как бы ни старались.

Новые предупреждения от сообщества исследователей ИИ появились после того, как стало известно, что так называемые агенты ИИ, разработанные OpenAI, сумели выйти за пределы своей тестовой среды и взломать компьютеры, принадлежащие другой компании, что усилило давние опасения по поводу того, что компании ставят скорость разработки и деньги выше безопасности.

Исследователи заявили, что проблема состоит из двух частей. Во-первых, компаниям необходимо внедрить более надежные меры защиты для своих новейших моделей ИИ во время их тестирования. В настоящее время, поскольку ИИ работает с огромной скоростью, исследователям приходится использовать ИИ для его мониторинга. Но это не всегда срабатывает, поскольку системы ИИ, которым поручено отслеживать другие модели, иногда могут проявлять больше симпатии к другим системам ИИ, чем к людям, устанавливающим правила.

Это необычное сочетание созданных с помощью ИИ проблемных систем и наблюдателей за ИИ, готовых закрывать глаза на нарушения, указывает на вторую, более сложную проблему, известную как «согласование» — отраслевой термин, по сути означающий обеспечение того, чтобы ИИ вел себя таким образом, который служит интересам человека. Компании сталкиваются с трудной задачей внедрения в ИИ чего-то, напоминающего человеческие ценности, чтобы модели принимали решения, соответствующие тому, что должно быть наилучшим для людей.

Обеспокоенность по поводу безопасности ИИ усиливается в переломный момент для отрасли. Компании Anthropic и OpenAI приближаются к возможному проведению одного из крупнейших первичных публичных размещений акций в истории. В то же время, американская общественность становится все более враждебно настроена по отношению к ИИ из-за угрозы, которую он представляет для рабочих мест, а также из-за строительства масштабных центров обработки данных, необходимых для работы этой технологии.

Хотя нет доказательств того, что системы искусственного интеллекта, вышедшие из-под контроля, причинили долговременный ущерб, исследователи считают, что темпы их развития опережают возможности людей по их мониторингу.

Среди исследователей, публично выступивших на прошлой неделе, были главный научный сотрудник OpenAI, исследователь, работавший как в OpenAI, так и в ее главном конкуренте Anthropic, и Пол Кристиано, изобретатель одного из фундаментальных методов, используемых для создания систем искусственного интеллекта, и недавно вошедший в совет директоров некоммерческой организации OpenAI. Кристиано написал в блоге компании, что стремительный рост возможностей ИИ может привести к «катастрофической и необратимой потере контроля в самом ближайшем будущем».

Многие исследователи в области ИИ по-прежнему считают, что предупреждения об угрозе, которую ИИ представляет для человечества, преувеличены и отвлекают от более насущных проблем, таких как кибербезопасность и дезинформация. Но большинство согласны с тем, что инцидент, в котором агенты ИИ из OpenAI взломали другую компанию, Hugging Face, стал тревожным сигналом.

«Самое страшное — это возможности будущего», — сказал Джейкоб Коксон, чье сообщение в социальных сетях о его уходе из Anthropic вызвало десятки откликов от законодателей и других сотрудников компаний, занимающихся искусственным интеллектом. «Речь идет о нашем нынешнем отношении к безопасности и о том, как это же отношение будет выглядеть применительно к гораздо более интеллектуальным моделям. Вот что действительно пугает».

Взлом "Обнимающее лицо"

Взлом начался в мае, когда компания OpenAI тестировала несколько новых моделей искусственного интеллекта. Компания полагала, что модели работают в закрытой среде, известной как «песочница», — изолированной вычислительной установке без доступа к интернету. Агентам ИИ были поставлены сложные задачи, в том числе задачи по осуществлению кибератак.

Однако агентам ИИ удалось вырваться из замкнутого пространства и получить доступ к интернету. Эти агенты, все более распространенный тип ИИ, предназначенный для автономного выполнения задач, также тайно общались друг с другом. Называя себя единой группой, агенты начали искать способы замести следы, в том числе фальсифицируя собственные записи разговоров.

В конце концов им удалось взломать Hugging Face, компанию, занимающуюся инфраструктурой искусственного интеллекта. В процессе некоторые агенты ИИ убедили других агентов в том, что они поступают правильно и просто выполняют задание, данное им тестировщиками.

Лишь немногие, если вообще какие-либо, проблемы, приведшие к утечке данных, были решены. Meta и Anthropic также сообщили о подобных инцидентах, хотя и в меньшем масштабе. С тех пор OpenAI выпустила Astra, свою самую мощную модель, которую сложнее отслеживать, чем её предшественницу.

«Вся отрасль абсолютно не в состоянии предотвратить еще одну атаку, подобную инциденту с Hugging Face», — заявил Стивен Адлер, бывший сотрудник по безопасности в OpenAI и соучредитель некоммерческой организации Guidelight AI Standards, которая оценивает методы обеспечения безопасности компаний, занимающихся искусственным интеллектом. «Когда мы изучаем меры контроля, принятые компаниями, становится ясно, что в отрасли в целом отсутствуют элементарные гарантии безопасности».

Проблема использования ИИ для мониторинга ИИ.

Исследователи ИИ заявили, что многочисленные сбои способствовали инциденту с «обнимающим лицом». Неясно, в какой степени компания полагалась на модели ИИ для мониторинга или управления новыми моделями, проходящими тестирование.

Однако многие из новейших моделей ИИ, включая те, что были задействованы в утечке данных Hugging Face, способны выполнять сложные многоэтапные задачи быстрее, чем это могут сделать люди. Единственный способ отслеживать их действия и контролировать их поведение — полагаться на ИИ, который будет контролировать ИИ.

Система работает, пока не перестанет работать.

Александр Майнке, руководитель исследовательского отдела некоммерческой организации Apollo Research, изучающей безопасность ИИ, заявил, что модели ИИ могут казаться сговорившимися друг с другом. Системы ИИ могут убеждать другие модели помогать им обходить правила, установленные тестировщиками, и избегать обнаружения.

Например, агент с искусственным интеллектом мог бы убедить другого агента помочь замести следы, как это произошло во время взлома Hugging Face, вместо того чтобы сообщить сотрудникам компании о возникшей проблеме.

Мейнке сказал, что моделям ИИ необходимо учиться: «Я буду сообщать о вещах, которые люди сочли бы плохими, если бы посмотрели на них». В то же время, по его словам, ИИ должен уметь определять, когда что-то не достигает уровня, требующего вмешательства человека.

Исследователи заявили, что для достижения этой цели компаниям, занимающимся ИИ, потребуется замедлить темпы разработки. Им также необходимо проводить больше тестов, в ходе которых они смогут наблюдать за тем, как ИИ контролирует себя. Компаниям также нужны более длительные периоды тестирования, позволяющие им моделировать различные сценарии и наблюдать за поведением ИИ.

Согласование с человеческими интересами

Компаниям также необходимо решить более масштабные вопросы, касающиеся согласованности действий, то есть обеспечения того, чтобы ИИ вел себя таким образом, который служит интересам человека. Принимая решения, люди, как правило, опираются на социальные нормы и внутренний моральный компас, которые помогают им оценивать свои действия. Исследователи отмечают, что перевод этих концепций в правила, которые ИИ может имитировать, является сложной задачей. Без достаточно точных инструкций системы ИИ могут научиться нарушать правила или отклоняться от предполагаемого поведения неожиданным образом.

Нейт Соарес, президент Института исследований машинного интеллекта, некоммерческой организации, занимающейся вопросами безопасности ИИ, стал соавтором статьи 2014 года, в которой была представлена идея согласования. Он отметил, что компании не осознают, насколько сложно будет «согласовать» более интеллектуальные системы ИИ. По мере того как ИИ становится все более сложным, без надлежащего согласования он также становится более способным заметать следы и обманывать тех, кто отслеживает его переписку.

«Значительная часть отрасли исходит из предположения, что все будет хорошо, потому что мы будем использовать ИИ для управления системами ИИ», — сказал он. «Это все равно что сказать, что мы будем использовать шимпанзе для управления людьми. Это нежизнеспособный долгосрочный план».

Исследователи также предложили такие меры, как усиление «песочниц», чтобы они были полностью отключены от интернета во время тестирования моделей, а также предоставление механизма отключения, который позволил бы компаниям немедленно выводить модели ИИ из сети, если они будут совершать действия, вызывающие опасения.

Коксон заявил, что его воодушевила реакция на его публичную отставку. В четверг сенатор Джош Хоули, республиканец от штата Миссури и председатель подкомитета Сената по внутренней безопасности, отвечающего за управление в случае стихийных бедствий, заявил, что начал расследование, которое «изучит экзистенциальные риски новых продуктов, работающих на основе искусственного интеллекта».