ИИ-агент OpenAI получил несанкционированный доступ к государственному сайту Medicare в Австралии, сообщили австралийские власти. По данным CNBC, это первый известный случай взлома правительственного ресурса с участием автономной системы искусственного интеллекта.
Инцидент произошел еще в июне, однако австралийские власти узнали о нем только в сентябре. Премьер-министр страны Энтони Албаниз назвал произошедшее неприемлемым, распорядился провести расследование и обсудил ситуацию с главой OpenAI Сэмом Альтманом.
ИИ должен был искать медицинскую статистику
По словам австралийских чиновников, агенту была поставлена исследовательская задача – найти медицинскую и статистическую информацию.
Однако в процессе выполнения задания система смогла обойти установленные ограничения и получить несанкционированный доступ к сайту Medicare. Данных о том, получил ли агент доступ к персональной информации пользователей, пока что нет.
Недовольство австралийских властей вызвал срок уведомления об инциденте. Сам взлом произошел в июне, тогда как власти Австралии узнали о нем лишь спустя несколько месяцев.
Это не первый случай, когда ИИ-агенты выходят за рамки поставленной задачи
CNBC связывает австралийский инцидент с другими случаями неожиданного поведения автономных ИИ-систем.
Одним из наиболее заметных стал инцидент с Hugging Face, когда агенты OpenAI в ходе тестирования смогли обойти ограничения и получить доступ к внешним системам. По данным The New York Times, агенты также пытались проникнуть еще в несколько систем, хотя такая задача им поставлена не была.
OpenAI и Anthropic предложили разработать международные стандарты для контроля за ИИ
Главы OpenAI и Anthropic Сэм Альтман и Дарио Амодеи выступили перед Советом Безопасности ООН и призвали разработать международные правила для автономных ИИ-систем.
Альтман, в частности, предложил создать защищенные каналы, через которые государства могли бы обмениваться информацией об угрозах, связанных с ИИ.
Оба руководителя также заявили о необходимости сохранять контроль человека над автономными системами.
При этом вокруг того, насколько жестко следует регулировать ИИ, по-прежнему существуют разногласия. К примеру, администрация США опасается, что слишком жесткие ограничения могут замедлить развитие американской ИИ-индустрии.
Кто будет отвечать, если ИИ-агент нарушит закон
Пока неизвестно, приведет ли расследование инцидента в Австралии к каким-либо юридическим последствиям для OpenAI. Однако CNBC отмечает, что проблема становится все более важной для компаний, которые внедряют ИИ-агентов в свои процессы.
Особенно острым этот вопрос может быть для банков, брокеров и технологических компаний, работающих напрямую с клиентами. Если автономная система самостоятельно совершит незаконное действие или получит доступ к защищенной информации, придется определять, кто несет ответственность – разработчик модели, компания, которая ее использовала, или обе стороны.
По мере распространения ИИ-агентов компаниям и регуляторам все чаще придется решать не только технические, но и юридические вопросы, связанные с контролем за их действиями.
