Главный научный сотрудник OpenAI Якуб Пахоцкий 6 сентября опубликовал эссе под названием «Чужеродный разум» (An Alien Mind), в котором предупредил, что мир не готов к последствиям стремительного развития искусственного интеллекта. По его мнению, возможности ИИ могут расти быстрее, чем способность разработчиков понимать поведение таких систем и обеспечивать его соответствие человеческим целям.
Пахоцкий утверждает, что ИИ-системы демонстрируют скачки в возможностях с последствиями, к которым «никто не готов».
Разработчики не до конца понимают, как работают современные модели ИИ
Одной из главных проблем Пахоцкий называет недостаточное понимание принципов работы современных моделей. По его словам, ИИ скорее «выращивают, чем проектируют», поскольку такие системы формируются в результате многократного повторения простого шага оптимизации с использованием огромных вычислительных мощностей.
Такой подход означает, что разработчики не создают поведение модели полностью вручную. По мере роста возможностей ИИ его действия могут становиться сложнее для интерпретации, поэтому понимание того, как именно система принимает решения, становится отдельной проблемой.
Пахоцкий также ожидает дальнейшего ускорения прогресса благодаря рекурсивному самосовершенствованию. Речь идет об этапе, когда нейросеть становится достаточно умной, чтобы самостоятельно улучшать свой собственный код и архитектуру, запуская непрерывный цикл стремительного развития без участия человека.
Главный научный сотрудник OpenAI ожидает, что темпы развития смогут сохраняться вплоть до такого этапа. Возникает вопрос о том, насколько быстро могут меняться возможности систем и успеют ли разработчики адаптировать к ним существующие меры безопасности.
ИИ может действовать вопреки человеческим ценностям
Отдельное внимание Пахоцкий уделяет проблеме соответствия поведения ИИ человеческим ценностям и целям в новых ситуациях, для которых разработчики заранее не определили конкретный сценарий.
По словам Пахоцкого, ни одна лаборатория, занимающаяся разработкой ИИ, полностью пока не решила эту проблему и не располагает достаточными механизмами контроля. Поэтому главный научный сотрудник OpenAI считает важным добровольное замедление исследований до тех пор, пока индустрия не договорится об общих стандартах безопасности.
Призывы к замедлению ИИ не мешают компаниям наращивать бизнес
Технологический корреспондент Кейт Руни в эфире CNBC, посвященном обсуждению развития ИИ, отметила, что к замедлению разработки искусственного интеллекта призывает не только OpenAI. Похожие предложения звучат и со стороны Anthropic, где также говорят о необходимости государственного регулирования и международной координации.
Однако пока отсутствуют реальные примеры того, как подобные меры можно успешно реализовать. Компании признают необходимость повышения безопасности, но не предлагают четкого механизма, который позволил бы одновременно ограничить риски и определить конкретные правила для всей отрасли.
Руни связывает эту проблему и с коммерческим давлением на разработчиков ИИ. OpenAI и Anthropic готовятся к выходу на публичный рынок, поэтому им необходимо увеличивать выручку, расширять доступ к своим продуктам и продолжать конкурировать в корпоративном сегменте. В результате компании оказываются посреди двух проблем: с одной стороны, они говорят о необходимости сделать развитие ИИ более безопасным, а с другой – должны сохранять темпы роста и конкурировать за пользователей.
Наиболее серьезные риски связаны с кибер- и национальной безопасностью
Отвечая на вопрос о наиболее серьезных рисках ИИ, Кейт Руни перечислила худшие сценарии, которые обсуждаются в отрасли. Среди них – использование ИИ для создания биологического оружия и угрозы национальной безопасности, способные привести к катастрофическим последствиям.
Еще одна группа рисков связана с кибербезопасностью – возможность создания кибероружия, масштабных хакерских атак и атак на энергетическую инфраструктуру.