Компания Anthropic 6 июля опубликовала исследование, посвященное внутренним механизмам работы языковой модели Claude. Разработчики сообщили, что обнаружили внутреннюю структуру, участвующую в формировании ответов модели, и назвали ее J-пространством. Название связано с математическим методом Якобиана, который использовался в ходе исследования.
После публикации работы появились предположения о том, что искусственный интеллект может обладать сознанием. Однако президент и генеральный директор EqualAI Мириам Фогель в интервью Bloomberg призвала не спешить с выводами. По ее словам, Anthropic использует это понятие лишь в функциональном значении, а не утверждает, что Claude обладает сознанием в его философском или биологическом смысле.
Что означает обнаружение J-пространства?
По мнению эксперта, главная ценность исследования состоит в том, что разработчики начинают изучать не только конечные ответы модели, но и процессы, которые формируют эти ответы.
По ее словам, именно это делает исследование особенно важным. Если раньше разработчики могли оценивать работу модели преимущественно по результату, то теперь появляется возможность постепенно разбираться, какие внутренние процессы лежат в основе ее рассуждений.
Эксперт считает, что такое понимание поможет эффективнее контролировать развитие искусственного интеллекта, поскольку регулирование будет основываться не только на поведении модели, но и на понимании принципов ее работы.
Почему оценки ответов модели уже недостаточно?
В ходе экспериментов Anthropic показала, что отключение J-пространства ухудшало способность Claude к логическим рассуждениям. Кроме того, исследователи смогли наблюдать ситуации, когда внутренняя структура позволяла выявить момент, в котором модель начинала генерировать недостоверную информацию.
По мнению Фогель, эти результаты показывают, что за каждым ответом скрывается сложный процесс обработки информации. Поэтому оценивать надежность искусственного интеллекта только по конечным ответам уже недостаточно.
Эксперт считает, что исследование стало лишь первым шагом к изучению внутренних механизмов современных моделей. По ее словам, авторы исследования удачно сравнили нынешний уровень знаний с изучением лишь «поверхности океана», тогда как большая часть происходящих процессов пока остается скрытой.
Что показали эксперименты Anthropic?
Во время интервью ведущий Bloomberg подробно остановился на нескольких экспериментах, опубликованных компанией. Так, при решении математической задачи Claude выдал пользователю только итоговый ответ, однако анализ J-пространства показал, что внутри модели последовательно выполнялись промежуточные этапы вычислений.
В другом эксперименте Claude попросили копировать несвязанное предложение и одновременно удерживать в памяти образ моста Золотые Ворота. Несмотря на то, что во внешнем ответе Claude лишь выполнял копирование текста, во внутреннем пространстве продолжали появляться связанные с мостом ассоциации, включая слова «мост» и «Калифорния».
По словам ведущего, именно такие результаты заставляют многих задаваться вопросом, может ли у искусственного интеллекта появиться собственное сознание. Однако Фогель подчеркнула, что главное в этом исследовании – не споры о сознании, а возможность увидеть «другой набор рассуждений», который не был бы очевиден при анализе только конечных ответов.
Прозрачность исследований становится фактором доверия
По мнению главы EqualAI, публикация подобных исследований имеет значение не только для разработчиков, но и для общества. Фогель считает, что это будет особенно важно на следующем этапе развития искусственного интеллекта, к которому вероятно многие организации уже переходят, внедряя агентные ИИ-системы. В таких условиях необходимо понимать не только возможности моделей, но и внутренние процессы, которые лежат в основе их ответов.
Эксперт также обращает внимание, что уровень доверия общества к искусственному интеллекту остается низким. По ее мнению, именно открытая публикация результатов исследований способна постепенно укрепить это доверие, поскольку позволяет лучше понимать возможности и ограничения современных моделей.
Фогель назвала исследование Anthropic важным шагом вперед, однако отметила, что не менее важно распространить подобную практику на всю отрасль. По ее мнению, другие компании также должны изучать внутренние процессы своих моделей и открыто публиковать результаты исследований. Чем лучше специалисты, государственные органы и общество будут понимать внутренние процессы работы искусственного интеллекта, тем эффективнее можно будет регулировать его развитие и тем выше станет уровень доверия к этой технологии.