О принципах работы ChatGPT рассказал NLP-исследователь Валентин Малых на киберфестивале Positive Hack Days. Запись выступления опубликована на YouTube-канале «Positive Events».
Обучение языковой модели
NLP-исследователи занимаются извлечением пользы из текстов. Языковая модель позволяет человеку формулировать мысли и доносить их до других людей. В отличие от человека языковая модель машины представляет собой набор математических функций. ChatGPT – обыкновенная языковая модель. Разработчики берут базовый текст и пытаются его продолжить с помощью языковой модели, которая предсказывает следующее слово на основе модели конкретного языка. Например, предложение «мама мыла» продолжится словом «раму», а с отсылкой к Л. Н. Толстому за словом «Война» последует «и мир».
Процесс обучения языковой модели сложен. Он начинается с того, что человек отбирает в тексте слова конкретного языка. Так, перед специалистом стоит задача отметить фразы на французском языке в романе «Война и мир». В более широком контексте задача различать слова разных языков неочевидная – например, письменность многих народов создана на основе кириллицы.
«Теперь у нас есть разметка набора данных, и теперь мы пытаемся добиться от нашей модели того, чтобы она эту разметку нам воспроизводила. Что значит воспроизводила? Это значит, что мы даем нашей модели посмотреть текст, вот этот самый текст “Войны и мира”, и она нам должна сказать: “Вот это предложение – на русском языке, а это предложение – не на русском языке. <…> Конечно, важно отметить, что помимо задачи распознавания языка есть еще куча других задач – их буквально сотни», – рассказывает Малых.
Чтобы языковая модель предсказала желаемый результат, необходимо выбрать пример для обучения и описать желаемый результат. Разработчики могут заставить модель генерировать именно ту фразу, которую они хотят получить. Однако этот способ неоптимальный.
Внутриконтекстное обучение модели
За последние пару лет в области произошли изменения – появилась модель Т5 (Text-To-Text Transfer Transformer), которая иначе подходит к привычным методам работы с данными. При общении с моделью разработчики перешли от цифровых символов к текстовым: специалист задает модели текстовые данные и получает от нее выход тоже в виде текста. Преимущество – человек может сразу понять и оценить текстовый выход, то есть стало возможно работать с текстами без использования дополнительной разметки.
Следствием модели Т5 стало появление внутриконтекстного обучения. Контекст – это слова, которые разработчик дает модели, а модель использует их как затравку.
«У нас есть набор слов, с которым мы что-то делаем. Интересное заключается в том, что, оказалось, современные модели (те модели, которые сейчас уже можно назвать предшественниками ChatGPT <…>) уже умеют следующую историю. Если мы им в контексте нашей затравки покажем, как что-то делать даже без специального обучения, то есть просто покажем, что у нас есть перевод, допустим, с английского на немецкий или с японского на корейский, то получается, что мы показали один пример, второй пример, а на третий пример модель уже “догадалась”, что мы можем делать точно так же еще», – поясняет исследователь.
Разработчик вводит пример на английском языке, а модель сама переводит этот текст на немецкий язык. Модель, не обучавшаяся задаче машинного перевода, выполняет задачу по контексту. Поэтому специалисты назвали данную историю внутриконтекстным обучением.
Способность рассуждать
Теперь разработчики могут попросить модель порассуждать на определенную тему. При этом если модель просят представить рассуждение, то качество ее ответов становится выше. Сейчас становится популярным RLHF (Reinforcement Learning from Human Feedback) – метод обучения языковой модели, который позволяет ей научиться соответствовать ожиданиям людей. Это позволяет сделать текст более «человеческим» – то есть внешне более логически связанным.
Метод основан на обучении с подкреплением, базирующемся на взаимодействии агента и окружения. «Агент делает некоторое действие, окружение как-то на действие реагирует, и агент получает награду от окружения – вот это базовая история. Вся идея заключается в том, что теперь у нас есть некая штука, которая умеет взаимодействовать с окружением, только теперь это взаимодействие уже можно обставить», – поясняет исследователь.
Потребность в окружении отпадает, когда появляется модель награды. Разработчик получает от модели несколько вариантов ответа, ранжирует полученные варианты от лучшего к худшему и обучает модель награды. За счет нее языковая модель учится «говорить» как человек, получая некую награду за свои действия.
Таким образом, предсказание следующего слова позволяет обучить языковую модель не только определенным, но и произвольным задачам, причем обучать модель можно на ходу.
Сергей Попов про PHDays, про акции Tesla и конференцию SmartLab
Обсудили жизнь после дивидендов Сбербанка и другие темы с управляющим директором NZT Rusfond Сергеем Поповым.
По словам Попова, киберфестиваль Positive Hack Days, организованный Positive Technologies, стал одним из самых масштабных мероприятий для инвесторов. На фестивале представители компании и приглашенные эксперты доступно рассказали о кибербезопасности и работе данного сектора. Участникам удалось познакомиться с продукцией компаний, производящих решения для информационной защиты.