Использование инструментов искусственного интеллекта обсудили эксперты на киберфестивале Positive Hack Days. Запись дискуссии опубликована на YouTube-канале «Positive Events».
Использование инструментов искусственного интеллекта
Пентестер RTM Group Артем Семенов отмечает, что специалисты используют инструменты искусственного интеллекта (ИИ) для анализа возможных векторов атак и уязвимости, тестирования и реализации векторов угроз. Компания RTM Group планирует развивать и выпускать собственные инструменты на базе ИИ.
«Возможности больших языковых моделей действительно большие. Если говорить именно про ChatGPT, который выстрелил в конце прошлого года, конечно, очень приятно пользоваться именно сервисом. Условно есть технология, технологию, наверное, каждый использовал по-разному в каких-то задачах, общий сервис стал доступен только сейчас. Честно, я формулирую тексты с помощью ChatGPT, когда надо какое-нибудь письмо написать и сложно придумать его формулировку. Что-то поштормить очень интересно на самом деле, какие-то названия придумать. Название нашего конкурса было предложено ChatGPT», – рассказывает руководитель отдела перспективных технологий Positive Technologies Александра Мурзина.
Также технология используется для перевода кода с одного языка программирования на другой и оптимизации работы с большими данными. Специалист группы исследования безопасности банковских систем Positive Technologies Юрий Ряднина замечает, что сейчас появляется много инструментов, основанных на работе ChatGPT. ChatGPT подобен «огромному бесконечному ящику инструментов, из которого постоянно можно вытаскивать новый инструмент». Эксперт признается, что перестал писать код вручную, задача написания кода свелась к грамотной и точной формулировке мысли.
Проблема ChatGPT
Говоря о недостатках ChatGPT, руководитель отдела исследований и разработки анализаторов исходного кода Positive Technologies Владимир Кочетков признает: «Мы, команда разработки статического анализатора, игрались с ChatGPT, когда он появился. И мы отметили такую интересную закономерность: ChatGPT неплохо пишет код, причем нетривиальный код, нужно признать, но он его достаточно плохо читает, как только код получает сложную семантику, то есть тогда, когда уже нужно понимать смысл кода».
Мурзина полагает, что данная проблема технологии временная и скоро будет устранена. Эксперт подчеркивает, что пример кода – это не специализация данной технологии, ChatGPT не обучен решать подобные задачи, но делает это неплохо благодаря способности к обобщению. Кроме того, недавно вышла четвертая усовершенствованная версия ChatGPT.
Безопасность использования искусственного интеллекта
По словам Семенова, обеспечить 100% безопасное использование ИИ невозможно. Но при общении с ChatGPT возможно максимально обезличивать личные данные. Это позволит избежать обучения языковой модели на основе конфиденциальных данных пользователя. Пока языковая модель не до конца обучена, есть риски, что технология может вывести категорически неверную информацию.
«Была проведена куча исследований на эту тему. В одном исследовании был рассмотрен вопрос: может ли ChatGPT генерировать безопасный код. Было 20 примеров, из них 5 оказались примерами, которые являлись положительными, то есть ChatGPT сгенерировал их без уточняющих подсказок. А остальные 15 примеров были категорически неверными, категорически уязвимыми. Конечно, решение тут следующее – это создавать какие-то более узкоспециализированные решения», – заключает Семенов.
По словам эксперта, чат-бот Bard, разработанный компанией Google, является более контекстным и дает более точные ответы на узкоспециализированные вопросы в сравнении с ChatGPT.
Как работает ChatGPT
О принципах работы ChatGPT рассказал NLP-исследователь Валентин Малых на киберфестивале Positive Hack Days. Запись выступления опубликована на YouTube-канале «Positive Events».
NLP-исследователи занимаются извлечением пользы из текстов. Языковая модель позволяет человеку формулировать мысли и доносить их до других людей. В отличие от человека языковая модель машины представляет собой набор математических функций. ChatGPT – обыкновенная языковая модель. Разработчики берут базовый текст и пытаются его продолжить с помощью языковой модели, которая предсказывает следующее слово на основе модели конкретного языка. Например, предложение «мама мыла» продолжится словом «раму», а с отсылкой к Л. Н. Толстому за словом «Война» последует «и мир».