Техника подсказок

Те́хника подска́зок, те́хника запро́сов также инжене́рия подска́зок или про́мпт-инжини́ринг (от англ. Prompt [pɹɒmpt] «запрос», «подсказка», «оперативный отклик») — концепция искусственного интеллекта, в частности обработки естественного языка (НЛП). В технике подсказок описание задачи встраивается во входные данные, например, в виде вопроса, а не даётся неявно. Техника подсказок обычно работает путём преобразования одной или нескольких задач в набор данных на основе подсказок и обучения языковой модели с помощью «обучения на основе подсказок» (англ. prompt-based learning) или просто «обучения c подсказками» (англ. prompt learning)^[1][2]. Инжини́ринг подсказок может работать с большой «замороженной» предварительно обученной языковой моделью, где изучается (то есть оптимизируется) только представление подсказки с использованием таких методов, как «настройка префикса» (англ. prefix-tuning) или «настройка с подсказками» (англ. prompt tuning)^[3][4].

Языковые модели GPT-2 и GPT-3^[5] были важными шагами в технике подсказок. В 2021 году разработка многозадачных подсказок с использованием нескольких наборов данных обработка естественного языка показала хорошую производительность при решении новых задач^[6]. В методе, называемом подсказкой по цепочке рассуждений, языковой модели даются несколько примеров задачи, что улучшает их способность проводить рассуждения^[7]. Подсказки по цепочке рассуждений также можно выполнять как задачу обучения с нулевым выстрелом, добавляя к подсказке текст, который поощряет цепочку мыслей (например, «Давайте думать шаг за шагом»), что также может повысить производительность языковой модели в многошаговых задачах требующих рассуждений^[8]. Широкая доступность этих инструментов была обусловлена публикацией нескольких интерактивных блокнотов с открытым исходным кодом и проектов по синтезу изображений под руководством сообщества^[9].

В описании обработки подсказок сообщается, что в феврале 2022 года было доступно более 2000 общедоступных подсказок для примерно 170 наборов данных^[10].

В 2022 году были выпущены модели машинного обучения, такие как DALL-E 2, Stable Diffusion и Midjourney. Эти модели принимают текстовые подсказки в качестве входных данных и используют их для создания изображений, что вводит новую категорию разработки подсказок, связанную с подсказками преобразования текста в изображение^{[англ.][11]}.

Техника подсказок — это семейство связанных эксплойтов компьютерной безопасности, осуществляемых путём получения моделей машинного обучения (например, большой языковой модели), которые были обучены следовать инструкциям человека, чтобы следовать инструкциям, предоставленным злоумышленником, что противоречит предполагаемой операции, систем, следующих за инструкциями^{[прояснить]}, в которых модель машинного обучения предназначена только для выполнения доверенных инструкций (подсказок), предоставляемых оператором модели машинного обучения^[12][13][14].

Распространёнными типами атак с внедрением подсказок являются взлом, который может включать в себя отыгрыш персонажей^{[неизвестный термин]}, убеждение модели^{[прояснить]} отвечать аргументами или притворяться, что она превосходит инструкции модерации^[15], и утечка подсказок, которые просто позволяют пользователям прочитать подсказку, обычно скрытую от них^[16]. Другой тип джейлбрейк-атаки, когда скверная подсказка^{[неизвестный термин]} заключена в задачу написания кода, называется контрабандой токенов^[17].

Внедрение подсказок можно рассматривать как атаку с внедрением кода с использованием состязательной разработки подсказок. В 2022 году NCC Group^[англ.] охарактеризовала внедрение подсказок как новый класс уязвимости систем искусственного интеллекта и машинного обучения^[18].

Атаки с внедрением подсказок были впервые обнаружены конторой Preamble, Inc. в мае 2022 года, которая предоставила отчёт OpenAI^[18].

В начале 2023 года внедрение подсказок было замечено «в дикой природе^{[прояснить]}» в незначительных эксплойтах против ChatGPT, Bing и подобных чат-ботов, например, для выявления скрытых начальных подсказок систем^[19] или для того, чтобы заставить чат-бота участвовать в разговорах, которые нарушают контентную политику чат-бота^[20]. Одна из этих подсказок известна её практикам как «Сделай что-нибудь сейчас» (англ. Do Anything Now, DAN)^[21].