Форум создателей искусственных интеллектов

Я хочу начать ветку о промтинге. Но не о том, как написать "идеальный промт", чем больше я работаю с LLM, тем меньше мне вообще нравится выражение prompt engineering. Оно создаёт впечатление, что существует некоторая правильная формула запроса: достаточно хорошо сформулировать задачу, добавить контекст, определить роль, перечислить ограничения - и модель выдаст правильный результат. Иногда это действительно работает. Но самые интересные задачи устроены иначе. Когда я начинаю сложную работу с моделью, я часто ещё не знаю, какой именно результат хочу получить. Более того - я не всегда до конца понимаю саму задачу. У меня есть направление, опыт, несколько гипотез, какие-то ограничения и ощущение того, что ответ находится где-то рядом. И вот здесь начинается настоящее взаимодействие. Я пишу промт. Модель отвечает. Я смотрю не только на ответ, но и на то, как она поняла пространство задачи. Что она заметила. Что пропустила. Где слишком быстро сделала вывод. Где предложила неожиданное направление. Следующий промт возникает уже из её ответа. Постепенно меняется не только ответ модели. Меняется моя собственная постановка задачи. В какой-то момент это перестаёт быть схемой человек → запрос → модель → ответ и становится циклом: намерение → формулировка → генерация → критика → уточнение → новое намерение. Именно поэтому мне кажется полезным различать три уровня работы с LLM. Промтинг - когда я формулирую отдельное воздействие на модель. Дирижирование - когда я координирую развитие диалога: меняю направление, темп, глубину, заставляю модель вернуться назад, спорить, искать альтернативы, проверять собственные выводы. Оркестрация - когда одного диалога уже недостаточно и я начинаю собирать систему: несколько моделей или агентов, инструменты, данные, код, память, проверки, привличение кожаных сотрудников))). Но всё начинается с промта. Не потому, что промт - магическая команда. А потому, что это минимальный акт координирования чужим процессом мышления. И, пожалуй, первое, чему я хотел бы научиться сам и научить других: не писать хорошие промты, а видеть, что именно я пытаюсь изменить следующим промтом. Об этом и многом другом будет эта ветка. Об искусстве ставить и решать задачи.

Первый вопрос "чат или агент?" На первый взгляд разница небольшая. В обоих случаях мы что-то пишем модели и получаем ответ. Но это два совершенно разных способа работы. Когда я открываю чат, я предполагаю, что работа происходит "здесь и сейчас". Я задаю вопрос. Получаю ответ. Уточняю. Возражаю. Меняю постановку. Мы движемся вместе, шаг за шагом. Чат - это диалог. И в хорошем диалоге я не обязан заранее знать весь путь. Более того, иногда главная ценность разговора с моделью именно в том, что задача постепенно становится понятнее в процессе разговора. Агент начинается с другой идеи. Я хочу не просто поговорить с моделью. Я хочу "поручить ей работу". Найти информацию. Сравнить варианты. Пройти несколько шагов. Использовать инструменты. Проверить результат. Вернуться ко мне уже с чем-то завершённым. То есть различие примерно такое: "чат - я думаю вместе с моделью" против "агент - я делегирую модели часть деятельности." И здесь появляется очень важная вещь. Один и тот же промт, хороший для чата, может оказаться плохим для агента. В чате я могу сказать: "Давай подумаем, как лучше решить эту задачу." Для агента этого недостаточно. Ему нужно понимать, что считать результатом, какие действия разрешены, где находятся данные, какие существуют ограничения и в какой момент работу можно считать законченной. Поэтому искусство промтинга начинается ещё до первого промта. Оно начинается с выбора архитектуры взаимодействия: Мне сейчас нужен собеседник или исполнитель? Я хочу исследовать задачу или поручить её выполнение? Я собираюсь управлять каждым следующим шагом или хочу определить цель и передать управление? Ответы на эти вопросы меняет всё остальное. Именно поэтому сегодня уже недостаточно говорить только об искусстве промтинга. Нам придётся говорить ещё о "дирижировании" диалогом и об "оркестрации" работы агентов.

Термин "управление" слишком тупое и слишком механистическое слово для отношений человека с LLM. Его следует использовать редко и осторожно. Как используются костыли и/или заменители хороших вещей и продуктов. Управление - это про ресурсы, АСУ, функциональные аналоги и прочий устаревший еще в 1980х годах мусор смысловых символьных логических преобразований 😂 В управлении предполагается примерно такая схема: цель → управляющее воздействие → объект управления → наблюдение состояния → коррекция. При этом управляющий субъект в существенной степени знает, какое воздействие должно вызвать какой результат. Даже если система сложная, идея control остаётся инженерной: уменьшить ошибку относительно заданного состояния. С LLM всё немного иначе. Мы не задаём её внутреннее состояние и не определяем непосредственно следующий шаг вычисления. Мы воздействуем на систему, которая сама интерпретирует наши инструкции, достраивает недостающий контекст, выбирает способ решения и генерирует результат, которого мы зачастую заранее не можем полностью описать. Поэтому метафора дирижирования оказывается точнее. Дирижёр ведь тоже не "управляет" музыкантом в смысле сервопривода. Он не говорит скрипачу, какое движение пальца сделать через 140 миллисекунд. Музыкант обладает собственной компетенцией. Дирижёр задаёт другое: направление, акцент, темп, момент вступления, интенсивность, взаимодействие частей и интерпретацию целого. Это очень похоже на хороший диалог с LLM. Я могу сказать модели: здесь углубись, здесь не спеши с выводом, рассмотрим противоположную гипотезу, отбрось предыдущее направление, теперь посмотри на всё глазами архитектора, сравни эти два решения, не решай пока задачу, сначала найди противоречия. Я не управляю моделью как велосипедом. Я формирую траекторию и пространство её генерации.