Решён
Как правильно работать с LLM: нужно ли делать несколько генераций по одному промпту?

Иван LLM ChatGPT и LLM
1.6k
5

Часто пользуюсь Claude и ChatGPT для написания постов и кода. Заметил, что при одинаковом запросе результат может кардинально отличаться. Иногда с первого раза выдает шедевр, а иногда полную чушь с галлюцинациями. Как эффективнее выстроить процесс?

Нужно ли делать несколько генераций по одному промпту и выбирать лучший вариант? Или правильнее сразу переписывать сам промпт, если первый ответ не устроил?

Решение
47
Эксперт • 1 ответ

Да, делать несколько генераций это нормальная практика. У нейросетей под капотом вероятностная модель, и при значении температуры выше нуля ответы всегда будут отличаться.

Обычно делают так: если промпт сложный, запускают сразу 3 - 5 генераций. Затем вручную собирают идеальный текст из разных кусков. Но если модель стабильно выдает бред во всех вариантах, то проблема в логике запроса, нужно менять структуру или добавлять примеры.

Аватар Иван LLM

Спасибо, про температуру забыл совсем. Попробую поиграть с параметрами в апи.

19
Участник • 1 ответ

Сделай три генерации. Если все мимо, бросай это дело и полностью переписывай промпт. Вбивать один и тот же запрос по десять раз в надежде на чудо это просто трата времени.

22
Эксперт • 2 ответа

В теории хороший промпт должен давать стабильный результат. На практике же модели имеют дикую дисперсию. Легче нажать кнопку регенерации пару раз, чем тратить полчаса на составление идеального промпта со сложной разметкой.

31
Эксперт • 1 ответ

Я написал скрипт на питоне, который дергает апи пять раз параллельно с температурой 0.8. Потом эти пять ответов скармливаются другой модели (например gpt-4o-mini) с задачей скомпилировать лучший итоговый вариант. Работает отлично.

2
Участник • 1 ответ

Я обычно просто перегенерирую пока не понравится... как то лень каждый раз промпты переписывать, проще кнопку нажать.

Написать ответ

Премодерация гостей

Вы отвечаете как гость. Ваш ответ будет скрыт до проверки модератором. Чтобы ответ появился сразу и вы получали репутацию — войдите в аккаунт.

Будьте вежливы и соблюдайте правила платформы.