Решён
Нужно ли задавать ИИ роль, и повышает ли это качество ответа?

Иван LLM ChatGPT и LLM
1.8k
5

В каждом первом гайде по нейросетям пишут промпты в духе: "действуй как опытный программист" или "представь что ты профессиональный маркетолог".

Обьясните без инфоцыганской воды, это реально как то влияет на логику работы модели или просто забавный костыль? Кто нибудь проверял качество генерации кода или текстов с ролями и без на больших объемах?

Решение
107
Участник • 1 ответ

Проверяли на тестах генерации кода. Если написать просто 'напиши скрипт для парсинга сайтов на питоне', модель выдаст самый банальный код без нормальной обработки ошибок и логирования. Если перед этим написать 'ты senior python developer, пиши чистый поддерживаемый код с обработкой исключений' - результат на выходе в разы лучше, сразу пишется нормальная структура с try - except блоками и логами. Так что роли имеют практический смысл.

Аватар Александр Бойко

Подтверждаю, на генерации sql запросов та же тема. Без роли пишет простейшие селекты, с ролью синьор дба начинает юзать индексы и оконные функции.

57
Эксперт • 1 ответ

Да, это работает. Но магии тут нет. Любая LLM работает по принципу предсказания следующего слова на основе вероятностей. Когда ты задаешь роль, ты сужаешь это вероятностное облако. Модель начинает подтягивать токены из определенного кластера своей базы данных - условно, из научных статей или качественного кода на гитхабе, отсекая при этом мусорные форумы и школьные рефераты.

33
Эксперт • 2 ответа

Фигня все это. Гораздо важнее давать модели конкретные примеры входных и выходных данных (few - shot prompting) и четко описывать ограничения. Роли это просто баловство для тех, кто не умеет нормально составлять техническое задание.

39
Эксперт • 1 ответ

С точки зрения математики трансформеров роль задает стартовый контекст (системный промпт), который меняет веса внимания (attention weights) на последующих шагах генерации. Это научно доказанный факт, есть куча статей на arxiv по этой теме. Так что пишите роли, господа, физику не обманешь.

15
Участник • 2 ответа

Я обычно пишу роль не модели, а себе. В смысле, пишу 'представь, что я твой тупой клиент, обьясни мне простыми словами...'. Реально спасает, когда нужно разобраться в сложной технической теме без чтения тонны мануалов.

Написать ответ

Премодерация гостей

Вы отвечаете как гость. Ваш ответ будет скрыт до проверки модератором. Чтобы ответ появился сразу и вы получали репутацию — войдите в аккаунт.

Будьте вежливы и соблюдайте правила платформы.