OpenAI выпустили официальный гайд по промт инжинирингу для GPT-4, но основные стратегии составления промтов актуальны и для GPT-3.5:

• Напишите четкие инструкции. LLM не могут читать ваши мысли. Если ответы слишком длинные, попросите краткие ответы. Если ответы слишком простые, попросите экспертного уровня письма. Если вам не нравится формат, продемонстрируйте формат, который вы хотите видеть. Чем меньше модели приходится догадываться о том, чего вы хотите, тем больше вероятность, что вы это получите.

• Попросите модель принять роль персонажа. Вы можете указать модели, какой стиль, тональность или роль вы хотите, чтобы она использовала при генерации текста. Например, вы можете попросить модель писать как ученый, журналист, поэт или комик.

• Предоставьте модели текст для справки. Языковые модели могут уверенно придумывать ложные ответы, особенно когда речь идет о заумных темах или о цитатах и URL-адресах. Так же, как листок с заметками может помочь студенту лучше справиться с тестом, предоставление текста для справки этим моделям может помочь в ответе с меньшим количеством вымыслов.

• Разбейте сложные задачи на более простые подзадачи. Так же, как хорошей практикой в программировании является разложение сложной системы на набор модульных компонентов, то же самое верно и для задач, представленных языковой модели. Сложные задачи имеют более высокую частоту ошибок, чем простые задачи. Кроме того, сложные задачи часто можно переопределить как рабочий процесс из более простых задач, в котором выходы ранних задач используются для построения входов поздних задач.

• Дайте модели время на "размышление". Если вас попросят умножить 17 на 28, вы, возможно, не знаете этого сразу, но все же можете вычислить это со временем. Аналогично, модели делают больше ошибок в рассуждении, когда пытаются ответить сразу, а не тратят время на выработку ответа. Просьба о "цепочке мысли" перед ответом может помочь модели более надежно прийти к правильным ответам.

• Используйте логику и здравый смысл. Языковые модели не всегда следуют логике и здравому смыслу, поэтому важно проверять их ответы на соответствие фактам и реальности. Вы можете задавать модели контрольные вопросы, чтобы проверить ее понимание, или использовать другие источники информации для подтверждения ее утверждений.