Настройка инструкций
Тема дорожной карты · Большие языковые модели (LLM)
Настройка инструкций представляет собой метод fine-tuning предобученной Large Language Model (LLM), основанный на парах (инструкция, ответ). Этот процесс позволяет модели выполнять задачи, сформулированные на естественном языке, без предварительного обучения на конкретных данных. Это первый и важный этап современной пост-обучения (SFT → preference optimization через RLHF или DPO), который существенно повышает способность модели к выполнению задач, не входящих в её исходное обучение. Датасеты, такие как FLAN, Alpaca, OpenAssistant и Tulu, объединяют как человеческие, так и сгенерированные моделью примеры задач, что позволяет модели адаптироваться к широкому спектру задач.
Качество и разнообразие инструкций имеют первостепенное значение, так как они определяют, насколько эффективно модель будет выполнять задачи. Например, LIMA показала, что даже небольшое количество тщательно подобранных примеров (около 1000) может значительно улучшить результаты модели.
Как это работает
Настройка инструкций адаптирует предобученную модель к конкретным задачам или доменам, используя дополнительное обучение на парах (инструкция, ответ). Методы fine-tuning включают full fine-tuning (редко из-за высокой стоимости), LoRA / QLoRA (эффективные методы, которые используют низкое ранговое обучение адаптеров на замороженной базе), instruction tuning, DPO/RLHF для выравнивания предпочтений. Для закрытых исходных кодов, таких как OpenAI или Anthropic, предлагается hosted fine-tuning. Для открытых моделей доступны инструменты, такие как peft, trl, axolotl от Hugging Face или unsloth.
Качество данных имеет первостепенное значение, и даже небольшое количество высококачественных примеров может превзойти большое количество средних примеров. Например, 500 отличных примеров могут быть более полезными, чем 50000 средних примеров.
Когда применять
Настройка инструкций рекомендуется применять после промптинга и RAG, если они не обеспечивают требуемого качества. Fine-tuning следует использовать, когда (а) в домене существует специфический словарный запас или стиль, который не может быть обобщен, (б) требуется последовательный структурированный вывод, (в) задержка является критическим фактором (например, fine-tuning маленькой модели из output frontier). Методы LoRA и QLoRA делают fine-tuning доступным на одной GPU, что значительно снижает затраты на обучение.
Типичные ошибки
Типичные ошибки при настройке инструкций включают fine-tuning, когда промптинг или RAG могут решить задачу (ловушка затрат), загрязнение данных обучения eval-данными (что приводит к переобучению), катастрофическое забывание (когда модель теряет общие способности ради узкой задачи), отсутствие версионирования данных обучения и рецептов (что делает невозможным воспроизведение результатов).