Готовая языковая модель по API или дообучение: что выбрать для бизнес-задачи

Когда достаточно готовой модели по API

YandexGPT, GigaChat, модели OpenAI и другие доступные по API решения уже умеют анализировать текст, понимать смысл обращения, извлекать информацию и формировать ответы.

Использование API оправданно, если задача каждый раз немного отличается и требует гибкости.

Например:

• подготовить черновик ответа клиенту;
• пересказать длинный документ;
• выделить главное из переписки;
• извлечь реквизиты из письма или договора;
• сравнить две версии документа;
• определить тему обращения;
• подготовить описание товара;
• найти ответ в базе знаний компании с помощью RAG;
• сформировать отчёт по собранным данным.

Рассмотрим обработку входящей почты. Один клиент спрашивает о цене, другой сообщает о проблеме, третий отправляет документы, четвёртый описывает нестандартную ситуацию.

Здесь полезна именно универсальная языковая модель. Она может понять содержание письма, с помощью RAG найти подходящую информацию в базе знаний, проверить данные в CRM и подготовить ответ с учётом контекста.

Преимущество API — возможность быстро запустить решение и проверить его на реальных обращениях. Не нужно заранее собирать большой набор примеров и проводить обучение. Кроме того, можно сравнить несколько провайдеров и выбрать подходящий по качеству, стоимости и требованиям к обработке данных.

Для большинства первых внедрений это правильная отправная точка.

Когда лучше дообучить готовую модель

Дообучение, которое также называют fine-tuning, — это дополнительное обучение уже существующей модели на примерах конкретной задачи.

Оно не делает модель «умнее вообще». Его цель — научить её стабильнее выполнять определённую операцию: относить обращения к нужным категориям, извлекать заданные поля или формировать ответы в установленном формате.

Обычно дообучение имеет смысл, если выполняются четыре условия:

• одна и та же задача повторяется сотни или тысячи раз;
• правильный результат можно однозначно показать на примерах;
• у компании уже накоплены проверенные данные;
• универсальная модель работает недостаточно стабильно или обходится слишком дорого.

В этом случае необязательно каждый раз обращаться к большой LLM. Можно дообучить более компактную модель, которая будет решать конкретную задачу быстрее, дешевле и предсказуемее.

Классификация обращений

Предположим, компания ежедневно получает тысячи писем. Каждому нужно присвоить одну из 30 категорий и направить в нужный отдел.

На пилотном этапе эту задачу можно решать через API YandexGPT, GigaChat или другой LLM. Но если категории стабильны и уже накоплены правильно размеченные обращения, разумнее дообучить специализированный классификатор.

Для этого можно использовать:

• классификатор на базе YandexGPT Lite;
• RuBERT или другую BERT-модель для русского языка;
• ModernBERT или похожую текстовую модель для более сложной классификации.

Такая модель не будет писать ответы и рассуждать. Зато она сможет быстро и дёшево определять тему, приоритет, тип клиента или нужный маршрут обработки.

Строгий формат или корпоративный стиль

Другая ситуация — модель должна постоянно формировать однотипный результат: короткий ответ клиенту, заключение по документу или карточку товара в строго определённом стиле.

Сначала стоит попробовать обычную LLM с инструкцией и примерами. Но если даже после настройки модель периодически нарушает формат, пишет слишком длинно или отклоняется от нужного тона, можно рассмотреть дообучение.

Подходящие варианты:

• YandexGPT Lite с дообучением методом LoRA;
• открытые модели семейства Qwen;
• модели семейства Llama;
• другие компактные открытые LLM, которые можно разместить в собственной инфраструктуре.

Например, Qwen можно дообучить на парах «исходное обращение — утверждённый ответ». Так модель закрепит нужную структуру, стиль и правила обработки типовых ситуаций.

Официальная документация предусматривает дообучение YandexGPT Lite и классификаторов, для моделей Qwen доступны разные способы дообучения, а Meta публикует сценарии fine-tuning моделей Llama.

Извлечение данных из однотипных документов

Если компания обрабатывает несколько десятков разных договоров, счетов и актов, удобнее использовать универсальную LLM по API.

Если же ежедневно поступают тысячи документов одного формата, а нужно извлекать один и тот же набор полей, специализированная дообученная модель может оказаться выгоднее.

В зависимости от типа документов это может быть:

• BERT-подобная модель для поиска реквизитов и других сущностей в тексте;
• LayoutLM для документов, где важно расположение элементов;
• компактная Qwen или Llama для формирования структурированного результата.

В этом случае дообучение превращает универсальную технологию в узкий производственный инструмент.

Чему не нужно обучать модель

Не следует дообучать модель на прайс-листах, инструкциях, описаниях товаров и другой информации, которая регулярно меняется.

Для работы с такими данными применяется RAG — поиск по базе знаний перед формированием ответа. Система находит подходящие документы или фрагменты текста и передаёт их языковой модели вместе с вопросом пользователя.

Например, клиент спрашивает об условиях возврата. Система находит актуальный регламент, выбирает относящиеся к вопросу пункты и только после этого просит модель сформировать ответ.

У такого подхода есть несколько преимуществ:

• информация остаётся актуальной;
• документы можно обновлять без переобучения модели;
• к ответу можно прикладывать ссылку на источник;
• разным сотрудникам можно предоставлять доступ к разным разделам базы знаний;
• проще проверить, на основании каких данных был сформирован ответ.

При дообучении сведения закрепляются внутри модели. Быстро изменить отдельный факт или гарантировать использование его актуальной версии сложно. RAG хранит знания отдельно, поэтому лучше подходит для цен, характеристик товаров, договоров, инструкций, регламентов и внутренней документации.

При этом RAG и дообучение не исключают друг друга. Дообученная модель может стабильно соблюдать формат и правила компании, а через RAG получать актуальные сведения для конкретного ответа.

Простое правило:

• факты и документы передаются модели через RAG;
• устойчивое поведение закрепляется через дообучение.

Обновился тариф — меняем документ в базе знаний. Изменился стандарт подготовки ответа — обновляем примеры и при необходимости дообучаем модель.

Как выбрать подход

Ситуация	Подход
Задачи разные, много нестандартных ситуаций	Универсальная LLM по API
Нужно отвечать на основе актуальных документов	LLM по API и RAG
Нужно проверить гипотезу или быстро запустить пилот	LLM по API
Одна операция повторяется в большом объёме	Рассмотреть дообучение
Есть сотни или тысячи проверенных примеров	Дообучение становится практически возможным
Требуется только определить категорию или извлечь поля	Специализированная модель вместо большой LLM
Нужен стабильный стиль или строгий формат	Дообучение компактной LLM
Нужны и актуальные знания, и стабильное поведение	RAG и дообучение
Правила и данные постоянно меняются	LLM по API и RAG

С чего начинать бизнесу

Начинать с дообучения обычно рано. Сначала нужно проверить готовую LLM на реальных данных и понять, где именно она ошибается.

Если ей не хватает актуальной информации — подключить RAG и базу знаний.

Если плохо сформулированы правила — улучшить инструкции.

Если задача стала массовой, а ошибки повторяются по одному сценарию — собрать исправленные примеры и оценить дообучение специализированной модели.

Поэтому выбор между API и дообучением — это не выбор между простым и профессиональным решением. Это выбор между универсальным инструментом и специализированным.

Для разнообразных интеллектуальных задач обычно лучше готовая LLM по API. Для работы с актуальной информацией — LLM в связке с RAG. Для узких, массовых и хорошо формализованных операций дообучение способно дать более высокую стабильность и снизить стоимость обработки.

Нужно выбрать подход к AI для вашей задачи?

В GLUKHOV.DIGITAL мы сначала проверяем задачу на реальных примерах, а затем выбираем подход: готовую LLM, RAG, специализированную модель или их комбинацию. Это позволяет использовать дообучение там, где оно действительно даёт бизнес-эффект, а не усложнять решение ради самой технологии.

Обсудить задачу →