TL;DR. Мы построили пайплайн, который превращает базу источников в черновики статей. Внутри — ингестация данных, RAG-поиск по векторному хранилищу, оркестрация нескольких агентов и отдельный слой контроля качества. За три месяца время подготовки черновика сократилось с 6–8 часов до 40–50 минут, а стоимость одной статьи — с примерно 4500 до 1300 рублей. Точку безубыточности проект прошёл на четвёртом месяце. Ниже — как это устроено, сколько стоит и где мы набили шишки.
Задача: почему ручная редактура не масштабировалась
Мы выпускаем экспертный контент по нескольким техническим направлениям. До автоматизации типовой цикл выглядел так: редактор собирал источники, вычитывал их, писал черновик, проверял факты, приводил текст к редполитике. На одну статью уходило 6–8 часов, и это без учёта согласований.
Дольше всего шла подготовка — поиск и сверка. Редактору приходилось держать в голове десятки документов, находить нужные фрагменты и не переписывать одно и то же по третьему разу. При 30–40 статьях в месяц команда упиралась в рабочие часы, и выпуск дальше не рос.
Цель мы поставили узкую: снять с редактора рутину подготовки и первичного черновика. Заменять его не собирались. LLM (Large Language Model, большая языковая модель) пишет связный текст, но наших источников не знает и склонна к галлюцинациям — уверенным выдумкам. Значит, модели нужно давать факты под руку, а результат проверять. Так и сложилась архитектура из трёх частей: поиск по знаниям, генерация агентами и контроль качества.
Архитектура пайплайна: от источников к контексту
Первый блок — ингестация данных. Мы собираем материалы из внутренней базы, публичных документов и наших прошлых статей, приводим их к единому формату и режем на фрагменты — чанки. Чанкинг делаем по смысловым границам, а не по фиксированному числу символов: абзац или логический блок целиком, с небольшим перекрытием. Фрагмент не обрывается на середине мысли, поэтому поиск потом находит точнее.
Каждый чанк мы превращаем в эмбеддинги — числовые векторы, которые кодируют смысл текста. Для этого используем Sentence-transformers: модель работает локально, не гоняет данные наружу и обходится дёшево. Векторы складываем в векторное хранилище. Начинали на ChromaDB — его хватает, чтобы поднять прототип за день. Позже протестировали Weaviate и Pinecone. Для нашего объёма — сотни тысяч фрагментов — остались на self-hosted Weaviate, потому что так лучше сходится юнит-экономика, а Pinecone держим запасным управляемым вариантом.
Дальше работает RAG (Retrieval-Augmented Generation, генерация с извлечением данных). Когда приходит тема статьи, система запускает семантический поиск по хранилищу и находит фрагменты, близкие к запросу по смыслу, а не по совпадению слов. Поэтому редактор формулирует тему своими словами и ключевики не подбирает. Найденные фрагменты становятся контекстом для модели.
Не сразу мы заметили, что семантический поиск возвращает много «около-релевантного». Тогда между поиском и генерацией поставили reranker (ранкировщик) — отдельную модель, которая заново сортирует кандидатов по точной релевантности к запросу и отсекает лишнее. Без него в контекстное окно попадал мусор, и это ело токены и качество. С reranker в модель уходят 8–12 нужных фрагментов вместо 40 случайных.
Смысл RAG в том, чтобы не полагаться только на параметрическую память — то, что модель «помнит» из обучения. Эта память устаревает и ничего не знает о наших внутренних данных. RAG подставляет свежие факты в контекст на лету, и статья опирается на источники, которые можно проверить.
Оркестрация агентов: цепочка из трёх ролей и критик
От идеи «один большой промпт делает всё» мы отказались быстро. Такой подход даёт средний результат по всем задачам сразу: и структура рыхлая, и факты плывут. Поэтому мы разбили работу на роли и связали их в промпт-цепочки (prompt chains) — последовательность шагов, где выход одного шага становится входом следующего.
Оркестрация устроена так. Первый агент собирает структуру: по теме и найденному контексту предлагает план из заголовков H2. Второй наполняет каждый раздел строго по переданным фрагментам. Третий приводит текст к нашей редполитике: тон, обращение на «вы», запрет на хайп. Каждый шаг — отдельный вызов с узкой задачей, и результат так получается стабильнее, чем у одного большого промпта.
Отдельно стоит агент-критик. Его задача — не писать, а придираться: он проверяет, что у каждого фактического утверждения есть источник в контексте, ищет логические разрывы и отмечает места, где текст ушёл в воду. Если критик находит проблемы, запускается итеративная генерация: раздел переписывается с учётом замечаний. Обычно хватает одного-двух проходов. Если нужно больше, значит, тема плохо покрыта источниками.
Для оркестрации мы сравнивали LangChain, LlamaIndex и AutoGen. LlamaIndex удобен для индексации и работы с данными, и часть ингестации живёт на нём. LangChain взяли для сборки промпт-цепочек. AutoGen пробовали для многоагентного диалога «писатель — критик»: он выразителен, но для нашего линейного процесса оказался избыточным, поэтому в проде мы оставили собственную оркестрацию попроще поверх LangChain. Фреймворк в итоге выбираем под конкретный шаг пайплайна.
Одной моделью мы тоже не ограничились. Основную генерацию ведёт Claude Sonnet: он хорошо держит длинный контекст и стиль. Часть задач, где нужна была другая интонация, гоняли на моделях OpenAI. Дешёвые массовые операции — классификацию, короткие переформулировки — отдали self-hosted LLM на базе Mistral, чтобы не тратить на них токены платных API. Пригодилось и то, что модели следуют сложным инструкциям и держат заданную роль, хотя явно мы их этому не программировали.
Контроль качества: как мы ловим галлюцинации
Ни один черновик не попадает к редактору без проверки. Поверх агентов стоит отдельный слой контроля качества (QA layer) — набор автоматических проверок, через которые проходит каждый текст.
Первый рубеж — фактчекинг. Каждое фактическое утверждение система сверяет с фрагментами, которые были в контексте. Если утверждению не находится опоры в источниках, оно получает пометку «непроверенное». Это наша защита от галлюцинаций LLM: модель не должна вводить факты, которых нет в переданных данных, а если ввела — мы это ловим.
Второй рубеж — формальные проверки. Мы сверяем текст со структурой (нужное число разделов, есть ли TL;DR), ищем стоп-слова из редполитики и смотрим на длину абзацев. Текст, который нарушает правила, уходит на доработку ещё до того, как его увидит человек.
QA layer не доводит статью до идеала, зато редактор сразу видит спорные места: система их подсвечивает. Роль редактора от этого меняется — теперь он разбирает отмеченные точки и по каждой принимает решение. Последнее слово о публикации мы осознанно оставили за человеком: автоматическому фактчекингу доверяем только фильтрацию.
Одобренный текст пайплайн сам отправляет в CMS через API: создаёт черновик в нашей системе управления контентом, уже с заголовками и метаданными. Редактору не нужно переносить текст руками — он открывает почти готовую запись.
Юнит-экономика: проект окупился на четвёртом месяце
Автоматизация имеет смысл, только если сходится по деньгам. Юнит-экономику мы считали с самого начала: API-вызовы LLM — переменные расходы, и их легко упустить.
Основная статья затрат — токены. Одна статья проходит через несколько агентов, и каждый вызов тратит токены на вход (контекст плюс инструкции) и на выход. Здесь окупились два решения: reranker урезал контекст и снял лишние токены на входе, а дешёвые операции мы вынесли на self-hosted Mistral и не платим за них по тарифам платных API.
Цифры получились такие:
Инфраструктура — векторное хранилище, self-hosted модель, сервисы на FastAPI — это постоянные расходы. Мы сопоставили их с экономией на каждой статье: при нашем объёме проект вышел в плюс на четвёртом месяце. ROI считаем консервативно — по сэкономленным часам редакторов и приросту выпуска. За первый год возврат оцениваем примерно в 2,7x к вложениям в разработку и инфраструктуру.
Окупается это только на объёме. Если бы мы выпускали 5 статей в месяц, экономика бы не сошлась: постоянные расходы на инфраструктуру не отбивались бы. Поэтому объём лучше посчитать до старта.
Грабли: промпт-дрейф, нехватка источников и полная автоматизация
Первое — промпт-дрейф (prompt drift). Правки в инструкциях со временем накапливались, и поведение агентов незаметно уходило в сторону: то тон плыл, то структура ломалась. Лечим это дисциплиной промпт-инжиниринга: версионируем промпты, держим набор тестовых тем и регулярно их прогоняем — прогон показывает, не поехало ли что-то после правки.
Второе — качество упирается в источники. Если по теме в базе мало материалов, никакая LLM не спасёт: RAG подставит скудный контекст, и статья выйдет пустой. Мы научились оценивать покрытие темы ещё на этапе поиска и, когда материалов не хватает, возвращаем редактору сигнал «данных мало» вместо красивой воды.
Третье — граница автоматизации. Пайплайн доводит статью до 80–85% готовности, и дальше мы не идём: попытки закрыть оставшиеся проценты автоматикой стоили непропорционально дорого и повышали риск незамеченных ошибок. Человек на выходе — не пережиток, а часть архитектуры.
Работает связка целиком: RAG даёт факты, оркестрация агентов — структуру и роли, QA layer — безопасность, юнит-экономика — смысл всё это держать. Редакцию мы сохранили, но убрали из неё рутину и подняли потолок выпуска.