Масштабирование электронной коммерции: как ИИ-управляемые конвейеры обеспечивают согласованность характеристик продуктов

В электронной коммерции часто обсуждаются крупные технические задачи, такие как распределённые поисковые запросы, управление запасами в реальном времени и системы рекомендаций. Но за кулисами скрывается упорная систематическая проблема, которая занимает умы продавцов по всему миру: управление и нормализация значений атрибутов продуктов. Эти значения лежат в основе обнаружения товаров. Они напрямую влияют на фильтры, функции сравнения, ранжирование поиска и логики рекомендаций. В реальных каталогах такие значения редко бывают последовательными. Часто встречаются дубли, ошибки форматирования или семантическая неоднозначность.

Простой пример иллюстрирует масштаб проблемы: при указании размера могут сосуществовать “XL”, “Small”, “12cm”, “Large”, “M” и “S”. В цветах встречаются значения вроде “RAL 3020”, “Crimson”, “Red” и “Dark Red” — стандарты вроде RAL 3020 и свободные описания перемешиваются без контроля. Умножая эти несогласованности на миллионы SKU, становится очевидна глубина проблемы. Фильтры становятся ненадёжными, поисковые системы теряют точность, ручная очистка данных превращается в работу Сизифа, а клиенты сталкиваются с разочарованием при поиске товаров.

Основная стратегия: интеллект с руководящими рамками

Чистое решение на базе черного ящика ИИ было недопустимо. Такие системы трудно понять, отладить и управлять ими при миллионах SKU. Вместо этого целью стала предсказуемая, объяснимая и управляемая человеком пайплайн — ИИ, который действует разумно, не теряя контроля.

Ответ заключался в гибридной архитектуре, сочетающей контекстуальный LLM-интеллект с детерминированными правилами и контролем продавца. Система должна была соответствовать трём критериям:

• Объяснимость при принятии решений
• Предсказуемость при процессах
• Возможность вмешательства человека при критичных данных

Офлайн-обработка вместо потоковых пайплайнов

Ключевым архитектурным шагом стало использование офлайн-заданий вместо потоковых систем в реальном времени. На первый взгляд — шаг назад, но стратегически это оправдано:

Реалтайм-системы вызывают непредсказуемую задержку, хрупкие зависимости, дорогие пики нагрузки и повышенную уязвимость. Офлайн-задания же обеспечивают:

• Пропускную способность: обработка огромных объёмов данных без нагрузки на живую систему
• Надёжность: ошибки обработки никогда не влияют на клиентский трафик
• Оптимизацию затрат: расчёты можно планировать в периоды низкой нагрузки
• Изоляцию: задержки LLM не влияют на производительность страниц товаров
• Предсказуемость: обновления происходят атомарно и воспроизводимо

При миллионах товарных позиций такая декупликация от клиентских систем и обработки данных — необходимость.

Очистка данных как фундамент

Перед применением ИИ важен этап предварительной обработки для устранения шума. Модель получала только чистые, ясные входные данные:

• Нормализация пробелов (в начале и в конце строк)
• Удаление пустых значений
• Удаление дублирующихся значений
• Упрощение контекста категории (превращение хлебных крошек в структурированные строки)

Этот, казалось бы, простой шаг значительно повысил точность языковой модели. Универсальный принцип: при таком объёме данных даже небольшие ошибки на входе могут привести к каскаду проблем.

Контекстуальная обработка LLM

Модель не выполняла механическую сортировку. Благодаря достаточному контексту она могла применять семантическое рассуждение:

Модель получала:

• очищенные значения атрибутов
• метаданные категории (например, “Электроинструменты”, “Одежда”, “Аппаратное обеспечение”)
• классификации атрибутов

С этим контекстом модель понимала:

• что “напряжение” в электроприборах должно сортироваться числовым образом
• что “размер” в одежде следует установленной прогрессии (S, M, L, XL)
• что “цвет” в определённых категориях учитывает стандартизации вроде RAL 3020
• что “материал” имеет семантические иерархии

Модель возвращала:

• упорядоченный список значений
• уточнённые описания атрибутов
• классификацию: детерминированную или контекстуальную сортируемость

Это позволяло пайплайну гибко обрабатывать разные типы атрибутов, не прописывая жёсткие правила для каждой категории.

Детерминированная логика fallback

Не все атрибуты требовали ИИ. числовые диапазоны, единицы измерения и простые множества выигрывали в скорости и предсказуемости:

• Быстрее обработки
• Гарантированная предсказуемость
• Меньшие затраты
• Исключение неоднозначности

Пайплайн автоматически распознавал такие случаи и применял детерминированную сортировку. Система оставалась эффективной и избегала лишних вызовов LLM.

Контроль человека через системы тегирования

Для критичных атрибутов продавцы получали финальное право решения. Каждая категория могла иметь теги:

• LLM_SORT: модель определяет порядок
• MANUAL_SORT: продавец явно задаёт порядок

Двойная система работала в тандеме: ИИ автоматизировал рутинные задачи, человек сохранял контроль. Это повышало доверие и позволяло при необходимости переопределять решения модели, не останавливая обработку.

Хранение в централизованной базе данных

Все результаты сохранялись прямо в MongoDB, что делало архитектуру простой и поддерживаемой:

MongoDB использовалась как оперативное хранилище для:

• упорядоченных значений атрибутов
• уточнённых названий атрибутов
• категорийных тегов сортировки
• метаданных сортировочных полей

Это обеспечивало лёгкую проверку, целенаправленное переопределение, повторную обработку категорий и бесшовную синхронизацию с внешними системами.

Интеграция с поисковой инфраструктурой

После нормализации значения попадали в два поисковых движка:

• Elasticsearch: для ключевых фильтров и фасетного поиска
• Vespa: для семантического и векторного поиска товаров

Эта двойственность обеспечивала:

• логичное и ожидаемое отображение фильтров
• согласованные атрибуты на страницах товаров
• более точное ранжирование продуктов
• более интуитивный пользовательский опыт

Поисковый уровень — место, где атрибутная согласованность наиболее заметна и ценна для бизнеса.

Практические результаты трансформации

Пайплайн преобразовал хаотичные исходные значения в структурированные выводы:

Особенно в случае цветовых атрибутов стало очевидно значение контекстуализации: система распознала, что RAL 3020 — стандарт цвета, и разумно расположила его между семантически похожими значениями.

Общая архитектура системы

Модульный пайплайн управлял следующими этапами:

1. Извлечение данных товаров из системы PIM (Product Information Management)
2. Выделение значений атрибутов и контекста категории через задачу извлечения атрибутов
3. Передача очищенных данных в сервис сортировки ИИ
4. Обновление товарных документов в MongoDB
5. Задача синхронизации для обновления исходной системы PIM
6. Задачи синхронизации Elasticsearch и Vespa — для обновления индексов
7. API-слои связывают поисковые системы с клиентскими приложениями

Этот рабочий процесс обеспечивал, что любой нормализованный атрибут — будь то сортировка ИИ или ручная — отображался последовательно в поиске, мерчендайзинге и пользовательском опыте.

Почему офлайн-обработка — правильный выбор

Потоковые системы в реальном времени приводили бы к задержкам, непредсказуемым затратам и хрупким зависимостям. Офлайн-задания позволяли:

• Эффективную пакетную обработку
• Асинхронные вызовы LLM без давления в реальном времени
• Надёжные механизмы повторных попыток и очереди ошибок
• Временные окна для проверки человеком
• Предсказуемые, планируемые затраты на вычисления

Компромисс — небольшая задержка между сбором данных и их отображением, но выигрыш — надежность в масштабах, ценность для клиентов.

Бизнесовые и технические эффекты

Решение дало измеримые результаты:

• Последовательная сортировка атрибутов для более чем 3 миллионов SKU
• Предсказуемая сортировка числовых значений с помощью детерминированных fallback-методов
• Децентрализованный контроль продавца через ручное тегирование
• Более чистые страницы товаров и интуитивные фильтры
• Улучшенная релевантность поиска и точность ранжирования
• Повышенное доверие клиентов и конверсия

Это был не просто технический проект; это — прямой драйвер улучшения пользовательского опыта и роста продаж.

Ключевые выводы для масштабирования продукта

• Гибридные системы превосходят чистый ИИ в больших масштабах. Руководящие рамки и контроль — обязательны.
• Контекст — мультипликатор точности LLM. Чистые, категорийно-важные входные данные дают надёжные результаты.
• Офлайн-обработка — не компромисс, а архитектурная необходимость для пропускной способности и устойчивости.
• Возможность ручного переопределения укрепляет доверие. Системы, управляемые человеком, быстрее принимаются.
• Качество данных на входе определяет надёжность на выходе. Очистка — не накладные расходы, а основа.

Итоговая мысль

Нормализация значений атрибутов кажется простой задачей — пока не нужно решать её для миллионов вариантов. Комбинация интеллектуальных возможностей языковых моделей, детерминированных правил и контроля продавца превратила скрытую, упорную проблему в элегантную, поддерживаемую систему.

Это напоминание: самые ценные технические победы часто не в инновациях, а в систематическом решении незаметных проблем — тех, что ежедневно влияют на каждую страницу товара, но редко получают внимание.