Масштабная электронная коммерция: как инженеры-программисты систематически решают хаос атрибутов

Сортировка атрибутов продукта кажется тривиальной задачей — пока не приходится выполнять её для трёх миллионов SKU. Скрытая сложность систем электронной коммерции заключается не в крупных вызовах, таких как распределённый поиск или инвентаризация в реальном времени. Настоящее ядро — это согласованность данных: размеры, цвета, материалы и другие атрибуты продукта должны быть структурированы точно и предсказуемо.

Проблема реальна. В реальных каталогах товаров встречаются хаотичные значения: размеры как “XL”, “Small”, “12cm”, “Large”, “M”, “S” смешаны. Цвета как “RAL 3020”, “Crimson”, “Red”, “Dark Red”. Материалы как “Steel”, “Carbon Steel”, “Stainless”, “Stainless Steel”. Каждая отдельная несогласованность кажется безобидной, но при умножении на миллионы товаров она становится системной. Фильтры работают непредсказуемо, поисковые системы теряют релевантность, а пользовательский опыт страдает.

Основная стратегия: гибридный интеллект с ясными правилами

Вместо использования чёрного ящика ИИ, инженер-разработчик создал контролируемую гибридную конвейерную систему. Цель заключалась не в мистической автоматизации, а в решении, которое одновременно:

• Объяснимо
• Предсказуемо работает
• Масштабируется на миллионы данных
• Может управляться человеком

Эта система объединяет контекстное мышление больших языковых моделей (LLMs) с детерминированными правилами и контролем со стороны оператора. Она действует умно, оставаясь при этом прозрачной — ИИ с ограничителями, а не неконтролируемый AI.

Офлайн-обработка вместо реального времени: стратегическое решение

Вся обработка атрибутов выполняется в фоновых задачах, а не в системах в реальном времени. Это сознательный выбор, поскольку системы реального времени в масштабе электронной коммерции приводят к:

• Непредсказуемой задержке
• Хрупким зависимостям
• дорогостоящим пиковым нагрузкам
• операционной нестабильности

В свою очередь, офлайн-задачи обеспечивают:

• Высокий пропуск через пакетную обработку без влияния на живую систему
• Устойчивость, так как сбои не затрагивают клиентский трафик
• Контроль затрат за счёт обработки в менее загружённые часы
• Изоляцию задержек LLM от страниц товаров
• Атомарные, предсказуемые обновления

Это разделение между интерфейсами для клиентов и системами обработки данных критически важно при миллионах SKU.

Обработка: от сырых данных к интеллекту

Перед применением ИИ происходит важный этап предварительной обработки:

• Удаление лишних пробелов
• Удаление пустых значений
• Дедупликация дубликатов
• Структурирование контекстной информации по категориям

Этот шаг значительно уменьшает шум и существенно повышает способность модели к мышлению. Правило простое: чистый ввод — надёжный вывод. В масштабах даже небольшие ошибки позже приводят к накопительным проблемам.

Затем сервис LLM получает:

• Очистленные значения атрибутов
• Хлебные крошки категорий для контекстуализации
• Метаданные атрибутов

С этим контекстом модель может различать, что “напряжение” в электроинструментах — числовое значение, “размер” в одежде следует стандартным размерам, “цвет” может соответствовать стандартам RAL. Возвращаемые данные включают:

• Отсортированные значения в логическом порядке
• Уточнённые имена атрибутов
• Решение: детерминированная или контекстуальная сортировка

Детеминистические резервные варианты: ИИ только там, где нужно

Не все атрибуты требуют обработки ИИ. Конвейер автоматически определяет, какие атрибуты лучше обрабатывать с помощью детерминированной логики:

• числовые диапазоны (быстрее, предсказуемее)
• значения с единицами измерения (2cm, 5cm, 12cm → 2cm, 5cm, 12cm, 20cm)
• простые множества (без неоднозначности)

Это сокращает количество вызовов LLM и делает систему более эффективной.

Контроль человека и доверие

Каждая категория может быть помечена как LLM_SORT (модель решает) или MANUAL_SORT (оператор определяет). Эта двойная система обеспечивает, что окончательные решения принимают люди, а ИИ выполняет основную работу. Операторы могут в любой момент переписать модель, не прерывая работу системы — важный механизм доверия.

Все результаты сохраняются в базе данных MongoDB:

• Отсортированные значения атрибутов
• Уточнённые имена атрибутов
• Категорийные теги сортировки
• Поля sortOrder, связанные с продуктами

Это обеспечивает простую проверку, перезапись, повторную обработку и синхронизацию с другими системами.

Линейка данных: от сырых данных к поиску

После сортировки данные поступают в:

• Elasticsearch для поиска по ключевым словам с согласованной логикой фильтрации
• Vespa для семантического и векторного поиска

Это гарантирует:

• фильтры отображаются в логическом порядке
• страницы товаров показывают согласованные атрибуты
• поисковые системы ранжируют точнее
• клиенты ищут по категориям интуитивно

Общий обзор архитектуры

Модульный конвейер работает по следующему сценарию:

1. Данные о продуктах поступают из системы управления информацией о товарах
2. Задача извлечения атрибутов собирает значения и контекст категорий
3. Эти данные передаются в сервис сортировки ИИ
4. Обновлённые документы товаров сохраняются в MongoDB
5. Задача синхронизации отправляет обновления в систему управления информацией о товарах
6. Задачи синхронизации Elasticsearch и Vespa передают отсортированные данные в свои поисковые системы
7. API-сервисы связывают поисковые системы с клиентскими приложениями

Этот цикл гарантирует, что любой отсортированный или вручную заданный атрибут отображается в поиске, мерчендайзинге и пользовательском опыте.

Практические результаты

Преобразование сырых значений в структурированный вывод:

Эти примеры демонстрируют взаимодействие контекстного мышления и ясных правил.

Измеримые показатели

• Последовательная сортировка атрибутов для более чем 3М+ SKU
• Предсказуемая числовая сортировка с помощью детерминированных резервных вариантов
• Полный контроль со стороны оператора через ручное тегирование
• Более чистые страницы товаров и более интуитивные фильтры
• Улучшенная релевантность и ранжирование поиска
• Повышенное доверие клиентов и рост конверсии

Основные выводы

• Гибридные конвейеры превосходят чистый ИИ в масштабах
• Контекст — фундамент для точности LLM
• Офлайн-задачи необходимы для пропускной способности и устойчивости
• Механизмы ручного переписывания укрепляют доверие
• Чистые входные данные — основа надёжных результатов ИИ

Самое важное: основные проблемы электронной коммерции зачастую не в ярких, а в тихих вызовах, которые ежедневно проявляются на каждой странице товара. Благодаря умной архитектуре системы и гибридным подходам к ИИ хаос становится систематичным и масштабируемым.