Commerce électronique à grande échelle : comment les ingénieurs logiciels résolvent systématiquement le chaos des attributs

Trierung des Produktattributs mag banal erscheinen – jusqu’à ce qu’il faille le faire pour trois millions de SKUs. La complexité cachée des systèmes e-commerce ne réside pas dans des défis majeurs comme la recherche distribuée ou l’inventaire en temps réel. La véritable colonne vertébrale est la cohérence des données : tailles, couleurs, matériaux et autres attributs produits doivent être structurés de manière précise et prévisible.

Le problème est réel. Dans de véritables catalogues produits, on voit des valeurs chaotiques : tailles comme “XL”, “Small”, “12cm”, “Large”, “M”, “S” mélangées. Couleurs comme “RAL 3020”, “Crimson”, “Red”, “Dark Red”. Matériaux comme “Steel”, “Carbon Steel”, “Stainless”, “Stainless Steel”. Chaque incohérence semble anodine, mais multipliée par des millions de produits, elle devient systémique. Les filtres fonctionnent de manière imprévisible, les moteurs de recherche perdent en pertinence, et l’expérience client en pâtit.

La stratégie clé : Intelligence hybride avec règles claires

Plutôt que d’utiliser une IA boîte noire, un ingénieur logiciel a conçu une pipeline hybride contrôlée. L’objectif n’était pas une automatisation mystique, mais une solution qui :

• Est explicable
• Fonctionne de manière prévisible
• Se scale sur des millions de données
• Peut être contrôlée par des humains

Cette pipeline combine la pensée contextuelle des grands modèles de langage (LLMs) avec des règles déterministes et un contrôle humain. Elle agit intelligemment, tout en restant toujours traçable – une IA avec des garde-fous, pas une IA hors de contrôle.

Traitement hors ligne plutôt qu’en temps réel : un choix stratégique

Tout le traitement des attributs s’effectue dans des jobs en arrière-plan, pas dans des systèmes en temps réel. Ce choix a été délibéré, car des pipelines en temps réel à l’échelle du e-commerce entraînent :

• Une latence imprévisible
• Des dépendances fragiles
• Des pics de calcul coûteux
• Une instabilité opérationnelle

Les jobs hors ligne offrent quant à eux :

• Un débit élevé grâce au traitement par lots sans impacter le système en direct
• Une résilience, car les défaillances n’affectent pas le trafic client
• Un contrôle des coûts via un traitement programmé durant les heures creuses
• Une isolation de la latence des LLM par rapport aux pages produits
• Des mises à jour atomiques et prévisibles

Cette séparation entre interfaces client et pipelines de traitement des données est cruciale pour des millions de SKUs.

La pipeline de traitement : des données brutes à l’intelligence

Avant d’appliquer l’IA, une étape critique de prétraitement est effectuée :

• Suppression des espaces superflus
• Élimination des valeurs vides
• Dédouanement des doublons
• Structuration des informations de contexte par catégorie

Cette étape réduit considérablement le bruit et améliore la capacité de réflexion du modèle de langage. La règle est simple : entrée propre = sortie fiable. À grande échelle, de petites erreurs peuvent s’accumuler et causer des problèmes majeurs.

Le service LLM reçoit alors :

• Des valeurs d’attribut nettoyées
• Des breadcrumbs de catégorie pour contextualiser
• Des métadonnées d’attribut

Avec ce contexte, le modèle peut faire la différence entre, par exemple, “Spannung” dans les outils électriques (numérique), “Größe” dans les vêtements (tailles standard), ou “Farbe” qui peut correspondre à une norme RAL. La sortie comprend :

• Des valeurs ordonnées dans un ordre logique
• Des noms d’attribut affinés
• Une décision : tri déterministe ou contextuel

Fallbacks déterministes : l’IA seulement si nécessaire

Tous les attributs ne nécessitent pas un traitement par IA. La pipeline détecte automatiquement ceux qui sont mieux gérés par une logique déterministe :

• Plages numériques (plus rapide, plus prévisible)
• Valeurs basées sur des unités (2cm, 5cm, 12cm → 2cm, 5cm, 12cm, 20cm)
• Quantités simples (aucune ambiguïté)

Cela réduit les appels inutiles à LLM et rend le système plus efficace.

Contrôle humain et confiance

Chaque catégorie peut être marquée comme LLM_SORT (modèle décide) ou MANUAL_SORT (défini par le marchand). Ce système dual garantit que les décisions finales sont prises par des humains, tandis que l’IA effectue le travail lourd. Les marchands peuvent toujours écraser le modèle sans interrompre la pipeline – un mécanisme de confiance essentiel.

Tous les résultats sont stockés dans une base MongoDB :

• Attributs triés
• Noms d’attribut affinés
• Tags de tri liés à la catégorie
• Champs sortOrder liés au produit

Cela facilite la vérification, la modification, la réinitialisation et la synchronisation avec d’autres systèmes.

La ligne de flux de données : des données brutes à la recherche

Après tri, les données sont envoyées à :

• Elasticsearch pour une recherche par mots-clés avec une logique de filtrage cohérente
• Vespa pour une recherche sémantique et vectorielle

Ce qui garantit que :

• Les filtres apparaissent dans un ordre logique
• Les pages produits affichent des attributs cohérents
• Les moteurs de recherche classent plus précisément
• Les clients explorent les catégories de façon plus intuitive

Vue d’ensemble de l’architecture

La pipeline modulaire suit ce flux :

1. Les données produits proviennent du système d’informations produits
2. Le job d’extraction d’attributs récupère les valeurs et le contexte de catégorie
3. Ces données sont transmises au service AI de tri
4. Les documents produits mis à jour sont stockés dans MongoDB
5. Le job de synchronisation sortante met à jour le système d’informations produits
6. Les jobs de synchronisation Elasticsearch et Vespa transfèrent les données triées dans leurs systèmes de recherche
7. Les services API connectent ces systèmes de recherche aux applications clientes

Ce cycle garantit que chaque attribut trié ou manuellement défini est reflété dans la recherche, le merchandising et l’expérience client.

Résultats en pratique

La transformation des valeurs brutes en sortie structurée :

Ces exemples illustrent la synergie entre réflexion contextuelle et règles claires.

Impacts mesurables

• Tri cohérent des attributs sur plus de 3M+ SKUs
• Tri numérique prévisible grâce aux fallbacks déterministes
• Contrôle total par le marchand via tagging manuel
• Pages produits plus propres et filtres plus intuitifs
• Pertinence et classement améliorés
• Confiance accrue des clients et taux de conversion en hausse

Enseignements clés

• Les pipelines hybrides surpassent l’IA pure à grande échelle
• Le contexte est fondamental pour la précision des LLM
• Les jobs hors ligne sont essentiels pour le débit et la résilience
• Les mécanismes de surclassement humain renforcent la confiance
• Des données d’entrée propres sont la base d’une sortie IA fiable

La plus grande leçon : les problèmes majeurs du e-commerce ne sont pas toujours spectaculaires, mais souvent silencieux, présents chaque jour sur chaque fiche produit. Grâce à une architecture système intelligente et à des approches hybrides, le chaos devient systématique et scalable.