Gestion de données évolutive : Comment maintenir la cohérence des valeurs d'attribut dans de grands catalogues e-commerce

Dans le commerce électronique, les discussions techniques portent souvent sur des sujets tels que les systèmes de recherche distribués, la gestion en temps réel des stocks ou l’optimisation du processus de paiement. Cependant, un problème systémique souvent sous-estimé reste dissimulé sous la surface : la gestion fiable et la standardisation des attributs produits sur des millions de SKUs.

Le problème caché : le chaos des attributs dans la réalité

Les attributs constituent la base de la découverte des produits. Ils contrôlent la fonctionnalité des filtres, les comparaisons de produits, les algorithmes de classement dans la recherche et les systèmes de recommandation. Dans les catalogues produits réels, ces valeurs sont rarement structurées et cohérentes. Un exemple simple : l’attribut “Taille” pourrait apparaître dans un jeu de données comme [“XL”, “Small”, “12cm”, “Large”, “M”, “S”], tandis que “Couleur” pourrait être enregistré comme [“RAL 3020”, “Crimson”, “Red”, “Dark Red”].

Isolément, ces incohérences semblent triviales. Mais si l’on scale ces problèmes sur 3 millions de SKUs avec des dizaines d’attributs chacun, cela devient un problème systémique critique. Les filtres deviennent imprévisibles, les moteurs de recherche perdent en pertinence, et la navigation client devient de plus en plus frustrante. Pour les opérateurs de grandes plateformes e-commerce, une correction manuelle de ces valeurs d’attributs devient un cauchemar opérationnel.

Une approche hybride : IA avec des limites plutôt que des systèmes boîte noire

Le défi consistait à créer un système explicable, prévisible, scalable et contrôlable par l’humain. La clé n’était pas dans une boîte noire d’IA opaque, mais dans une pipeline hybride combinant de grands modèles linguistiques (LLMs) avec des règles déterministes et des mécanismes de contrôle.

Ce concept associe une pensée contextuelle intelligente à des règles claires et compréhensibles. Le système agit intelligemment si nécessaire, mais reste toujours prévisible et contrôlable.

Décision architecturale : traitement hors ligne plutôt qu’en temps réel

Tout le traitement des attributs n’est pas effectué en temps réel, mais via des jobs asynchrones en arrière-plan. Ce n’était pas une solution de compromis, mais une décision architecturale consciente :

Les pipelines en temps réel entraîneraient une latence imprévisible, des dépendances fragiles, des pics de charge et une instabilité opérationnelle. Les jobs hors ligne offrent plutôt :

• Débit élevé : de grandes quantités de données peuvent être traitées sans impacter les systèmes en direct
• Fiabilité : les erreurs dans le traitement des données n’affectent jamais le trafic client
• Contrôle des coûts : les calculs peuvent être planifiés lors de périodes de faible trafic
• Isolation du système : la latence des LLM n’impacte pas la performance des pages produits
• Consistance atomique : les mises à jour sont prévisibles et cohérentes

La séparation stricte entre systèmes orientés client et pipelines de traitement des données est essentielle lorsqu’on travaille avec des millions de SKUs.

La pipeline de traitement des attributs : des données brutes aux attributs structurés

Phase 1 : nettoyage et normalisation des données

Avant d’appliquer des modèles IA aux valeurs d’attributs, chaque jeu de données passait par une étape de prétraitement approfondie. Cette étape apparemment simple était cruciale pour la qualité des résultats ultérieurs :

• Suppression des espaces superflus
• Élimination des valeurs vides
• Déduplication
• Simplification contextuelle des hiérarchies de catégories

Cette étape de nettoyage garantissait que le LLM recevait des entrées propres et claires – une condition préalable à des résultats cohérents. Le principe “Garbage In, Garbage Out” devient encore plus critique à grande échelle.

Phase 2 : analyse intelligente des attributs par LLMs

Le système LLM ne se contentait pas d’analyser par ordre alphabétique, mais comprenait le contexte sémantique. Le service recevait :

• Des valeurs d’attribut nettoyées
• Des breadcrumbs de catégorie avec contexte hiérarchique
• Des métadonnées sur les types d’attributs

Avec ce contexte, le modèle pouvait par exemple comprendre que :

• “Tension” dans des outils électriques doit être interprété numériquement
• “Taille” dans les vêtements suit une progression de tailles connue
• “Couleur” dans certaines catégories peut respecter des standards RAL
• “Matériau” dans les produits hardware a des relations sémantiques

Le modèle renvoyait : des valeurs ordonnées, des noms d’attributs affinés et une classification entre tri déterministe ou contextuel.

Phase 3 : fallback déterministe pour l’efficacité

Tous les attributs ne nécessitaient pas un traitement IA. Les plages numériques, valeurs basées sur des unités et catégories simples bénéficiaient de :

• Traitement plus rapide
• Tri prévisible
• Coûts de traitement moindres
• Élimination complète des ambiguïtés

La pipeline détectait automatiquement ces cas et appliquait une logique déterministe – une mesure d’efficacité évitant des appels LLM inutiles.

Phase 4 : tagging manuel et contrôle par les marchands

Bien que l’automatisation soit la base, les marchands devaient pouvoir contrôler les attributs critiques pour leur activité. Chaque catégorie pouvait être taguée avec :

• LLM_SORT : le modèle décide de l’ordre de tri
• MANUAL_SORT : les marchands définissent l’ordre final

Ce système de tags dual permettait aux humains de prendre des décisions intelligentes tout en laissant la majorité du travail à l’IA. Cela renforçait aussi la confiance, car les marchands pouvaient intervenir si nécessaire.

Persistance des données et synchronisation

Tous les résultats étaient stockés directement dans la Product-MongoDB, constituant ainsi la seule mémoire opérationnelle pour :

• Les valeurs d’attribut triées
• Les noms d’attributs affinés
• Les tags de tri spécifiques à la catégorie
• Les métadonnées de tri liées aux produits

Cette gestion centralisée permettait une vérification, une réécriture et un retraitement faciles des catégories.

Intégration avec les systèmes de recherche

Après le tri, les valeurs d’attribut standardisées étaient synchronisées avec les solutions de recherche :

• Elasticsearch : pour la recherche par mots-clés
• Vespa : pour la recherche sémantique et vectorielle

Cela garantissait que :

• Les filtres s’affichaient dans le bon ordre logique
• Les pages produits montraient des attributs cohérents
• Les moteurs de recherche classaient plus précisément les produits
• Les clients pouvaient explorer les catégories de façon intuitive

Transformation pratique : du chaos à la structure

La pipeline transformait des valeurs brutes chaotiques en séquences cohérentes et exploitables :

Ces exemples illustrent comment la pensée contextuelle combinée à des règles claires mène à des séquences lisibles et logiques.

Impacts opérationnels et résultats business

La mise en œuvre de cette stratégie de gestion des attributs a produit des résultats mesurables :

• Tri cohérent des attributs sur plus de 3 millions de SKUs
• Ordre numérique prévisible grâce à des fallbacks déterministes
• Contrôle continu par les marchands via des options de tagging manuel
• Pages produits nettement plus propres avec des filtres plus intuitifs
• Amélioration de la pertinence et de la qualité du classement dans la recherche
• Confiance accrue des clients et taux de conversion plus élevés

Le succès n’était pas seulement technique – il a eu un impact direct sur l’expérience utilisateur et les indicateurs commerciaux.

Enseignements clés

• Les pipelines hybrides surpassent les systèmes pure IA à grande échelle. Les limites et le contrôle sont essentiels
• La contextualisation améliore considérablement la précision des LLM
• Le traitement hors ligne est indispensable pour le débit, la fiabilité et la prévisibilité des ressources
• Les mécanismes de surimpression humaine renforcent la confiance et l’acceptation opérationnelle
• La qualité des données est la base : des entrées propres conduisent à des résultats IA fiables

Conclusion

La gestion et la standardisation des attributs peuvent sembler triviales en surface, mais deviennent un véritable défi d’ingénierie lorsqu’il faut traiter des millions de produits. En combinant la réflexion basée sur les LLM avec des règles compréhensibles et un contrôle opérationnel, il est possible de transformer un problème caché mais critique en un système scalable et maintenable. Cela rappelle que souvent, les plus grands succès commerciaux naissent de la résolution de problèmes apparemment “ennuyeux” – ceux qui sont faciles à négliger mais qui apparaissent sur chaque page produit.