Escalabilidad del comercio electrónico: Cómo las tuberías impulsadas por IA mantienen coherentes los atributos del producto

En el comercio electrónico, a menudo se discuten grandes desafíos técnicos como consultas distribuidas, gestión de inventario en tiempo real y sistemas de recomendación. Sin embargo, tras bambalinas, se encuentra un problema sistemático persistente que preocupa a los comerciantes de todo el mundo: la gestión y normalización de los valores de atributos de productos. Estos valores constituyen la base del descubrimiento de productos. Afectan directamente a filtros, funciones de comparación, rankings de búsqueda y lógicas de recomendación. En catálogos reales, estos valores rara vez son consistentes. Frecuentemente hay duplicados, errores de formato o ambigüedades semánticas.

Un ejemplo sencillo ilustra la magnitud del problema: en una medida de tamaño, podrían coexistir “XL”, “Small”, “12cm”, “Large”, “M” y “S”. En cuanto a colores, aparecen valores como “RAL 3020”, “Crimson”, “Red” y “Dark Red” mezclados — estándares como RAL 3020 y descripciones libres se combinan sin control. Multiplicando estas inconsistencias en varios millones de SKU, se revela la profundidad del problema. Los filtros se vuelven poco fiables, los motores de búsqueda pierden precisión, la limpieza manual de datos se vuelve una tarea de Sísifo, y los clientes experimentan una frustrante búsqueda de productos.

La estrategia central: inteligencia con límites claros

Una solución puramente de caja negra con IA no era una opción. Tales sistemas son difíciles de entender, depurar y gestionar con millones de SKU. En cambio, el objetivo era una pipeline predecible, explicable y controlable por humanos: IA que actúe con inteligencia sin perder el control.

La respuesta residió en una arquitectura híbrida que combina la inteligencia contextual de LLM con reglas deterministas y controles humanos. El sistema debía cumplir tres criterios:

• Trazabilidad en las decisiones
• Calculabilidad en los procesos
• Opciones de intervención humana en datos críticos

Procesamiento offline en lugar de pipelines en tiempo real

Un paso arquitectónico clave fue optar por trabajos en segundo plano offline en lugar de pipelines en tiempo real. Esto puede parecer un retroceso, pero es estratégicamente sensato:

Los sistemas en tiempo real generan latencias impredecibles, dependencias frágiles, picos de cálculo costosos y mayor vulnerabilidad operativa. Los trabajos offline, en cambio, ofrecen:

• Eficiencia en el rendimiento: procesamiento de grandes volúmenes sin afectar sistemas en vivo
• Robustez: errores de procesamiento nunca afectan el tráfico de clientes
• Optimización de costos: cálculos programados en horarios de baja demanda
• Aislamiento: la latencia de LLM no afecta el rendimiento de las páginas de producto
• Previsibilidad: actualizaciones atómicas y reproducibles

Con millones de productos, esta desacoplamiento entre sistemas orientados al cliente y procesamiento de datos es imprescindible.

Limpieza de datos como base

Antes del uso de IA, se realizó un paso esencial de preprocesamiento para eliminar ruido. El modelo solo recibía entradas limpias y claras:

• Normalización de espacios en blanco (espacios en blanco al principio y al final)
• Eliminación de valores vacíos
• Eliminación de duplicados de valores
• Simplificación del contexto de categoría (convertir breadcrumbs en cadenas estructuradas)

Este paso aparentemente simple mejoró significativamente la precisión del modelo de lenguaje. El principio es universal: con esta cantidad de datos, incluso pequeños errores de entrada pueden desencadenar cascadas de problemas más adelante.

Procesamiento contextual con LLM

El modelo de lenguaje no realizaba una ordenación mecánica. Con suficiente contexto, podía aplicar razonamiento semántico:

El modelo recibía:

• valores de atributos limpios
• metadatos de categoría (p.ej., “Herramientas eléctricas”, “Ropa”, “Hardware”)
• clasificaciones de atributos

Con este contexto, el modelo entendía:

• Que “tensión” en herramientas eléctricas debe ordenarse numéricamente
• Que “tamaño” en ropa sigue una progresión establecida (S, M, L, XL)
• Que “color” en ciertas categorías respeta estándares como RAL 3020
• Que “material” tiene jerarquías semánticas

El modelo devolvía:

• una lista ordenada de valores
• descripciones de atributos refinadas
• una clasificación: ordenable de forma determinista o contextual

Esto permitía a la pipeline manejar diferentes tipos de atributos de forma flexible, sin codificar reglas fijas para cada categoría.

Lógica de fallback determinista

No todos los atributos requerían inteligencia de IA. Valores numéricos, rangos de unidades y cantidades simples se beneficiaban de:

• procesamiento más rápido
• previsibilidad garantizada
• menores costos
• eliminación de ambigüedades

La pipeline detectaba automáticamente estos casos y aplicaba lógica de ordenación determinista. El sistema permanecía eficiente y evitaba llamadas innecesarias a LLM.

Control humano mediante sistemas de etiquetado

Para atributos críticos, los comerciantes necesitaban control final. Cada categoría podía etiquetarse con:

• LLM_SORT: decisión del modelo de lenguaje sobre el orden
• MANUAL_SORT: los socios comerciales definían explícitamente el orden

Este sistema dual funcionó doblemente: IA automatizaba tareas rutinarias, humanos mantenían el control. Generaba confianza y permitía a los comerciantes sobrescribir decisiones del modelo cuando fuera necesario, sin interrumpir la pipeline.

Persistencia en base de datos centralizada

Todos los resultados se almacenaron directamente en MongoDB, manteniendo la arquitectura sencilla y mantenible:

MongoDB sirvió como almacenamiento operativo para:

• valores de atributos ordenados
• nombres de atributos refinados
• etiquetas de orden específicas de categoría
• metadatos de campos de ordenamiento de productos

Esto facilitó la revisión, sobrescritura selectiva, reprocesamiento de categorías y sincronización con sistemas externos.

Integración con infraestructura de búsqueda

Tras la normalización, los valores se enviaron a dos sistemas de búsqueda:

• Elasticsearch: para filtrado por palabras clave y búsqueda facetada
• Vespa: para operaciones semánticas y de coincidencia de productos basada en vectores

Esta dualidad garantizaba:

• que los filtros se presentaran en orden lógico y esperado
• que las páginas de productos mostraran atributos consistentes
• que los motores de búsqueda rankearan productos con mayor precisión
• que la experiencia del cliente fuera más intuitiva

La capa de búsqueda es donde la consistencia de atributos es más visible y valiosa para el negocio.

Resultados prácticos de la transformación

La pipeline convirtió valores crudos caóticos en salidas estructuradas:

Especialmente en atributos de color, se evidenció la importancia del contexto: el sistema reconoció que RAL 3020 es un estándar de color y lo ordenó de forma lógica entre valores semánticamente similares.

Visión general de la arquitectura del sistema

La pipeline modular orquestaba los siguientes pasos:

1. Extraer datos de productos del sistema PIM (Product Information Management)
2. Aislar valores de atributos y contexto de categoría mediante el trabajo de extracción de atributos
3. Enviar datos limpios al servicio de ordenamiento con IA
4. Escribir los documentos de productos actualizados en MongoDB
5. El trabajo de sincronización saliente actualiza el sistema PIM fuente
6. Los trabajos de sincronización en Elasticsearch y Vespa sincronizan los datos ordenados en sus índices respectivos
7. Capas API conectan los sistemas de búsqueda con las aplicaciones cliente

Este flujo garantizaba que cada valor de atributo normalizado — ya sea ordenado por IA o establecido manualmente — se reflejara de forma coherente en búsqueda, merchandising y experiencia del cliente.

Por qué la procesamiento offline era la opción correcta

Los pipelines en tiempo real habrían introducido latencias impredecibles, mayores costos computacionales y dependencias frágiles. Los trabajos offline permitieron:

• Procesamiento por lotes eficiente
• Llamadas asíncronas a LLM sin presión en tiempo real
• Mecanismos robustos de reintento y colas de errores
• Ventanas de tiempo para validación humana
• Costos de cálculo previsibles y controlados

El compromiso fue una pequeña demora entre captura y exhibición de datos, pero la ganancia — fiabilidad a gran escala — es valiosa para los clientes.

Impacto comercial y técnico

La solución logró resultados medibles:

• Ordenamiento consistente de atributos en más de 3 millones de SKUs
• Ordenación predecible de valores numéricos mediante fallback determinista
• Control descentralizado de comerciantes mediante etiquetado manual
• Páginas de productos más limpias y filtros más intuitivos
• Mejor relevancia y precisión en rankings de búsqueda
• Mayor confianza del cliente y tasa de conversión

No fue solo un proyecto técnico; fue un palanca directamente medible para mejorar la experiencia del usuario y aumentar las ventas.

Lecciones clave para escalabilidad de productos

• Los sistemas híbridos superan a la IA pura a gran escala. Los límites y controles son esenciales.
• El contexto multiplica la precisión de LLM. Entradas limpias y relevantes para la categoría generan resultados confiables.
• El procesamiento offline no es un compromiso, sino una necesidad arquitectónica para rendimiento y resiliencia.
• Las opciones de sobrescritura humana generan confianza. Los sistemas controlados por humanos se aceptan más rápidamente.
• La calidad de los datos en entrada determina la fiabilidad en salida. La limpieza no es un overhead, sino la base.

Reflexión final

Normalizar valores de atributos puede parecer un problema sencillo — hasta que se trata de millones de variantes de productos. La combinación de inteligencia de modelos de lenguaje con reglas deterministas y controles humanos convirtió un problema oculto y persistente en un sistema elegante y mantenible.

Y esto nos recuerda: algunas de las victorias técnicas más valiosas no nacen de innovaciones brillantes, sino de resolver sistemáticamente problemas invisibles — aquellos que afectan cada día a cada página de producto, pero que rara vez reciben atención.