混合式人工智能架构如何一致管理数百万个产品属性

隐藏的电商扩展难题

大多数人在谈论电商扩展时会提到分布式搜索和推荐引擎，但在表面之下隐藏着一个更顽固、常被忽视的问题：产品目录中属性值的管理。对于超过300万SKU的规模，这很快就会演变成系统性问题。

属性值是产品发现的基础。它们推动筛选、比较和搜索排名。但在实际操作中，它们往往碎片化：“XL”、“Small”、“12cm”和“Large”混杂在一个字段中。或者颜色如“RAL 3020”、“Crimson”、“Red”和“Dark Red”没有统一的结构。将这些不一致性在每个产品的数十个属性中乘以，问题就会指数级扩大。

筛选行为难以预测，搜索相关性下降，用户导航变得令人沮丧。同时，商家也陷入了大量的手动数据清理工作。

答案：带有控制机制的智能混合管道

不再依赖随意排序数据的黑箱式AI，而是建立了一套由三大支柱支撑的架构：

• 可解释性：每个决策都可追溯
• 可预见性：系统表现一致
• 人工控制：商品编辑可以手动设定关键属性

最终形成的混合管道，将LLM智能与明确规则和数据持久化结合在一起。它既智能，又可控——是有导向的AI，而非失控的AI。

离线处理优于实时管道

一个关键的设计决策是选择后台作业而非实时系统。这看似妥协，但实际上是战略性选择：

实时处理意味着：

• 不可预知的延迟
• 脆弱的系统依赖
• 高昂的计算峰值
• 操作复杂性增加

而离线作业则提供：

• 大量吞吐量，不影响用户访问
• 高韧性：故障不会影响实时系统
• 通过定时处理控制成本
• 隔离LLM延迟
• 原子性、可预期的更新

在百万SKU规模下，将面向客户的系统与数据处理管道分离至关重要。

具有持久性和一致性的架构

所有数据持久化都通过MongoDB作为核心操作存储实现：

• 属性提取：第一个作业提取原始值和类别上下文
• AI服务：LLM接收清洗后的数据和上下文信息(类别面包屑、元数据)
• 确定性回退：自动识别数值范围和简单集合，并基于规则排序
• 持久化：排序后的值、细化的属性名和排序标签存入MongoDB
• 搜索集成：更新后的数据推送到Elasticsearch(关键词搜索)和Vespa(语义搜索)

这种持久化结构便于后续的验证、覆盖和与其他系统的同步。

混合控制：AI与商家决策结合

并非所有属性都需要AI智能。因此可以对每个类别进行标记：

• LLM_SORT：模型负责排序决策
• MANUAL_SORT：商家手动定义排序

这种双标签系统建立了信任。人类保持对关键属性的控制，而AI负责日常任务——且无需中断管道。

数据清理作为基础

在应用AI之前，进行了关键的预处理步骤：

• 去除空格
• 删除空值
• 去重
• 标准化类别上下文

这些看似简单的清理极大提升了LLM的准确性。干净的输入带来一致的输出——这是大规模应用中的基本原则。

实践中的转化

该管道将混乱的原始数据转化为结构化输出：

商业影响

成果显著：

• 超过3M SKU的属性排序保持一致
• 数值排序由确定性逻辑保证
• 搜索相关性提升
• 产品页面筛选更直观
• 提升用户信任和转化率

这不仅是技术胜利，更是用户体验和销售的提升。

关键结论

• 混合优于纯AI：大规模应用中，导向机制至关重要
• 上下文为王：更丰富的上下文带来更优的LLM结果
• 离线架构增强韧性：后台作业是吞吐的基础
• 持久化保证控制：人工覆盖机制建立信任
• 干净输入带来可靠输出：数据质量决定AI成败

结语

对属性值进行排序看似简单，但在数百万产品规模下却成为真正难题。结合LLM智能、明确规则、持久化存储和商家控制，打造出一个优雅解决复杂、隐藏挑战的系统。它提醒我们，最大的成功往往源自解决那些乏味、被忽视的问题——那些在每个产品页面都能看到的挑战。