Bagaimana arsitektur AI hibrida mengelola jutaan atribut produk secara konsisten

Masalah Tersembunyi dalam Penskalaan E-Commerce

Sebagian besar orang berbicara tentang pencarian terdistribusi dan mesin rekomendasi ketika penskalaan e-commerce menjadi topik. Namun di balik permukaan terdapat masalah yang lebih membandel dan sering diabaikan: Manajemen nilai atribut dalam katalog produk. Dengan lebih dari 3 juta SKU, ini dengan cepat menjadi masalah sistemik.

Nilai atribut adalah fondasi penemuan produk. Mereka mendorong filter, perbandingan, dan peringkat pencarian. Tetapi dalam praktiknya, mereka terfragmentasi: “XL”, “Small”, “12cm”, dan “Large” tercampur dalam satu bidang. Atau warna-warna seperti “RAL 3020”, “Crimson”, “Red”, dan “Dark Red” tanpa struktur yang konsisten. Kalikan inkonsistensi ini di seluruh puluhan atribut per produk, masalahnya menjadi eksponensial.

Filter berperilaku tidak dapat diprediksi, pencarian kehilangan relevansi, dan navigasi pelanggan menjadi frustrasi. Pada saat yang sama, pedagang tenggelam dalam pembersihan data manual.

Solusinya: Pipeline Hybrid Cerdas dengan Mekanisme Kontrol

Daripada AI kotak hitam yang secara sewenang-wenang mengurutkan data, sebuah arsitektur muncul dengan tiga pilar:

• Penjelasan: Setiap keputusan dapat dilacak
• Prediktabilitas: Sistem berperilaku konsisten
• Kontrol Manusia: Merchandiser dapat menetapkan atribut kritis secara manual

Hasilnya adalah pipeline hybrid yang menggabungkan kecerdasan LLM dengan aturan yang jelas dan persistensi data. Ia bertindak cerdas tetapi tetap dapat dikendalikan—AI dengan rel pengaman, bukan tanpa kontrol.

Pemrosesan Offline Daripada Pipeline Real-Time

Keputusan desain kritis adalah pemilihan background jobs daripada sistem langsung. Ini terdengar seperti kompromi, tetapi masuk akal secara strategis:

Pemrosesan real-time akan berarti:

• Latensi yang tidak dapat diprediksi
• Ketergantungan sistem yang rapuh
• Lonjakan komputasi yang mahal
• Komplikasi operasional

Job offline menawarkan sebagai gantinya:

• Throughput masif tanpa mempengaruhi lalu lintas pelanggan
• Ketahanan: Kegagalan tidak pernah menyentuh sistem langsung
• Kontrol biaya melalui pemrosesan terjadwal
• Isolasi latensi LLM
• Update atom yang dapat diprediksi

Pemisahan sistem yang berhubungan dengan pelanggan dan pipeline pemrosesan data sangat penting pada skala jutaan SKU.

Arsitektur dengan Persistensi dan Konsistensi

Seluruh persistensi data dilakukan melalui MongoDB sebagai penyimpanan operasional pusat:

• Ekstraksi Atribut: Job pertama menarik nilai mentah dan konteks kategori
• Layanan AI: LLM menerima data yang dibersihkan ditambah informasi konteks (Breadcrumb kategori, metadata)
• Fallback Deterministik: Rentang numerik dan set sederhana dikenali secara otomatis dan diurutkan berbasis aturan
• Persistensi: Nilai terurut, nama atribut yang disempurnakan, dan tag pengurutan disimpan di MongoDB
• Integrasi Pencarian: Data yang diperbarui mengalir ke Elasticsearch (pencarian kata kunci) dan Vespa (pencarian semantik)

Struktur persistensi ini memungkinkan pemeriksaan sederhana, penggantian, dan resinkronisasi dengan sistem lain.

Kontrol Hybrid: AI Bertemu Keputusan Pedagang

Bukan setiap atribut memerlukan kecerdasan AI. Oleh karena itu, setiap kategori dapat ditandai dengan:

• LLM_SORT: Model membuat keputusan pengurutan
• MANUAL_SORT: Pedagang mendefinisikan urutan secara manual

Sistem dual tag ini membangun kepercayaan. Orang tetap mempertahankan kontrol atas atribut yang penting untuk bisnis, sementara AI mengurus pekerjaan rutin—dan tanpa gangguan pipeline.

Pembersihan Data sebagai Fondasi

Sebelum AI diterapkan, langkah praproses kritis terjadi:

• Trim spasi
• Hapus nilai kosong
• Deduplikasi duplikat
• Standarisasi konteks kategori

Pembersihan yang tampaknya sederhana ini meningkatkan akurasi LLM secara dramatis. Input yang bersih menghasilkan hasil yang konsisten—prinsip fundamental pada skala besar.

Transformasi dalam Praktik

Pipeline mengubah data mentah yang kacau menjadi output terstruktur:

Dampak Bisnis

Hasilnya substansial:

• Pengurutan atribut konsisten di seluruh 3M+ SKU
• Pengurutan numerik yang dapat diprediksi melalui logika deterministik
• Relevansi pencarian yang ditingkatkan
• Filter yang lebih intuitif di halaman produk
• Kepercayaan pelanggan yang lebih tinggi dan konversi yang ditingkatkan

Ini bukan kemenangan semata-mata teknis—ini adalah keuntungan untuk pengalaman pengguna dan pendapatan.

Wawasan Utama

• Hybrid mengungguli Pure-AI: Rel pengaman penting pada skala besar
• Konteks adalah Raja: Konteks yang lebih baik = hasil LLM yang jauh lebih baik
• Arsitektur Offline Menciptakan Ketahanan: Background jobs fundamental untuk throughput
• Persistensi Tanpa Kehilangan Kontrol: Mekanisme penggantian manusia membangun kepercayaan
• Input Bersih = Output Andal: Kualitas data menentukan kesuksesan AI

Kesimpulan

Mengurutkan nilai atribut terdengar sepele, tetapi menjadi masalah nyata dengan jutaan produk. Dengan menggabungkan kecerdasan LLM, aturan eksplisit, persistensi, dan kontrol pedagang, lahirlah sistem yang menyelesaikan tantangan tersembunyi yang kompleks dengan elegan. Ini mengingatkan kami bahwa kesuksesan terbesar sering muncul dari penyelesaian masalah yang membosankan dan diabaikan—mereka yang berdampak di setiap halaman produk.