В области децентрализованного хранения данных стоимость и эффективность всегда были двумя основными проблемами, ограничивающими коммерческое применение. Решением протокола Walrus является двухмерная кодировка с исправлением ошибок под названием Red Stuff, которая кардинально меняет экономику хранения больших файлов.

Традиционное распределённое хранение обычно зависит от высокого коэффициента репликации для обеспечения безопасности данных — обычно требуется 10-20-кратное избыточное хранение. Это означает, что для хранения 1TB данных фактически нужно приобрести 10-20TB пространства, что стоит очень дорого. Идея Red Stuff совершенно иная.

Он сначала организует большие файлы в виде матрицы, а затем применяет кодирование с исправлением ошибок по строкам и столбцам. Этот процесс создает два набора фрагментов, называемых primary и secondary. Каждый узел хранения хранит только пару соответствующих фрагментов, а не полную копию. Что в результате? Общий коэффициент репликации можно удерживать в пределах 4-5x, что позволяет снизить затраты на хранение более чем на 80% по сравнению с традиционными решениями.

Еще важнее — производительность восстановления. При потере данных система может полностью восстановить исходный файл, скачав только пропорциональную часть фрагментов, что означает линейное снижение времени восстановления и пропускной способности (даже при потере 2/3 фрагментов можно быстро восстановить данные). В отличие от этого, традиционные решения зачастую требуют повторной передачи всего файла.

Это особенно удобно для обучающих наборов данных AI, больших игровых активов, видео высокого разрешения и других blob-данных. Экономическая эффективность улучшается, а что еще важнее — появляется реальная возможность конкурировать с централизованными решениями. С технической точки зрения, появление Red Stuff решает давно существующие ключевые ограничения в этой области.