Coinbase раскрыла, как одна ошибка в конфигурации спровоцировала сбой на 50 минут

Coinbase заявила, что рутинное обновление инфраструктуры отключило критический сетевой шлюз, нарушив переводы, покупки с дебетовой карты и работу onchain-сервисов примерно на 50 минут. В новом постмортемe компания объясняет, в чём была ошибка и почему не сработали и стандартные инструменты восстановления.

Ключевые выводы

• Coinbase связала 50-минутный простой с нераспознанным столкновением имён ресурса Kubernetes во время планового обновления инфраструктуры.
• Инцидент нарушил переводы, покупки с Coinbase Card (дебетовая карта), институциональные расчёты и onchain-сервисы на нескольких платформах.
• Простой также отключил обычный процесс отката Coinbase, что потребовало новых мер безопасности и изменений в инфраструктуре.

Coinbase объясняет, что пошло не так

Криптобиржа Coinbase (Nasdaq: COIN) выявила программную ошибку, которая привела к прошлой неделе инцидента, из-за которого клиенты не могли завершать переводы, совершать покупки с Coinbase Card и получать доступ к нескольким onchain-сервисам примерно в течение 50 минут.

Согласно постмортему, опубликованному 21 июля, инженеры развёртывали то, что выглядело как рутинное обновление с низким риском, когда нераспознанное столкновение имён ресурса Kubernetes заставило обновление изменить не тот компонент сети.

Coinbase заявила:

«Это произошло из-за непреднамеренной неправильной настройки важного сетевого компонента в результате планового конфигурационного обновления. На каком-либо этапе средства клиентов не подвергались риску».

Kubernetes — это ПО, которое Coinbase использует, чтобы организовывать и запускать приложения в своей облачной инфраструктуре. Столкновение имён ресурса привело к тому, что обновление изменило часть шлюза Istio ingress компании, а не только предназначенный компонент. Шлюз действует как контроллер трафика, направляя запросы между внутренними сервисами Coinbase.

Как только шлюз ушёл в офлайн, системы, отвечавшие за обработку торгов, переводов, расчётов и авторизаций платежей, больше не могли взаимодействовать.

Карты были отклонены, переводы зависли

Сбой затронул розничные, институциональные и платформы для разработчиков Coinbase примерно с 12:37 по восточному времени до 1:25 по восточному времени.

Некоторые розничные клиенты не смогли завершить депозиты, снятия или транзакции вне платформы. Переводы, которые уже были в процессе, выглядели как застрявшие, но были обработаны после возврата сервиса. Покупки по Coinbase Card (дебетовые) отклонялись, тогда как покупки по кредитным картам продолжались.

Также outage прервал onchain-обмены через Coinbase DEX на Base и Solana. Клиенты Coinbase Exchange и Prime столкнулись с задержками или сбоями переводов и расчётов, а пользователи платформы для разработчиков не могли подключать пользователей, переводить средства или использовать onramp-сервисы.

Последствия подчёркивают растущую важность надёжности по мере того, как Coinbase выходит за рамки спотовой криптоторговли. Запланированные продукты «всё-это-биржа», включая токенизированные акции и бессрочные фьючерсы, расширяют спектр финансовой активности, зависящей от инфраструктуры компании.

Coinbase также отдельно описала планы превратить платформу в более широкий финансовый хаб — с новыми сервисами торговли, платежей и управления деньгами, охватывающими акции, деривативы, платежи в стейблкоинах и инструменты для разработчиков. Это расширение повышает ставки, когда из строя выходит общая инфраструктура.

Почему восстановление заняло дольше, чем ожидалось

Шлюз был восстановлен в 1:20 по восточному времени, и Coinbase объявила инцидент исчерпанным через три минуты. Оставшиеся очереди транзакций были очищены в течение последующих часов.

Восстановление заняло больше времени, потому что инструменты развёртывания Coinbase опирались на отказавший шлюз. Инженеры не могли использовать стандартный процесс отката и вместо этого вручную запустили экстренное развёртывание через облачного провайдера компании, используя временный доступ с повышенными привилегиями.

Теперь Coinbase добавляет проверки, чтобы блокировать конфликты имён, отделяет инструменты восстановления от инфраструктуры, которой они управляют, и чаще тестирует процедуры экстренного доступа.

Coinbase подчеркнула:

«Наша цель — всегда нулевая недоступность. Мы активно перестраиваем нашу инфраструктуру, чтобы в крайне маловероятном случае ещё одного сбоя, подобного этому, мы могли быстро откатиться и восстановиться».