Coinbase revela como um erro de configuração único desencadeou uma interrupção de 50 minutos

A Coinbase disse que uma atualização de infraestrutura de rotina desativou um gateway de rede crítico, interrompendo transferências, compras com cartão de débito e serviços onchain por cerca de 50 minutos. Seu novo postmortem explica o erro e por que as ferramentas normais de recuperação da empresa também falharam.

Principais destaques

• A Coinbase rastreou a indisponibilidade de 50 minutos até uma colisão de nomes de recurso do Kubernetes não detectada durante uma atualização de infraestrutura de rotina.
• O incidente interrompeu transferências, compras de débito do Coinbase Card, liquidações institucionais e serviços onchain em várias plataformas.
• A falha também desativou o processo normal de rollback da Coinbase, levando a novas salvaguardas e mudanças na infraestrutura.

Coinbase explica o que deu errado

A corretora cripto Coinbase (Nasdaq: COIN) identificou o erro de software por trás da indisponibilidade da semana passada, que deixou os clientes sem conseguir concluir transferências, fazer compras com o Coinbase Card e acessar vários serviços onchain por cerca de 50 minutos.

De acordo com um postmortem publicado em 21 de julho, engenheiros estavam implantando o que parecia ser uma atualização de rotina e de baixo risco quando uma colisão de nomes de recurso do Kubernetes não detectada fez a atualização modificar o componente de rede errado.

A Coinbase disse:

“Isso foi causado por uma configuração incorreta não intencional de um importante componente de rede como resultado de uma atualização de configuração de rotina. Em nenhum momento houve risco aos fundos dos clientes.”

O Kubernetes é o software que a Coinbase usa para organizar e executar aplicações na infraestrutura em nuvem. A colisão de nomes de recurso fez com que a atualização alterasse parte do gateway de entrada (ingress) do Istio da empresa em vez de apenas o componente pretendido. O gateway funciona como um controlador de tráfego, direcionando solicitações entre os serviços internos da Coinbase.

Assim que o gateway ficou offline, os sistemas responsáveis por processar negociações, transferências, liquidações e autorizações de pagamento não conseguiram mais se comunicar.

Cartões recusados e transferências travadas

A interrupção afetou as plataformas de varejo, institucionais e de desenvolvedores da Coinbase de aproximadamente 12:37 p.m. ET até 1:25 p.m. ET.

Alguns clientes de varejo não conseguiram concluir depósitos, saques ou transações fora da plataforma. As transferências já em andamento pareciam travadas, mas foram processadas após o retorno do serviço. As compras de débito do Coinbase Card foram recusadas, enquanto as compras com cartão de crédito continuaram.

A falha também interrompeu trocas onchain via Coinbase DEX na Base e na Solana. Os clientes da Coinbase Exchange e da Prime tiveram transferências e liquidações atrasadas ou falhadas, enquanto clientes da plataforma de desenvolvedores não conseguiram fazer onboarding de usuários, mover fundos ou usar serviços de onramp.

O impacto destaca a importância crescente da confiabilidade à medida que a Coinbase se expande além da negociação de cripto à vista. Seus produtos planejados de “tudo em uma exchange”, incluindo ações tokenizadas e futuros perpétuos, estão ampliando o leque de atividades financeiras dependentes da infraestrutura da empresa.

Separadamente, a Coinbase descreveu planos para tornar a plataforma um hub financeiro mais amplo, com novos serviços de negociação, pagamentos e gestão de dinheiro abrangendo ações, derivativos, pagamentos com stablecoin e ferramentas para desenvolvedores. Essa expansão eleva as apostas quando a infraestrutura compartilhada falha.

Por que a recuperação levou mais tempo do que o esperado

O gateway foi restaurado às 1:20 p.m. ET, e a Coinbase declarou que o incidente foi mitigado três minutos depois. As filas de transações pendentes restantes foram limpas ao longo das horas seguintes.

A recuperação demorou mais porque as ferramentas de implantação (deployment) da Coinbase dependiam do gateway que falhou. Os engenheiros não conseguiram usar o processo padrão de rollback e, em vez disso, lançaram manualmente uma implantação de emergência por meio do provedor de nuvem da empresa, usando acesso privilegiado temporário.

Agora, a Coinbase está adicionando verificações para bloquear conflitos de nomes, separando as ferramentas de recuperação da infraestrutura que elas administram e testando com mais frequência os procedimentos de acesso de emergência.

A Coinbase enfatizou:

“Nosso objetivo é sempre zero downtime. Estamos redesenhando ativamente nossa infraestrutura para garantir que, no evento altamente improvável de outra falha como esta, possamos reverter e recuperar rapidamente.”