Когда одна команда на удаление чуть не погубила фильм: чему ваш бизнес может научиться у почти катастрофы Pixar

Опечатка, которая чуть не уничтожила Историю игрушек 2

Представьте себе: 1998 год, и кто-то в Pixar вводит одну команду Linux — rm -rf / — в неправильную директорию. В течение нескольких секунд работа, проделанная на Toy Story 2 за год, начинает исчезать. Модели персонажей. Анимационные ресурсы. Целые сцены. Команда наблюдает, как мир Вуди и База распадается, файл за файлом.

Хуже? Когда инженеры начали восстанавливать данные из резервных копий, они обнаружили, что система резервного копирования молча давала сбой в течение нескольких недель. Практически 90% проекта было утеряно.

Это не был крипто-взлом или атака программ-вымогателей. Это была обычная очистка файлов, которая пошла не так, но это почти убило одно из самых ожидаемых продолжений в истории анимации.

Как мама, работающая из дома, спасла ситуацию

Вводите Гейлин Сусман, супервайзера по техническому направлению фильма. Во время декретного отпуска она работала из дома — что считалось табу в то время. Более того, у нее было предвидение взять домой копию проекта каждую неделю, чтобы оставаться в курсе.

Когда бедствие произошло, ноутбук Сусмана стал спасением для Pixar. Команда осторожно доставила его обратно в офис, извлекла достаточно файлов для воссоздания фильма и сдала “Историю игрушек 2” в срок.

Дисциплина резервного копирования одного человека сэкономила миллионы на производственных расходах и важный срок выпуска.

Уроки непрерывности бизнеса

Это не просто голливудская история о войне — это мастер-класс о том, что происходит, когда резервные системы молчаливо выходят из строя:

Правило 3-2-1 резервного копирования

• Храните 3 копии критически важных данных
• Храните на 2 разных типах носителей
• Храните 1 копию вне офиса

Pixar узнала на собственном опыте, что одного места для резервного копирования недостаточно. Один сбой системы = полная потеря данных.

Оффлайн, удаленные резервные копии имеют значение Оффлайн-резервное копирование, отключенное от вашей основной сети, защищает от программ-вымогателей, аппаратных сбоев и локализованных бедствий. Ноутбук Сасмана по сути был воздушным зазором Pixar.

RPO & RTO являются неп negotiable

• Целевой уровень восстановления (RPO): Какую потерю данных вы можете терпеть?
• Целевое время восстановления (RTO): Как быстро вы должны быть в рабочем состоянии?

Многие компании утверждают, что они “регулярно тестируют резервные копии”, но когда происходит бедствие, восстановление занимает гораздо больше времени, чем планировалось, и затраты увеличиваются каждый день.

Контроль разрешений предотвращает несчастные случаи Сотрудник, который инициировал удаление, имел полный доступ к серверу. Урок на сегодня: ограничьте права на удаление в критических директориях только небольшой группе администраторов. Требуйте двухфакторную аутентификацию или вторичное одобрение для высокоуровневых удалений.

Итоги

Промашка Pixar произошла более 25 лет назад, но большинство компаний все еще совершают одни и те же ошибки: доверяют одной системе резервного копирования, предоставляют слишком многим людям полный доступ к папкам и обнаруживают сбои резервного копирования только в кризисной ситуации.

Одна неверно набранная команда не должна почти сорвать проект стоимостью более 100 миллионов долларов. Установите надлежащие меры контроля сейчас — до того, как они вам понадобятся.