Коли одна команда видалення майже знищила фільм: чому ваш бізнес може навчитися з майже катастрофи Pixar

Помилка, яка майже стерла Історію іграшок 2

Уявіть собі: 1998 рік, і хтось у Pixar вводить одну команду Linux—rm -rf /—у неправильну директорію. Протягом кількох секунд зникає річна праця над Історією іграшок 2. Моделі персонажів. Анімаційні ресурси. Цілі сцени. Команда спостерігає, як світ Вуді та Базза руйнується, файл за файлом.

Гірше? Коли інженери намагалися відновити дані з резервних копій, вони виявили, що система резервного копіювання безшумно виходила з ладу протягом декількох тижнів. Майже 90% проекту було втрачено.

Це не був крипто-удар або атака програм-шантажистів. Це була звичайна очистка файлів, яка пішла не так — але це ледь не вбило один з найочікуваніших продовжень в історії анімації.

Як мама, що працює з дому, врятувала ситуацію

Вступає Гейлін Сусман, технічна директорка фільму. Під час декретної відпустки вона працювала з дому — що вважалося табу в той час. Що ще важливіше, вона мала далекоглядність брати копію проєкту додому щотижня, щоб бути в курсі подій.

Коли сталася катастрофа, ноутбук Сусмана став рятівником Pixar. Команда обережно перевезла його назад в офіс, витягла достатньо файлів для відновлення фільму і вчасно доставила Історію іграшок 2.

Дисципліна резервного копіювання однієї особи зекономила мільйони в витратах на виробництво та забезпечила виконання терміна великого релізу.

Уроки безперервності бізнесу

Це не просто голлівудська військова історія — це майстер-клас про те, що відбувається, коли резервні системи тихо виходять з ладу:

Правило 3-2-1 резервного копіювання

• Зберігайте 3 копії критично важливих даних
• Зберігайте на 2 різних типах носіїв
• Зберігайте 1 копію поза сайтом

Pixar навчилася на власному досвіді, що одне місце для резервного копіювання недостатньо. Один зламаний пристрій = повна втрата даних.

Важливість офлайн резервних копій Офлайн-резервне копіювання, відключене від вашої основної мережі, захищає від програм-вимагачів, відмови обладнання та локалізованих катастроф. Ноутбук Сасмана фактично був повітряним зазором Pixar.

RPO & RTO є непереговорними

• Цільова точка відновлення (RPO): Яку кількість втрати даних ви можете витримати?
• Цільовий час відновлення (RTO): Як швидко ви повинні бути в робочому стані?

Багато компаній стверджують, що вони “регулярно перевіряють резервні копії”, але коли стається катастрофа, відновлення займає набагато більше часу, ніж планувалося, а витрати зростають щодня.

Контроль доступу запобігає нещасним випадкам Співробітник, який викликав видалення, мав повний доступ до сервера. Урок на сьогодні: обмежити права на видалення в критичних каталогах лише для невеликої групи адміністраторів. Вимагайте двофакторну автентифікацію або вторинне схвалення для видалення високого рівня.

Висновки

Невдача Pixar сталася понад 25 років тому, але більшість компаній все ще роблять ті ж помилки: довіряють єдиній системі резервного копіювання, надають занадто багатьом людям повний доступ до папок і виявляють збої резервного копіювання лише під час кризи.

Одна помилково введена команда не повинна майже зірвати проект на понад 100 мільйонів доларів. Налаштуйте належні контролі зараз — до того, як вони вам знадобляться.