Khi một lệnh xóa suýt giết chết một bộ phim: Những gì doanh nghiệp của bạn có thể học từ thảm họa suýt xảy ra của Pixar

Lỗi Chính Tả Suýt Nữa Xóa Bỏ Toy Story 2

Hãy tưởng tượng điều này: năm 1998, và một người tại Pixar gõ một lệnh Linux đơn lẻ—rm -rf /—vào sai thư mục. Trong vòng vài giây, một năm công sức làm việc cho Toy Story 2 bắt đầu biến mất. Các mô hình nhân vật. Tài sản hoạt hình. Toàn bộ các cảnh. Nhóm làm phim chứng kiến thế giới của Woody và Buzz tan rã, từng tệp một.

Tệ hơn? Khi các kỹ sư vội vàng khôi phục từ các bản sao lưu, họ phát hiện ra rằng hệ thống sao lưu đã âm thầm gặp sự cố trong nhiều tuần. Gần 90% của dự án đã biến mất.

Đây không phải là một vụ hack tiền điện tử hay một cuộc tấn công ransomware. Đó là một cuộc dọn dẹp tệp tin thông thường bị sai lệch - nhưng nó đã suýt giết chết một trong những phần tiếp theo được mong đợi nhất trong lịch sử hoạt hình.

Cách một bà mẹ làm việc tại nhà đã cứu vãn tình hình

Nhập Galyn Susman, giám sát kỹ thuật của bộ phim. Trong thời gian nghỉ thai sản, cô đã làm việc từ xa - điều mà lúc đó được coi là điều cấm kỵ. Quan trọng hơn, cô đã có tầm nhìn xa khi mang một bản sao của dự án về nhà hàng tuần để cập nhật.

Khi thảm họa xảy ra, laptop của Susman trở thành cứu cánh của Pixar. Đội ngũ đã cẩn thận vận chuyển nó trở lại văn phòng, thu thập đủ tệp để tái tạo lại bộ phim, và giao Toy Story 2 đúng hạn.

Kỷ luật sao lưu của một người đã tiết kiệm hàng triệu chi phí sản xuất và một thời hạn phát hành quan trọng.

Bài học về liên tục kinh doanh

Đây không chỉ là một câu chuyện chiến tranh Hollywood—mà còn là một lớp học mẫu về những gì xảy ra khi các hệ thống dự phòng thất bại một cách im lặng:

Quy tắc sao lưu 3-2-1

• Giữ 3 bản sao của dữ liệu quan trọng
• Lưu trên 2 loại phương tiện khác nhau
• Giữ 1 bản ở nơi khác

Pixar đã học được bài học khó khăn rằng một vị trí sao lưu đơn lẻ là không đủ. Một hệ thống thất bại = mất dữ liệu hoàn toàn.

Sao lưu ngoài mạng, ngoại tuyến rất quan trọng Một bản sao lưu ngoại tuyến không kết nối với mạng chính của bạn bảo vệ chống lại ransomware, sự cố phần cứng và thảm họa cục bộ. Máy tính xách tay tại nhà của Susman về cơ bản là khoảng cách an toàn của Pixar.

RPO & RTO Là Không Thể Thương Lượng

• Mục tiêu Điểm Khôi phục (RPO): Bạn có thể chấp nhận mất mát dữ liệu bao nhiêu?
• Thời gian phục hồi mục tiêu (RTO): Bạn phải hoạt động trở lại nhanh chóng như thế nào?

Nhiều công ty tuyên bố rằng họ “kiểm tra sao lưu thường xuyên,” nhưng khi thảm họa xảy ra, việc phục hồi mất nhiều thời gian hơn dự kiến—và chi phí tăng lên hàng ngày.

Kiểm Soát Quyền Truy Cập Ngăn Ngừa Tai Nạn Nhân viên đã kích hoạt việc xóa có quyền truy cập đầy đủ vào máy chủ. Bài học hôm nay: hạn chế quyền xóa trên các thư mục quan trọng chỉ cho một nhóm quản trị viên nhỏ. Yêu cầu xác thực hai yếu tố hoặc phê duyệt thứ hai cho các thao tác xóa cấp cao.

Kết luận

Sự cố gần gũi của Pixar đã xảy ra cách đây hơn 25 năm, nhưng hầu hết các doanh nghiệp vẫn mắc phải những sai lầm tương tự: tin tưởng vào một hệ thống sao lưu duy nhất, cho quá nhiều người quyền truy cập đầy đủ vào thư mục, và chỉ phát hiện ra các lỗi sao lưu trong thời điểm khủng hoảng.

Một lệnh bị gõ sai không nên gần như làm đình trệ một dự án trị giá hơn 100 triệu đô la. Hãy thiết lập các kiểm soát thích hợp ngay bây giờ—trước khi bạn cần đến chúng.