Як Ілон вирішив зекономити та перевозив сервери Twitter

Нещодавно я потрапив на адаптовану біографію Волтера Айзексона «Ілон Маск». Не очікував, що можу здивуватися, адже поруч із цим іменем купа шокувальних історій. Проте потрапив на реальний кейс перевезення серверів, що призвело до колосальної втрати даних. У це складно повірити, але це реальна історія. Прочитайте це і ніколи так не робіть.

З чого все почалося

22 грудня 2022 року в Twitter розпочалася зустріч щодо оптимізації витрат компанії. Один з дата-центрів компанії у Сакраменто коштував Маску понад 100 мільйонів доларів на рік. Аби заощадити, він вирішив перемістити сервери у Портленд, штат Орегон. Технічні спеціалісти оцінили таку міграцію у шість-дев'ять місяців. Проте Маска не влаштували терміни, і він вирішив зробити це за два тижні. Самостійно.

Наступного дня до Ілона прилетів його брат Джеймс. Вдвох вони вирішують негайно розпочати міграцію серверів та без допомоги IT-фахівців.

Підписуйтеся на наші соцмережі

Вночі вони приїхали у дата-центр у Сакраменто. Порахували кількість шаф для міграції — їх виявилося 5200. Вирішили розпочати одразу, попри те що кожна шафа важила більш як 100 кілограмів та була три метри у висоту. Без залучення фахівців Маск ножем відкрив панелі підлоги, заліз під серверну, відкрив шафу та відключив першу розетку. 

Здалося все просто. Тому вже наступного дня Маск разом із вантажниками приїхав за серверами. Орендувавши декілька фур для перевезення, один за одним вони від’єднували сервери та вантажили їх у машини. При цьому не використовували ні плівки, ні коробок, ні попереднє бекапування. Оскільки дані на серверах були конфіденційними, вони купили кодові замки у будівельному магазині та надіслали коди з електронною таблицею до Портленда. Таким чином вони перевезли 700 шаф за три дні. А згодом і всі інші. 

Протягом наступних двох місяців робота Twitter була дестабілізована. На серверах розміщувалося понад 70 тис. закодованих посилань на Сакраменто. І міграція призвела до втрати зв'язку між ними, та як результат — часткової втрати таких даних. У березні 2023 року Маск визнав, що така міграція була помилкою.

Фатальні помилки Маска

Схеми резервування та налаштувань високої доступності сервісів. Усі ми знаємо що це потрібно робити, але чи часто ми перевіряємо актуальність і їхню відповідність? Маску треба було переконатися, що всі сервіси мають віддзеркалення на декілька регіонів, що означало б їхню справну роботу після вимкнення одного з них.

Пакування. Перевозити сервери без спеціальної плівки та коробок — прямий шлях до втрати даних. Особливо чутливими є HDD-диски, а тому будь-які коливання в дорозі можуть пошкодити магнітну пластину, що призведе до втрати даних.

Аудит. Перед міграцією обладнання варто скласти інвентарний список, провівши аудит серверної. Це допоможе визначити критично важливе обладнання, яке необхідно транспортувати першим. А також обладнання, яке необхідно замінити або модернізувати.

Безпека та конфіденційність даних. На серверах Twitter зберігалися петабайти конфіденційної інформації клієнтів. А тому момент передачі серверів транспортній компанії — грубе порушення. Адже це сторонній підрядник, який немає жодного стосунку до Twitter.

І наостанок — вимкнути сервер від розетки погана ідея. Перед міграцією потрібно правильно та поступово відключати всі сервіси, що на ньому розміщені. Наприклад, ви маєте сервер, на якому розгорнуто CRM-систему, серверну ферму та Active Directory. У разі міграції спочатку необхідно відключити CRM, потім термінальну ферму, а потім Active Directory. І на новому місці під'єднати все у зворотному порядку.

Транспортування серверного устаткування — дуже складний процес. Міграція від Ілона Маска — ланцюг неймовірних помилок та ідеальний приклад «як робити не можна». Тому підходьте до цього з усією серйозністю або звертайтеся до фахівців за допомогою.