Инженеры Grant Thornton Australia использовали сканеры штрих-кодов для быстрой починки ПК после сбоя из-за CrowdStrike
Системные администраторы компании Grant Thornton Australia нашли инновационный способ восстановления ПК после сбоя, вызванного CrowdStrike, используя сканеры штрих-кодов. Благодаря этому подходу, компания смогла оперативно вернуть в строй свой парк компьютеров, автоматизируя процесс ввода кода для BitLocker.
Внедрение автоматизированного решения
В Grant Thornton Australia на всех устройствах была активирована защита BitLocker, что требовало ручного ввода 48-символьного ключа для расшифровки раздела ОС Windows во время восстановления. Сервера в дата-центрах можно было восстановить относительно быстро, но сотни клиентских ПК в различных филиалах создавали значительные трудности. Кроме того, для восстановления и входа в ОС на клиентских ПК использовались локальные административные учетные записи LAPS.
Пересылка ключей для BitLocker в филиалы была непрактичной, а диктовка ключей по телефону или чтение их коллеге оказались слишком сложными и ненадежными.
Умное использование сканеров штрих-кодов
В итоге, инженеры и системные администраторы компании придумали преобразовать ключи BitLocker в штрих-коды. Эти коды можно было быстро сканировать с экрана ноутбука администратора с помощью сканера штрих-кодов, который функционировал как клавиатура, автоматически вводя код в систему во время восстановления ОС. Инженеры также разработали скрипт на PowerShell для генерации штрих-кодов BitLocker. Введя имя хоста затронутой рабочей станции, скрипт создавал необходимый штрих-код и предоставлял пароль LAPS, что позволило быстро и безопасно восстановить ПК без раскрытия конфиденциальной информации.
Преимущества инновационного подхода
Менеджер по инфраструктуре Grant Thornton Australia, Бен Уотсон, отметил: «Наша команда по IT-инфраструктуре продемонстрировала замечательные инновации в оптимизации процессов восстановления рабочих станций после инцидента. Этот инновационный подход не только ускорил процесс восстановления, но и повысил безопасность, гарантируя, что ключи BitLocker не будут экспортированы, а пароли LAPS останутся конфиденциальными».
В результате внедрения этого метода, все ПК Grant Thornton Australia были восстановлены в течение нескольких часов после глобального IT-сбоя. На починку каждого устройства уходило до 5 минут, тогда как восстановление серверов вручную занимало около 20 минут.
Масштаб проблемы и усилия по восстановлению
Сотрудники техподдержки по всему миру в течение недели устраняли синие экраны смерти (BSOD) на ПК с Windows, вызванные ошибкой в ПО CrowdStrike. Требовалось загрузить систему в безопасном режиме, выполнить определенные команды или поработать с реестром. При использовании шифрования BitLocker нужно было найти и ввести ключ восстановления для каждого ПК перед продолжением исправления обновления CrowdStrike. В большинстве организаций этот процесс занимал до трёх дней, но в больших компаниях с удаленными филиалами на полное восстановление могло уходить до недели и более.
С утра 19 июля 2024 года системные администраторы и инженеры по всему миру в условиях многосменной работы (10-16 часов) восстанавливали ПК, серверы и другие устройства вручную, так как удаленное подключение было невозможно.
У инженеров из других компаний не было сканеров штрих-кодов, поэтому они вводили ключи BitLocker вручную, что значительно усложняло задачу.
Объем проблемы
Microsoft сообщила, что с глобальным сбоем в работе ПК и серверов на Windows из-за некорректного обновления CrowdStrike столкнулось не менее 8,5 миллионов устройств.
Спустя неделю после инцидента, благодаря круглосуточной работе тысяч инженеров и системных администраторов, 97% ПК на Windows, использующих CrowdStrike, были восстановлены. Microsoft ожидает, что полное восстановление всех пострадавших компьютеров в мире может занять несколько недель.
