Поделиться
Админ-недоучка уронил сайт крупнейшей в мире интернет-компании из-за небольшой опечатки. Отвечать пришлось перед мультимиллиардером
Неквалифицированный системный администратор по своей вине вывел из строя сайт Amazon. Он не работал три часа, и объясняться сисадмину пришлось лично перед Джеффом Безосом – основателем Amazon и самым богатым человеком на Земле. Корень зла таился в небольшой опечатке, которую сисадмин допустил по неопытности.
Нажми на кнопку, получишь результат
Компания Amazon пережила многочасовой выход из строя своего сайта, известнейшего в мире интернет-магазина с многомиллиардными оборотами. Как пишет The Register, сервис не работал на протяжении долгих трех часов, и проблема стала настолько масштабной, что искать виновного принялся сам Джефф Безос (Jeff Bezos).
Безос – это основатель Amazon и ныне самый богатый человек на Земле с состоянием более $239 млрд на начало 2025 г. История с падением сайта его компании развернулась около 20 лет назад, когда Amazon стремительно набирала популярность на фоне почти полного отсутствия конкурентов.
Издание The Register осветило эту историю от лица того, кто устроил этот сбой – он представился как Кен (Ken). По словам Кена, в ту пору он работал системным администратором с упором на ОС Solaris за авторством Sun Microsystems. Этот опыт позволил ему пройти собеседование и устроиться в Amazon на должность сисадмина, но уже по ОС Red Hat Enterprise Linux (RHEL), с которой он ранее никогда не работал. Это стало отправной точкой в череде событий, которые и привели к поломке сайта Amazon.
Ничего общего
Приступив к работе в Amazon, Кен быстро понял, что Solaris и RHEL совершенно не похожи друг на друга. По его собственному признанию, для своей новой должности в Amazon он был «совершенно неквалифицирован» (completely unqualified).
Впрочем, его непосредственных руководителей отсутствие у Кена опыта администрирования RHEL совершенно не волновало. Ему поручили работу по обновлению приложения резервного копирования, которое сохраняло резервные копии на ленточные накопители.
По словам Кена, на выполнение этой работы у него ушла поистине уйма времени. «Я потратил месяцы на планирование и тестирование, потому что с этим обновлением изменились файлы конфигурации, и нам пришлось создать новые и выпустить их вместе с обновлением».
Кен добавил, что в итоге необходимые файлы был созданы, а соответствующие тесты проведены. «Казалось, все было в порядке, и настал день, когда мы нажали кнопку», – рассказал он.
Что-то пошло не так
После запуска программы резервного копирования все работало как надо, и Кен, равно как и его коллеги, выдохнули с облегчением. «После обновления мы несколько часов сидели и наблюдали. Все работало отлично, поэтому мы похлопали себя по спине, посчитали, что работа сделана отлично, и пошли домой».
Однако, как выяснилось позже, стабильная работа системы была лишь видимостью. На деле все сломалось почти сразу же.
Кен отметил, что в тот же вечер около 19 часов ему на пейджер стала приходить уйма сообщений. Напомним, действо разворачивалось в начале XXI века, смартфонов в современном понимании еще не существовало.
Через несколько минут Кен присоединился к телефонной конференции, в которой приняли участие очень высокопоставленные люди в Amazon. Среди них был и лично основатель Amazon Джефф Безос, в те годы занимавший пост гендиректора собственной корпорации.
Все они хотели одного – узнать, как так получилось, что буквально весь сайт Amazon.com со всеми его многочисленными разделами оказался недоступен. «Многие посчитали, что это плохо», – сказал Кен.
И опыт, сын ошибок трудных
Пытаясь разобраться в причинах произошедшего, Кен и его коллеги в конце концов заметили, что основная база данных Amazon перестала работать, несмотря на то, что огромный кластер компьютеров, на которых она физически присутствовала, функционировали исправно. Кен также знал, что внедренное им приложение для резервного копирования сохраняет журналы базы данных на ленту, а затем удаляет их на серверах, где размещалась база данных, для высвобождения дискового пространства. Кен проверил процесс резервного копирования, но и тут не было никаких нареканий – все работало корректно.
Понимая, что если есть проблема, то есть и ее причина, Кен продолжил искать и в итоге добрался до файлов конфигурации, которые так тщательно создавал вручную. Как оказалось, именно здесь скрывалась причина всего случившегося – в один из файлов закралась опечатка, из-за которой система резервного копирования не удаляла логи после создания бэкапов. В итоге место на дисках закончилось.
«В течение многих часов это не было проблемой, но в конце концов раздел, содержащий журналы, заполнился, и база данных просто сдалась, начав жаловаться, что она больше никому не нужна», – рассказал Кен The Register.
Кен на пару с администратором баз данных вручную удалили все файлы логов на серверах, предварительно убедившись, что ни один файл журнала не был утерян. После этого база данных заработала, а следом за ней «поднялся» и сайт Amazon.
Вот так я и разрушил Amazon
Кен оперативно исправил опечатку в файле конфигурации, а затем вернулся домой и провел беспокойную ночь, размышляя о необходимости найти новую работу.
«На следующее утро я подъехал к офису и увидел своего руководителя, стоящего на парковке, там, где я обычно оставляю машину. Мне это показалось нехорошим предзнаменованием», – сказал Кен.
Он вышел из машины и медленно пошел к управляющему. Тот стоял молча около 15 секунд, пристально глядя на Кена, после чего совершенно внезапно широко улыбнулся, пожал ему руку и поздравил с успешным прохождением боевого крещения.
«Мы вошли внутрь, и все долго подшучивали надо мной. Вот так я и разрушил Amazon», – подытожил Кен.
Короткая ссылка
