Вот реально, бывают. Сегодня (уже почти вчера) был именно такой. Как там было в старом анекдоте - "ушиб всей бабки"? Вот шото типа того. "Отказ всего".


У меня в домашней серверной инфраструктуре практически всё сделано на Supermicro. Точнее - на матерях Supermicro X9SCM-F. Они, конечно, старенькие - зато а) поддерживают низковольтные и маложрущие интеловские Xeon-ы, что позволяет снизить энергопотребление отдельного бокса до 50-60 ватт в пике, и б) оборудованы IPMI. Это, тысызыть, вводная.

И вот сёдня с утреца, поскольку делать нечего а бухать ещё рано - дай, думаю, проапгрейдю-ка я линуксы на всей инфре. И на домашней, и на VPS-ках.

Сказано - сделано. VPS-ки сожрали всё мигом, всё работает. Домашний NAS тоже. И домашний iSCSI shared storage - без проблем. Дошло дело до core router-а, он у меня тоже linux-based.

Вот он-то и глюканул на апдейте. Я не очень докопался до root cause, но на ребуте grub сказал, что шёл бы я нахуй, ибо у него какого-то там символа не хватает. Ну понятно, в принципе: бутовый девайс там на mdraid, апдейтер обновил grub только на одном из двух винтов, а биос почему-то решил грузиться с того винта, который не проапгрейжден. Иссесьна, это был мой проёб, нужно было сразу принудительно обновить grub на обоих устройствах, но что уж теперь...

Ну чо, лечить нужно. Лечение тривиально: заходим в биос и говорим грузиться с другого устройства. Окей, подключаем консоль (в гараже уже жарко блять, между дрочем!), ребутаем.

И - хуй. Тоись вот просто хуй. Вместо биоса - синенький, аки Нортон Коммандер, экранчик и код B4 в правом нижнем углу. И даже на Ctrl-Alt-Del не реагирует.

Ну чо - видать, сдохло что-то из периферии. Отключаем всё. Грузим. Опять всё тот же хуй: синева и B4.

Меняем память, на всякий случай. Те же яйцы, вид сбоку.

Берём запасную мать, точно такую же, X9SCM-F. Заменяем. Грузим, жмакаем Del для входа в биос. Ви таки будете смеяться с мене, но получаем всё тот же синий экран и код B4.

Заибись колёсный трактор, аднака. Тоись, две независимые матери успешно сдохли в один день. Что-то здесь не так. По симптомам - более всего напоминает протухание сертификатов или переполнение какого-нить счётчика, размерность которого какой-то чалмоголовый ебалнасрал несколько не угадал.

Хуйсым, сбрасываем биос и стартуем. Опа, грузится! Ну, в смысле, в биос можно войти. Система оптимистично заявляет, что ныне у нас февраль 2015-го - ух, как бы я хотел, чтобы это было так на самом деле, сколько хуйни я смог бы исправить или предотвратить!

Меняем дату. В момент, когда год меняется с 2020-го на 2021-й - система виснет нахуй, тоись наглухо, тоись совсем. Это, похоже, был не просто чалмоголовый ебалнасрал. Это был очень талантливый чалмоголовый ебалнасрал...

Ладно, притворимся, что на дворе действительно 2015-й. Стартуем, заходим в биос, меняем бутовое устройство, таки грузимся. А после первой же перезагрузки что? Праааильно! Вся мандула опять виснет кху ям, ибо hwclock попытался проапдейтись время в биосе... Мальчик, ну ёб твою мать ©.

Окей, идём на сайт супермикры - и с изумлением обнаруживаем, что они таки выпустили патч биоса с фиксом именно этой хуйни! "Fixed problem of system hanging when entering setup with system date year 2021". Херассе, ну и спасибо заодно: мать-то давным-давно уже снята с производства. Надеюсь, что и чалмоголового таки расстреляли за сортиром.

Но зато теперь есть чем заняться. В смысле, апдейтами биосов на трёх боксах (ещё два пока что подождут).

Два бокса, из трёх, пофиксились без проблем. На этом месте я решил, что нужно бы передохнуть, посмотреть какое-нить кинцо и выпить пивка. Прежде чем приступать к апдейту home NAS, ибо а) там 60TB кина, и надо бы сначала засинхрить бэкап, как раз успею кинцо посмотреть, б) оно дико тормозное в загрузке, ибо фирмварь к RAID-адаптерам писал тоже какой-то чмоголовой ебалнасрал (а я всё никак не соберусь заменить адаптеры), и в) ну просто хочется пива :).

Включаю домашний кинотеатр... и через пару минут понимаю, что с плейером (Dune HD Pro 4K) творится какая-то ебань, ибо оно висит в состоянии "Loading". Три года отработало нормально - и вот пожалте бриться...

Ресеты, рытьё в гугле, попытки скормить прошивку с флешки... Похуй. Мёртвенькое. Заибись денёк.

Ладно, хуй бы с ним, заказываю на сайте более новенькую модель Дюны. Триста баксов блять! А я ведь их не рисую...

Ну а теперь можно и NAS проапдейтить. Тоскуя в процессе перезагрузок, каждая из которых - около трёх минут. Спасибо неведомому ебалнасралу за наше счастливое всё.

Однако, проапдейтились. Радуемся и пляшем... примерно пять минут, после чего ядро говорит, что интеловский сетевой 10Gbit адаптер перегрелся, и мы его поэтому отключаем. Не, ну просто песдатый день, чё там. Опять же: года три проработало без проблем, иногда даже при +40 цельсия за бортом - а тут вдруг перегрелось вмиг.

Матюкаемся, вынимаем ящик из стойки, меняем адаптер. На более другой, оборудованный кулером, помимо радиатора. Грузим...

Вот сижу, смотрю в консоль уже полчаса - жду, не скажет ли, что и этот адаптер тоже перегревается... Пока что полёт нормальный, тьфу-тьфу-тьфу... Но как-то странно это всё.

Короче, ахуительный денёк. Увлекательный и нескучный, как тот сад.

Оригинал здесь: https://cybernatic-cat.dreamwidth.org/1624816.html
Судя по всему, LiveJournal теперь под юрисдикцией и цензурой высокодуховных богоносных жывотных. Если вы хотите и впредь читать/обсуждать мои посты - перемещайтесь на dreamwidth.org. Это несложно.

https://cybernatic-cat.livejournal.com/1646862.html