Gdy serwer nie wstaje

Wstęp

You are in emergency mode. After logging in, type "journalctl -xb" to view
system logs, "systemctl reboot" to reboot, or "exit"
to continue bootup.
Give root password for maintenance
(or press Control-D to continue):

Kolega w piątek dopisał do /etc/fstab nowy dysk. Poszedł do domu. W nocy była aktualizacja z restartem. Rano serwer stoi na tym ekranie, nie ma sieci, nie ma SSH, nic. Jest tylko konsola i Ty.

Panika jest naturalna. Ale ten ekran to nie jest koniec świata, tylko zaproszenie. System mówi: „coś mi nie pasuje, wejdź i napraw”. Dzisiaj nauczysz się z niego korzystać, a przy okazji odzyskasz zapomniane hasło roota. Bez reinstalacji, bez płakania.

Wszystko z tej lekcji ćwicz na maszynie wirtualnej. Na serio. Najlepiej zrób jej migawkę, jak w lekcji o KVM. Zepsuć rozruch jest łatwo, a ćwiczyć naprawę na serwerze produkcyjnym to jak uczyć się pływać na Titanicu.

Gdzie start może się wysypać

Przypomnienie z lekcji o starcie systemu. Rozruch to sztafeta, cztery osoby podają sobie pałeczkę:

1. Firmware (BIOS albo UEFI) budzi sprzęt i szuka programu rozruchowego.
2. GRUB pokazuje menu, ładuje jądro i initramfs i podaje jądru parametry.
3. Jądro z initramfs startuje, ładuje sterowniki i szuka dysku z głównym systemem plików.
4. systemd, kierownik zmiany, montuje dyski z /etc/fstab i uruchamia usługi aż do celu, zwykle multi-user.target.

Każdy z nich może upuścić pałeczkę i każdy upuszcza ją inaczej. Brak menu i czarny ekran: firmware albo GRUB. Kernel panic: jądro. Tryb awaryjny z prośbą o hasło: systemd, najczęściej przez fstab. Jak wiesz, kto upuścił, wiesz, gdzie szukać.

Tryb ratunkowy i awaryjny

W budynku są dwa rodzaje wejścia dla obsługi technicznej. Rescue, czyli tryb ratunkowy, to wejście, gdy budynek stoi, ale biura są zamknięte. Prąd jest, korytarze oświetlone, wszystkie skrzydła podłączone, tylko nikogo nie wpuszczamy. Emergency, tryb awaryjny, to wejście przez piwnicę z latarką. Działa tylko szkielet budynku, a do tego tylko do oglądania.

Na działającym systemie przejdziesz do trybu ratunkowego komendą:

systemctl get-default
sudo systemctl isolate rescue.target

isolate znaczy „zatrzymaj wszystko, czego ten cel nie potrzebuje”. Przez SSH tego nie rób: sieć jest pierwszą rzeczą, która zniknie, a Ty razem z nią. Tylko z konsoli.

Częściej jednak trzeba tam wejść, kiedy system nie startuje. Wtedy cel podajesz jądru w GRUB-ie. Dokumentacja Red Hata podaje parametry systemd.unit=rescue.target i systemd.unit=emergency.target. Krócej działają też słowa rescue i emergency.

Edycja wpisu w GRUB-ie

GRUB to ochroniarz przy bramie, który ma kartkę z instrukcją dla jądra. Możesz mu tę kartkę na jeden raz przekreślić i dopisać coś od siebie.

1. Uruchom ponownie maszynę.
2. W menu GRUB-a ustaw się na wpisie, który chcesz uruchomić, i wciśnij e.
3. Zjedź strzałkami do linijki, która zaczyna się od linux. To jest kartka dla jądra.
4. Przejdź na koniec tej linijki (End albo Ctrl+E) i dopisz parametr po spacji, na przykład systemd.unit=rescue.target.
5. Ctrl+X uruchamia system z tą zmianą.

menu edycji GRUB-a z podświetloną linijką linux ... ro crashkernel=... rhgb quiet

Zmiana działa jeden raz. Po restarcie kartka wraca do oryginału. Esc w trakcie edycji wyrzuca wszystkie Twoje zmiany. Dobra rada: przy okazji skasuj z linijki rhgb quiet [RHEL] albo quiet splash [Ubuntu]. Zamiast ładnego logo zobaczysz, co system robi i na czym się zatrzymał.

[Ubuntu] Na Ubuntu menu GRUB-a jest domyślnie schowane. W pliku /etc/default/grub stoi GRUB_TIMEOUT_STYLE=hidden i GRUB_TIMEOUT=0. Żeby je zobaczyć, przytrzymaj Shift zaraz po włączeniu na maszynach z BIOS-em albo wciskaj Esc na maszynach z UEFI. Na maszynie wirtualnej trzeba mieć refleks kota.

Zmiany na stałe robisz w systemie, nie w menu:

sudo grubby --info=ALL
sudo grubby --default-kernel
sudo grubby --update-kernel=ALL --remove-args="rhgb quiet"

sudo nano /etc/default/grub      # np. GRUB_TIMEOUT_STYLE=menu, GRUB_TIMEOUT=5
sudo update-grub

Reset hasła roota na RHEL: rd.break

Zapomniałeś hasła roota, a zwykły użytkownik nie ma sudo. Na egzaminie RHCSA to klasyk, w pracy też się zdarza, zwykle na maszynie, którą ktoś postawił trzy lata temu i nie zapisał hasła nigdzie, bo „przecież zapamiętam”.

Pomysł jest taki: zatrzymujemy start, zanim system wpuści kogokolwiek do środka. Parametr rd.break mówi initramfs: „zatrzymaj się tuż przed przekazaniem pałeczki prawdziwemu systemowi i daj mi powłokę”. Prawdziwy system jest w tym momencie podłączony pod /sysroot, tylko do odczytu.

Procedura z dokumentacji RHEL 9, krok po kroku:

1. Restart, w GRUB-ie e na wpisie systemu.
2. Na końcu linijki linux dopisz rd.break.
3. Ctrl+X. Pojawia się znak zachęty switch_root:/#.
4. Dalej komendy:

mount -o remount,rw /sysroot
chroot /sysroot
passwd
touch /.autorelabel
exit
exit

Co robi każda linijka:

• mount -o remount,rw /sysroot — przepina prawdziwy system z „tylko do odczytu” na „do zapisu”. Bez tego passwd nie ma gdzie zapisać nowego hasła.
• chroot /sysroot — wchodzisz do prawdziwego systemu, od teraz / to Twój dysk, a nie mini-system z initramfs. Jak przejście z przedsionka do budynku.
• passwd — nowe hasło roota.
• touch /.autorelabel — prośba do SELinuksa o ponowne nadanie etykiet wszystkim plikom przy następnym starcie. Dlaczego, za chwilę.
• pierwszy exit wychodzi z chroot, drugi kończy powłokę i system startuje dalej.

Po starcie SELinux przechodzi po wszystkich plikach i nadaje etykiety. Na dużym dysku to trwa i dokumentacja ostrzega, że może długo. Potem system sam się restartuje. Nie przerywaj, nie wyłączaj, idź po kawę. Po wszystkim logujesz się nowym hasłem.

Reset hasła na Ubuntu: recovery mode

Ubuntu ma gotowe menu ratunkowe, pakiet friendly-recovery.

1. Pokaż menu GRUB-a (Shift albo Esc).
2. Wybierz Advanced options for Ubuntu, a potem wpis kończący się na (recovery mode).
3. Pojawia się menu z opcjami: clean (zrób wolne miejsce), dpkg (napraw zepsute pakiety), fsck (sprawdź wszystkie systemy plików), grub (zaktualizuj GRUB-a), network (włącz sieć), root (powłoka roota), system-summary (podsumowanie).
4. Wybierz root — Drop to root shell prompt.

Na Ubuntu konto root jest domyślnie zablokowane, więc zamiast pytania o hasło zobaczysz:

Press Enter for maintenance
(or press Control-D to continue):

Enter i jesteś rootem. Dalej:

mount -o remount,rw /
passwd eryk
sync
reboot

Na Ubuntu nie ma SELinuksa, więc nie ma /.autorelabel. Jest AppArmor, a on etykiet na plikach nie trzyma.

I teraz zatrzymaj się na chwilę. Właśnie zresetowałeś hasło roota bez znajomości żadnego hasła. Każdy, kto ma dostęp do konsoli, może zrobić to samo. Fizyczny dostęp do serwera to dostęp do roota. Dlatego serwerownie mają zamki, GRUB może mieć własne hasło (sudo grub2-setpassword na RHEL-u), a dyski laptopów szyfruje się. Zaszyfrowany dysk bez hasła do niego to dla złodzieja bardzo drogi przycisk do papieru.

Błąd w fstab

Wracamy do haka. Kolega dopisał dysk i zrobił literówkę w UUID. Albo dopisał dysk, który potem ktoś odpiął. systemd przy starcie czeka na urządzenie, domyślnie półtorej minuty, nie znajduje, a dysk jest wymagany, więc nie da się osiągnąć celu. Ląduje w trybie awaryjnym.

Naprawa z ekranu awaryjnego:

journalctl -xb | grep -i -E 'fstab|mount|timed out'
mount -o remount,rw /
nano /etc/fstab
systemctl daemon-reload
mount -a
findmnt --verify
systemctl reboot

/ jest w trybie awaryjnym tylko do odczytu, więc przed edycją przepinasz na zapis. systemctl daemon-reload każe systemd przeczytać fstab jeszcze raz, bo systemd robi z każdej linijki własną jednostkę .mount. mount -a sprawdza, czy teraz wszystko się montuje. Cisza znaczy sukces.

A lepiej sprawdzać przed restartem, nie po. findmnt --verify to korektor dla fstab. Podsunąłem mu plik z dwoma typowymi błędami: UUID z literówką na końcu i dysk, którego nie ma:

findmnt --verify --tab-file fstab-test

/mnt2
   [E] unreachable on boot required source: UUID=f9e2a666-e697-45e8-86bf-1de0caf41e60
/backup
   [E] unreachable on boot required target: No such file or directory
   [W] unreachable source: /dev/sdb1: No such file or directory
   [W] ext5 seems unsupported by the current kernel

0 parse errors, 2 errors, 4 warnings

I mount -a na tym samym pliku:

mount: /mnt2: can't find UUID=f9e2a666-e697-45e8-86bf-1de0caf41e60.
mount: /backup: mount point does not exist.

Zasada na całe życie: po każdej zmianie w fstab najpierw findmnt --verify i mount -a, a restart dopiero, jak oba milczą. A dla dysków, bez których serwer może żyć, na przykład z kopiami, opcja nofail, którą znasz z modułu o dyskach. Wtedy brak dysku to ostrzeżenie w dzienniku, a nie stojący serwer.

fsck przy starcie

fsck to przegląd techniczny systemu plików. Sprawdza, czy spis treści zgadza się z tym, co naprawdę leży na półkach. Szósta kolumna w fstab mówi, czy i w jakiej kolejności robić przegląd przy starcie: 1 dla /, 2 dla reszty, 0 nigdy. Przy starcie robi to usługa systemd-fsck.

Zepsujmy coś na pliku zamiast dysku. Robię system plików i kasuję mu główny superblok, czyli stronę tytułową ze spisem treści:

truncate -s 200M dysk.img
mkfs.ext4 -q -L dane dysk.img
dumpe2fs dysk.img 2>/dev/null | grep -i 'superblock at'
dd if=/dev/zero of=dysk.img bs=1024 seek=1 count=1 conv=notrunc
e2fsck -fy dysk.img
echo $?

  Primary superblock at 0, Group descriptors at 1-1
  Backup superblock at 32768, Group descriptors at 32769-32769

e2fsck 1.47.0 (5-Feb-2023)
ext2fs_open2: Bad magic number in super-block
e2fsck: Superblock invalid, trying backup blocks...
Pass 1: Checking inodes, blocks, and sizes
Pass 2: Checking directory structure
Pass 3: Checking directory connectivity
Pass 4: Checking reference counts
Pass 5: Checking group summary information

dane: ***** FILE SYSTEM WAS MODIFIED *****
1

ext4 trzyma zapasowe kopie superbloku, jak książka, która ma spis treści na początku i jeszcze kilka razy w środku. e2fsck sam sięgnął po zapasowy. Kod 1 znaczy „były błędy, naprawiłem”, 0 „czysto”, 4 „zostały błędy”. Jak sam nie znajdzie, podajesz mu zapasowy ręcznie: e2fsck -b 32768 /dev/sdb1.

Najważniejsza zasada: nigdy nie naprawiaj zamontowanego systemu plików. To jak remont kuchni w trakcie obiadu dla trzydziestu osób. Nowy e2fsck na szczęście sam odmówi:

/dev/loop1 is mounted.
e2fsck: Cannot continue, aborting.

System plików / sprawdzasz więc przy starcie albo z płyty ratunkowej. Wymuszenie przeglądu przy najbliższym starcie: parametr jądra fsck.mode=force, a do tego fsck.repair=yes, żeby odpowiadał „tak” na pytania o naprawę.

[RHEL] Domyślny system plików RHEL-a to XFS i on działa inaczej. Przy starcie fsck.xfs nic nie robi, bo XFS po nieczystym wyłączeniu sam odtwarza dziennik przy montowaniu. Dlatego w fstab RHEL-a szósta kolumna dla XFS to 0. Naprawa ręczna, na odmontowanym:

sudo xfs_repair -n /dev/vdb1     # tylko sprawdź
sudo xfs_repair /dev/vdb1        # napraw

Na zamontowanym:

xfs_repair: /dev/loop1 contains a mounted and writable filesystem

fatal error -- couldn't initialize XFS library

Kernel panic

Kernel panic to moment, w którym jądro mówi: „nie wiem, co dalej, i nie zaryzykuję zgadywania”. Zatrzymuje wszystko. Jak pilot, który przy sprzecznych odczytach przyrządów nie leci dalej na ślepo. Najsłynniejszy komunikat to:

„Kernel panic - not syncing: VFS: Unable to mount root fs on unknown-block(0,0)”

Po ludzku: jądro wystartowało, ale nie umie dostać się do dysku z systemem. Najczęstsze powody po aktualizacji: brakuje initramfs dla nowego jądra albo jest uszkodzony, na przykład bo /boot się zapełnił w trakcie instalacji. Albo w linijce linux stoi zły root=.

Pierwsza pomoc: w GRUB-ie wybierz starsze jądro. Dlatego menedżer pakietów trzyma kilka wersji. Jak na starszym działa, odbudowujesz initramfs dla nowego:

# RHEL
sudo dracut -f /boot/initramfs-WERSJA.img WERSJA
# Ubuntu
sudo update-initramfs -u -k WERSJA

I sprawdzasz df -h /boot, bo to częsty winowajca.

Co robi serwer po panice, mówi ustawienie kernel.panic: liczba sekund do automatycznego restartu, 0 znaczy „stój i czekaj na człowieka”.

sysctl kernel.panic

kernel.panic = 1

Tak jest na mojej maszynie testowej, która po panice od razu się restartuje. Na zwykłej instalacji zobaczysz inną wartość.

Jak to działa pod spodem

initramfs to mały system plików w pamięci, ładowany przez GRUB-a razem z jądrem. Ma w sobie sterowniki i narzędzia potrzebne, żeby znaleźć prawdziwy dysk: LVM, RAID, szyfrowanie. Montuje prawdziwy system pod /sysroot, tylko do odczytu, a potem robi switch_root: zamienia korzeń drzewa na /sysroot i oddaje pałeczkę systemd z prawdziwego dysku. rd.break zatrzymuje ten moment tuż przed zamianą. Dlatego znak zachęty nazywa się switch_root:/#.

A SELinux? Każdy plik na RHEL-u ma etykietę, na przykład /etc/shadow ma shadow_t. W initramfs polityka SELinuksa nie jest jeszcze załadowana. passwd zapisuje hasło, tworząc nowy plik shadow i podmieniając stary. Nowy plik nie dostaje żadnej poprawnej etykiety. Po starcie SELinux w trybie enforcing patrzy na plik bez etykiety i nie pozwala programom logowania go czytać. Hasło zmienione, a zalogować się nie da. /.autorelabel każe przy starcie nadać etykiety wszystkim plikom od nowa, według polityki.

Ściąga flag