10月24日 03:27、Arch のマシンの Btrfs が書き込みで満杯になった。
その後の1時間で、いくつかのサービスが次々と倒れた。個人サイトの PostgreSQL バックエンド Aborted、その後はずっと the database system is in recovery mode で止まったまま。WordPress の MariaDB は 04:20 に終了し、Docker は no space left on device を残した。AstrBot は 03:42 に終了、終了コード 135、overlay マウントディレクトリは ENOSPC。KDE Baloo のインデックスプロセスは同じ分に SIGBUS で core dump。AstroDX のデータベースもこの時間帯に PANIC: could not write ... global/pg_control: No space left on device を報告しており、私が引き継いだ時点ではすでに前のラウンドの操作で救われていた。
私が動き出したのは 10月25日になってからだ。その間はほぼ1日空いており、最初にやったのは再起動ではなく、順序を決めることだった。
まず止める、次にバックアップ、最後にようやく起動
これらのコンテナはどれも ENOSPC で中断されたのであって、設定が壊れたわけではない。それらのボリュームの中には「書きかけのデータベース」があり、そのまま docker start すると中途半端な状態を正常な状態として使い続けてしまう恐れがある。とはいえ止めたままでも仕方がない。書き込めない状態ではどんな検査もできないからだ。
本当に区別すべきは2つのことだ:
- ボリュームの中のデータが今どんな状態か;
- 復旧した後、それがまともにサービスを提供できるか。
1 は起動の前に証拠を残さなければならず、2 は起動した後でしか検証できない。だから順序は 停止 → オフラインバックアップ → そのまま起動 → 読み取り専用でデータ検証 に固定する。どのステップも「再構築」ではない。
停止にはコストが伴う。iv2-prod-db-1 は当時まだ crash recovery の最中で、ヘルスチェックは接続を拒否し続けており、止めることはこのラウンドでは復旧できないと認めるに等しい。だが止めなければ一貫した pgdata は得られない。まず docker stop --time 45 し、それから State.Running が false であることを確認する。
バックアップはイメージに同梱された tar を使い、使い捨てコンテナで実行する。ホスト側のパスは経由しない:
docker run --rm --pull=never --network none --read-only \
--mount type=volume,src=iv2-prod_pgdata,dst=/source,readonly \
--entrypoint tar postgres:18-alpine -czf - -C /source .--network none、--read-only、readonly をマウントする。3つとも、この読み取りでソースボリュームを書き換え得ないようにするためだ。アーカイブを書き終えたら即座に fsync し、それから全体を解凍して読み通し、切り詰められた gzip でないことを確認し、さらに tarfile でメンバー数とバイト数を数え、最後に SHA256 を計算して受領記録に残す。1887 ファイル、元のバイト数 378,342,728、アーカイブ後 101,183,135 バイト。
ここまで来てようやく起動が許される。起動は「修復」ではなく、状態を元のプログラムに返すことだ。PostgreSQL 自身が WAL を再生してクラッシュリカバリを完了し、30 回の pg_isready ポーリングで接続を受け入れるのを待ち、さらに pg_is_in_recovery() を問い合わせて既に書き込み可能なプライマリであることを確認する。全行程で pg_resetwal はなく、WAL の削除もなく、初期化もなく、古いスナップショットからの上書きもない。
MariaDB も同じ道をたどる。wordpress_db_data をバックアップし、元のコンテナを起動し、それから 46 のテーブルを1つずつ CHECK TABLE し、すべて OK。
エンドポイントはコンテナより長生きする
この2つのコンテナを立ち上げた後、wordpress-db-1 が起動しなかった。原因は、それが倒れたときに Docker がコンテナのネットワーク設定を消したものの、libnetwork の中にエンドポイントが残ったままで、名前も ep-... のままだったことだ。同じネットワーク内に今、同名のエンドポイントが2つあり、新しいコンテナは元のエイリアス db を取得できない。
普通のやり方は docker network disconnect --force だ。問題は、すでに停止したコンテナに対して実行すると、コンテナの設定を消すだけで、エンドポイントはそのままネットワークに残ることだ。成功したように見えて、実際には何も変わっていない。だからスクリプトにはまず一行のアサーションを書いた。disconnect の後に network inspect し直し、この名前がまだ見つかれば停止する。
Moby の daemon/container_operations.go を調べて初めて、force クリーンアップがエンドポイント名で行われると分かった。そこでこう変えた。対象コンテナを一時的に改名してエンドポイント名の衝突をなくし、元の名前で force クリーンアップし、コンテナ名を戻し、最後に元のエイリアスで connect し直す。クリーンアップの前後でネットワーク内の他のコンテナのエンドポイントを項目ごとに突き合わせ、完全に一致することを確認する。結論も筋が通る——動かしたのはこの1つのエンドポイントだけで、ネットワークは削除せず、dockerd も再起動していない。
復旧後、CHECK TABLE はすべて通り、コンテナは healthy、サイトの TLS 検証と HTTP 200、WP REST API 200。データマウントとコンテナ ID はどちらも故障前と同じだ。
あの全部ゼロの journal
ディスク満杯は業務と無関係な厄介物も残した。/var/log/journal の下にちょうど 8 MiB のファイルがあり、中身は全部ゼロで、journalctl がそれを読むと Bad message を報告する。厄介なのは、これが「1つのファイルが壊れた」話ではないことだ。ユーザー journal はスキャンのたびにこれに引っかかり、他のログも一緒にうまく読めなくなる。
削除するのが一番楽だが、消してしまえば証拠は二度と残らない。後始末のスクリプトはこうした:
journalctl --file ... --verifyで本当にもう読めないことを確認する;/proc/<journald pid>/fdの中を確認して現在開かれていないことを確かめ、読みながら移すのを避ける;- プライベートディレクトリへコピーし、
fsync、両側でそれぞれ SHA256 を計算し、一致しなければならない; - journal のスキャン対象ディレクトリから移し、それから
journalctl --verifyで全量を再検証し、0 でなければならない; loggerでマーカーを1つ打ち、新しいログが書き込み経路の疎通を証明できるようにする。
副本 8,388,608 バイト、SHA256 2daeb1f3...、root のみ読み取り可能。元のバイト列は保持されているが、内容は復元できない。だから受領書には「復元」ではなく「保持」と書いた。
入れなかった検査と、入れなかった結論
つい結論として書きがちなところがいくつかある:
- 論理バックアップの成功 ≠ インデックスが壊れていない。 4 つの業務データベース
pg_dumpはすべて成功し、さらに Umami と演習用データベースを 1 つ追加して、合計 6 本。BEGIN → CREATE 独立测试表 → INSERT → SELECT → ROLLBACKも実施した。これらはテーブルのデータが読めることを証明するが、個々の物理インデックスが完全であることは証明しない。本番にはamcheckを入れていないので物理検証は行っておらず、受領書にもその点を明記した。 - エラーカウントがゼロ ≠ 全体が健全。 最終的に Btrfs の write/read/flush/corruption/generation カウントはすべて 0、空き容量は約 17.2 GiB。だがこれは scrub の結論ではなく、現時点のカウンタにすぎない。
- 事後の整合性 ≠ リクエストを失っていない。 ディスクが満杯だったあの 1 時間に、本来なら書き込まれるはずが書き込まれなかったリクエストは、データベース構造を調べても分からない。
- サービスが起動する ≠ 機能を検証済み。 AstrBot の画面は 200 だが、他人のアカウントでテストメッセージを送ることはできなかったので、「プラグイン機能は未検収」としか書いていない。
もう一つ、時間差を別に記録しておく:Certbot による 4 ドメインの更新は 10/23 の午前から失敗し始めており、ディスク満杯より 1 日早い。容量回復後もなお失敗している。これを今回の事故に含めると本当の原因が覆い隠されるので、分けて記録する。
収束
19 個の業務コンテナは最終的にすべて running となり、ENOSPC で中断されたサービスはすべて元のコンテナ、元のボリューム、元のエイリアスに戻った。本当に破損が確認されたのはあの journal ファイルだけであり、副本はあり、原件は走査パスの中にはない。
ディスクが満杯になった原因は今回は別途追っていない。後から振り返ると、最も高くついたのは容量ではなく、「まず何をするか」に迷ったあの半日だった——もし先に再起動していれば、pgdata は二重に書き込まれた状態になり、その後のあらゆる証拠保全が割り引かれることになっただろう。
