Mastodonのデータベースを飛ばしてしまった経緯をまとめた。
はじめに
まず連合で繋がってる鯖缶の皆様、そして slum.cloud を利用されていたユーザー様には DB を飛ばしてしまい、大変申し訳ありませんでした。
何故飛ばしてしまったのかを簡単に説明させていただきますので、もしよかったらご覧になってください。
経緯
その日は寝れずに悶々としていたため、何かできることがないかなと思い、「そうだ、Mastodon の DB アップグレードと Mastodon 自体のアップグレードをしてしまおう」と考え作業に着手しました。pg_upgradecluster中に「進捗ログみたいなのは見れないのか」と思い終了キーを押して、DB の実体ファイルを丸ごと削除してしまいました。
そして、バックアップから復元しようと思いファイルにアクセスしたら意味のないデータになっていたことが判明し、バックアップサービスのステータスをみたら数日間にわたり、データベースのバックアップが取れていなかったことが判明しました。
結果的にデータベースは損失、slum.cloud として運営することが不可能になったのが経緯であります。
反省点
・バックアップがあることを確認するのを怠ったこと
・pg_upgradecluster中に終了キーを押してしまったこと(コマンドの実行前によく調べておくことが必要だった)
その後
Mastodon の皆様には簡単なアナウンスをし2nd.slum.cloudとして再開しました。
slum.cloud は永続的に回復しないことを示す 410 コードを返しサーバーにアクセスしてきたサーバーに対し、今後アクセスしないように指示しました。
鯖缶さんにはパージしてもらい、少しでも外部サーバーさんの負荷を減らすように促しました(BT してくれた皆さま、実際に操作を行っていただいた皆様ありがとうございます)。
おわりに
以上が事の顛末となります、再度になりますが鯖缶の皆様、利用されていたユーザー様には申し訳ございませんでした。
今後ともよろしくお願いいたします。