Mastodonのデータベースを飛ばしてしまった経緯をまとめた。

はじめに

まず連合で繋がってる鯖缶の皆様、そしてslum.cloudを利用されていたユーザー様にはDBを飛ばしてしまい、大変申し訳ありませんでした。
何故飛ばしてしまったのかを簡単に説明させていただきますので、もしよかったらご覧になってください。

経緯

その日は寝れずに悶々としていたため、何かできることがないかなと思い、「そうだ、MastodonのDBアップグレードとMastodon自体のアップグレードをしてしまおう」と考え作業に着手しました。
pg_upgradecluster中に「進捗ログみたいなのは見れないのか」と思い終了キーを押して、DBの実体ファイルを丸ごと削除してしまいました。
そして、バックアップから復元しようと思いファイルにアクセスしたら意味のないデータになっていたことが判明し、バックアップサービスのステータスをみたら数日間にわたり、データベースのバックアップが取れていなかったことが判明しました。
結果的にデータベースは損失、slum.cloudとして運営することが不可能になったのが経緯であります。

反省点

・バックアップがあることを確認するのを怠ったこと
pg_upgradecluster中に終了キーを押してしまったこと(コマンドの実行前によく調べておくことが必要だった)

その後

Mastodonの皆様には簡単なアナウンスをし2nd.slum.cloudとして再開しました。
slum.cloudは永続的に回復しないことを示す410コードを返しサーバーにアクセスしてきたサーバーに対し、今後アクセスしないように指示しました。
鯖缶さんにはパージしてもらい、少しでも外部サーバーさんの負荷を減らすように促しました(BTしてくれた皆さま、実際に操作を行っていただいた皆様ありがとうございます)。

おわりに

以上が事の顛末となります、再度になりますが鯖缶の皆様、利用されていたユーザー様には申し訳ございませんでした。
今後ともよろしくお願いいたします。

コメント