概要

2021年10月3日 午後2時頃

Misskey.devのAPIに対するDDoS攻撃の負荷に耐えられず、PostgreSQLのデータが破損し直近のバックアップも正常に動作しておらず、4月16日から10月3日までの全データが消失した。

原因

サーバー構成

想定

.
├── 札幌第一 PostgreSQL
│   ├── プライマリ (DB-1)
│   └── 同期レプリケーション (DB-2)
│       └── Googleドライブへ1日ごとにバックアップ (Backup-0)
├── 東京 PostgreSQL
│   └── 非同期レプリケーション (DB-3)
│       ├── Btrfsによる5分ごとのスナップショット (Snapshot-1)
│       └── Googleドライブへ1日ごとにバックアップ (Backup-1)
└── 仙台(元東京) PostgreSQL
    └── 非同期レプリケーション (DB-4)
        ├── Btrfsによる5分ごとのスナップショット (Snapshot-2)
        └── Googleドライブへ1日ごとにバックアップ (Backup-2)

障害発生時

札幌第一 PostgreSQL
├── プライマリ (DB-1)
└── 同期レプリケーション (DB-2)

東京 PostgreSQL
├── 非同期レプリケーション (DB-3)
│   ├── Btrfsによる5分ごとのスナップショット (Snapshot-1)
│   └── Googleドライブへ1日ごとにバックアップ (Backup-1)
└── 仙台(元東京) PostgreSQL
    └── 非同期レプリケーション (DB-4)
        ├── Btrfsによる5分ごとのスナップショット (Snapshot-2)
        └── Googleドライブへ1日ごとにバックアップ (Backup-2)

正常稼働していたシステム

• DB-1, DB-2のデータが破損した際に他のDBからデータを上書きするBot (Bot-1)
• 各DBのプロセスを定期的に確認し、ダウンした場合は再起動を試みるBot (Bot-2)

正常稼働していると振る舞っていたシステム

• DB-1とDB-3、DB-2とDB-4を同期するBot (Bot-3)
• DB-3
  • Snapshot-1
  • Backup-1
• DB-4
  • Snapshot-2
  • Backup-2

意図的に停止していたシステム

• DB-2のGoogleドライブへのバックアップ (Backup-0)

復元テスト

• 半年に一回ほどバックアップデータやスナップショットからDBの復元をテストしており、前回のテストは3月末だった。