Back to overview

しぃ!のディスク障害によるロールバック、サーバー移転

Jul 18 at 12:30pm JST
Affected services
しぃ!/si.okin-jp.net

Resolved
Jul 18 at 12:30pm JST

しぃ!ではディスク障害によりサービスの中断と機能低下が発生していました。
ご不便をおかけしました。お詫び申し上げます。

事象及びその時系列は以下の通りです。

事象説明

  • 影響期間: 2025/7/17 10:00- 2025/7/18 12:00
  • 影響範囲: 2025/7/17 10:00-15:15の間のしぃ!上の投稿の消失、2025/7/17 15:15-21:30のサービス完全停止、2025/7/17 21:30-翌12:00の全文検索、翻訳機能停止
  • 原因: VPSのルートディスクが論理障害を起こし、しぃ!のデータが破損、起動出来なくなった。
  • 対処: サーバーの契約が終わる時期だったため準備中だった新サーバーに移転し、正常な最終バックアップを復元して復旧した。

時系列

2025/7/17
- 10:00 正常な最後のバックアップが作成される
- 12:00 定期バックアップの作成に失敗。(バックアップシステムの状況から既にディスク障害が発生していたとみられる。)
- 15:15 外形監視によりシステムの完全な停止を検知
- 15:17 OSが起動出来ない状態であることを確認、ファイルシステムの修復作業を開始
- 15:45 LXDディスクファイルのジャーナルからの復旧作業を開始
- 16:00 一部復元できたもののデータが利用できる状態ではないことを確認
- (作業中断)
- 17:05 バックアップのチェックを開始
- 21:30 バックアップの復元を完了
2025/7/18
- 6:00 翻訳、検索機能の復旧を開始
(バックグラウンド作業の待機と作業中断)
- 12:00 復旧確認を開始
- 12:05 サービス上で復旧を通知