|
|
2006/8/9(水)
16:10 楽天様より商用のデータベースが停止したという連絡を受け障害が発覚
16:15 現地作業者より CTC 社内へ 商用のディスクに対してラベルの書き込みを行ったとの第一報
16:25 CTC 技術員を追加派遣、現場へ急行
17:00 CTC 現地作業者にて復旧作業を実施している事 CTC 社内へ連絡
17:20 CTC 技術員、追加入館者、現地到着。状況確認・復旧作業へ参加
18:00 EMC 社 現地到着。状況確認・復旧作業へ参加
19:15 Veritas 社 現地到着。状況確認・復旧作業へ参加
19:30 楽天様と今後の作業についてMTG 実施
20:00 日次バックアップデータをさらに別の領域へバックアップ開始
21:50 fsck コマンドによる復旧作業の開始
2006/8/10(木)
00:15 fsck コマンドによる復旧が失敗。楽天様へご報告し、今後の作業内容についてMTG 開始
00:55 今後の作業内容について決定。復旧作業の再開
・サービス再開に向けての作業
・再度、データリカバリーの方法がないか検討開始
(この2点を平行して実施)
02:00 日次バックアップデータの複製を追加で作成開始
03:30 日次バックアップデータの複製の作成完了
04:04 サーバから日次バックアップデータが見えるようになる
06:30 Veritas 社にてラベルの書き込みがされたディスク内を確認したが、復旧不可と判断
|
|