さくらのVPSで障害が起きて、データが吹っ飛んでから復旧した

  • このエントリーをはてなブックマークに追加
  • Pocket

かなり久々の更新になってしまいました。

前回の更新が4月なので、8ヶ月ぶり。ていうか、今年終わる。ヤバい。

この8ヶ月の間、色々ありました。

FavTube が月間10万PVを超えたり、ブログのテーマを変えたり、6kg程痩せたり、コンタクトにしたり、泥酔して色々失敗したり。

そんな年の瀬に事件発生ですよ奥さん。

経緯

ある日いつもの様に、FavTube にサイトをいいねの数増えてるかなーとアクセスしてみた所サイトに繋がらない。

apacheでも落ちたかな?とコンソールを立ち上げてみたものの、サーバー自体に繋がらない・・

焦る。焦りまくりすてぃ。

さくらに料金払い忘れたかな?と確認するも支払い済み。

そこに、gmail宛にさくらから障害情報のメールが届いた。

             さくらのVPS サービス 障害に関するご報告

さくらインターネット株式会社

平素よりさくらインターネットをご利用いただき、誠にありがとうございます。

発生日時 : 2013年11月26日22時50分~2013年11月27日03時40分

ご利用のVPSサーバの再起動を伴う障害が発生
しました。お客さまにはご迷惑をおかけし大変申し訳ございません。深くお詫
び申し上げます。

障害の詳細につきましては、以下の障害情報をご参照ください。

▼ メンテナンス・障害情報 さくらのVPS1Gプランの一部
http://support.sakura.ad.jp/mainte/mainteentry.php?id=11675

障害の解消後、弊社にてご利用のVPSサーバのOS起動を確認させていただいた
ところ、以下のメッセージが表示されておりました。

EXT4-fs error (device vda3): ext4_lookup: deleted inode referenced: 3801089
ログインプロンプト等を表示しておりませんので、VPSサーバのOS起動が正常に
完了していない可能性がございます。

お客さまにはご迷惑をおかけし、大変申し訳ございません。

VPSコントロールパネルの「リモートコンソール」機能にて、VPSサーバのコン
ソールを直接操作していただくことが可能です。
恐れ入りますが、お客さまにてVPSサーバの動作をご確認いただけますよう
お願いいたします。

▼ VPSコントロールパネル
https://secure.sakura.ad.jp/vpscontrol/

あっちゃー。障害に巻き込まれた。

と初めて気づく。

とは言え、コントロールパネルから再起動すりゃ直るっしょと高を括っていた。

ところが再起動をしても

EXT4-fs error (device vda3): ext4_lookup: deleted inode referenced: 3801089

リモートコンソールとVNCコンソールでこのエラーを吐き続け、入力キーを何も受け付けてくれなかった。

仕方無いので、さくらのサポートにメールするも返信が遅い。

ならばと、サポートセンター電話して対応をお願いするも5時間ほど放置される。

もう一回電話して、サービスが止まっていて困っている旨を伝えて急いでもらう。

んで、やっと返って来たメールがこれ

この度はご不便をお掛けしておりますこと、お詫び申し上げます。

確認いたしましたところ、ファイルシステムが破損しているようで
ございます。

fsckを実行する必要がございますが、お客様にて行なっていただくことは
可能でしょうか。

弊社にて代行させていただくことも可能でございます。

しかしながら、fsckの実行によりファイルが破損する可能性ごございますため
ご了承いただけるようでございましたら、お手数をお掛けいたしますが
本メールの返信にてご依頼いただけますでしょうか。

ご不明な点やご質問等ございましたら、本メール返信にてお問い合わせ
ください。

今後ともさくらインターネットをよろしくお願いいたします。

だから、コンソールからなにもキーを受け付けてくれないって言ってんだろがクソボゲが。

とは言いませんでしたが、fsckを依頼。

ちなみに、fsckというのはファイルシステムの修復をしろーって言うコマンド。

【 fsck 】 ファイル・システムの検査と修復を行う

というか、そもそも障害復旧できてねーじゃん。

勝手にメンテナンスして、障害起こしてろくに確認もしてない。この時点で怒り心頭でした。

でも、まあfsckして直るんならまあいいかと。

翌日まで連絡なかったので、自分でコンソールにアクセスして確認するとfsckコマンド打った形跡がある。

が・・結局ファイルシステムは破損したまま。fsckしたけど、復旧できませんでしたの連絡も無し。

見切りをつけ、OSの再インストールをしてWEBサーバーを再構築 → バックアップファイルをアップロードして復旧。

復旧への道のり

障害が起きたサーバーはさくらのVPSで、このwordpressのブログと FavTube が入っている。

まずは、OSの基本設定とWEBサーバの構築をした。

さくらのVPS を改めて使いはじめる

FavTube はローカルにあるファイルをアップロードすれば終わりなのでこれで復旧した。

とりあえず、一安心。

問題はこのwrodpressのブログだ。さくらVPSのサービスにはバックアップがない。

「さくらのVPS」でバックアップの機能はありますか

仕様なのは分かったけど、勝手にメンテンナンスする時くらい取っておけボケ。

また、腹たって来た。

しかし、以前入れた BackWpup と言うプラグインのおかげでdropboxにDBからファイルまで全てのバックアップが残っていた。

wordpressのプラグインBackWPupでエラーが出た場合

復元は以下を参考にした。

BackWPup – バックアップデータからの復元手順

phpMyadminをインストールしなければならなかったのが、ちょっと面倒だったが今後も使いそうなのでインストールした。

wrodpressを使っている人は、今すぐbackwpupのプラグインは必ず入れておいた方が良い。

一応、インストールと設定方法を置いておこう。

WORDPRESSのデータをバックアップをする「BACKWPUP」設定

データ復元後に、backwpupが正常に動作するかテストした所エラーを吐いた。

ERROR: Dropbox API: (403) Invalid signature.
ERROR: Job has ended with errors in  You must resolve the errors for correct execution.
上記はdropboxAPIのエラーで再認証を行うことで解決した。
WARNING: require(): Unable to allocate memory for pool
 上記は、phpのメモリ割り当てのエラーらしく
APCの設定ファイルのphpのメモリ割り当てを増やして解決できた。
正直自分にこういう障害が本当に当たるとは夢にも思わなかったが、バックアップをきちんとしておいたおかげで早急な復旧が実現できた。

自分の物だけならまだしも、請け負って作った物などだった場合いやーさくらがーなんて言った所で元には戻らない。

終わりに

さくら側に対して、補償はどうしてくれんの?的なぶち切れメールを送ったら以下の返信が来た。

ご連絡が遅くなりましたこと、お詫び申し上げます。

本件に関しましては、弊社にて復旧を試みましたが改善することが
出来ない状態でございました。

ご案内前にお客様にてOS再インストールを行なわれたとのこと、
お手数をお掛けすることとなり、申し訳ございませんでした。

なお、ご利用いただけなかった期間に関しましては、補償と
いたしましてサービスご利用期間を1ヵ月延長させていただきます。

ご不明な点やご質問等ございましたら、本メール返信にてお問い合わせ
ください。

今後ともさくらインターネットをよろしくお願いいたします。

それだけかよ。

それでも、俺はさくらのVPSをまた使っている。

正直対応の遅さと勝手に壊しといてシラネみたいな対応には、かなり腹が立ったがこの値段と帯域のスピードを考えると他に選択肢が無いからだ。

あと、めんどくさいから。

  • このエントリーをはてなブックマークに追加
  • Pocket

SNSでもご購読できます。

コメントを残す

*