凄く久々にブログを更新しますが、この間に色々問題が起きたのでその事についてまとめようと思います。
特に、この一年は何故かストレージ周りでトラブルが起きることが多く、とてもつらい感じでした…が、とりあえず収束したようなので書き出してみようと思います。
惨事その1 RAIDアレイ崩壊→VMストレージの死
事の発端はまずここからでした。去年2015年の6月頃に、まず1台ディスクが故障しました。故障したディスクは悪名高きST2000DM001です。(あとになって故障率の高さを知りましたが。7200.12くらいの頃はディスクロックというもの以外そこまで壊れた経験がなかったのでSeagateのディスクは大丈夫だろうと思いましたが、それが甘かったです…)
まあ、当時でも構築して2年くらいが経っていたので、そろそろディスクの1台くらい壊れても不思議ではないかなあと思い、手持ちのST2000DM001と交換し、再構築しました。
その時は特に問題がなかったのですが、更に2ヶ月後の8月に2台目のDM001が死にました。このときに手元にあったのがバックアップストレージに使っていたST2000DL003だったのですが、回転数が違うので新しいのを買わないとなあと1週間くらいRAIDがデグレッた状態で放置していたのですが、この一週間のうちに3台目のST2000DM001が死に、RAIDアレイが全損しました。
うっせやろと思いながらも、ghettoVCBにてバックアップのストレージに重要なマシンのコピーを取っていたので、ダメージは少なく、ここから戻しを行うことにしました。
しかし、ghettoVCBのような方法だと、vmdkの差分コピーとはならず、実行する度に全てのディスクをまるまるコピーすることになるので、TBクラスのディスクを定義しているとなると色々厳しくなります。
そのため、ある程度データが大きくなりそうなものについては、バックアップ対象外のVMとしてNFSサーバを作り、そこに置くようにしていました。そして、これが悲劇の元に…
惨事その2 オペミス
タイトルでネタバレしていますが、まず環境を簡単に説明します。
非常に雑な絵ですが、このような方法で/を含むsdaのイメージバックアップと、sdbに含まれるNFSの領域をsdcへコピーしていました。オレンジの円がVMホストからのSRP接続のデータストアで、青い円がVMゲストから別の物理NFSサーバ(10G接続)への接続です。同期方法は/はMondo backupによるイメージバックアップで、/exportは/export_backへrsyncでした。
ちなみに、NFSには内輪で使っていた諸々のMODデータやこのブログのデータが置いてありました。
プライマリのストレージに問題が起きた場合はvmxファイルなどが消えますが、その際には新規でVMを定義し直し、NFSからMondo backupで定期的に作成されるISOをマウントして復旧、その後/exportを/export_backから戻す、と言う想定でした。mondo自体の実績はあったのでまあ手間だけど問題ないだろうと言う判断でした。
直接NFSに/exportのコピー持てば良くないかと思うかもしれませんが、NFSサーバはメインで使っているNASなので、フルに同期するとその当時の容量的にぎりぎり収まるか何かあれば溢れるという状態だったため、容量的に余裕のあるghettoVCBのバックアップ先にもなっているセカンダリストレージサーバにSRPデータストアを作成していました。
環境の説明が終わったところで、本題に移ります。今回はプライマリストレージが死んだので、このような状態になりました。
そのため、プライマリストレージのディスクを新しく2本買い再構築したうえで、想定通り/nfsに取っていたISOイメージからまずVMの戻しを行いました。正確に言うと微妙に図とは違いますが、概要としてはこうなります。
その後、/が復旧したので、/exportの復旧を行うことにしました。が、ここでデータストアを間違えてセカンダリストレージに定義してしまいました。(あっ…)
あ、vmdkの置き先を間違えた、と気がついたので、再度ディスクの定義をしようと一旦間違えた方をけす事にしました。そして実際のオペレーションが下記です。
ミスに気がついたときの状態のイメージです。ご確認ください。
ええ、人は犯したミスの大きさ、そのミスが戻せないと分かるとほんとこんな感じになります。しかもたちの悪いことにディスクイメージ自体の削除を選んでしまったんですよね。バックアップがあるから大丈夫、という慢心の結果、そのバックアップを自らの手で消す、という愚行を行ってしまいました。これさえしていなければ何事もなかったというのに…。
SRPのエクスポートを一旦止めて、あれこれとディスクの復旧が出来ないかと試してみましたが、まあ無理でした。
バイナリレベルではいくつかのテキストが見つかりましたが、ある程度の大きさのファイルは断片化があり復旧は困難でした。
どうにか復旧できないかとあれこれ探した結果、物理サーバでブログを動かしていた頃のディスクがあったので、そこから何とか復旧できましたが、諸々のデータが1年分消えました。(前エントリが非常に古いのはそのせい)
その後、色々動いていないと不便なので結局プライマリのストレージは再度稼動させ、VM環境もどうにか以前の状態までは復旧させました。
ここまでで十分惨状ですが、このあともまだトラブルは続きました…(長くなったので後半へ)
ツイート
おお、今回の現象の記事がきましたね。
大変だった用でお疲れ様です。
その２も期待しております。
Jerseys Wholesale
NFL Jersey
NBA Shirts
NFL Gear
Football Jerseys Cheap
Cheap Jerseys From China
Custom MLB Jerseys
MLB Jerseys Wholesale
MLB Store
Cheap NFL Jerseys
NHL Store
NHL Jerseys
Cheap Jerseys
NFL Uniforms
MLB Jerseys
Football Jersey
Cheap China Jerseys Wholesale
Jerseys Cheapest
Wholesale Jerseys
NHL Jerseys Wholesale
NHL Jerseys
NFL Jerseys
Cheap Jerseys Wholesale
NHL Gear
Cheap NFL Jerseys
NFL Jerseys
Cheap NFL Jerseys
NFL Football Jerseys
Cheap Jerseys From China
NBA Jerseys Wholesale
Baseball Jerseys
Cheap NHL Jerseys China
Cheap MLB Jerseys From China
Wholesale Jerseys China
MLB Jerseys
Custom MLB Baseball Jerseys
MLB Jerseys
NFL Pro Shop
Cheap Jerseys
NFL Store
Cheap NFL Jerseys From China
Football Jerseys
Cheap Jerseys
Wholesale NFL Jerseys
NFL Shop Official Online Store
NHL Jerseys Cheap
Jerseys Wholesale
NBA Shop
NBA Jersey
NFL Store Online Shopping
Wholesale Jerseys
Cheap MLB Jerseys
MLB Jerseys
NBA Jerseys Wholesale
NFL Jerseys
NFL Jerseys
NBA Jerseys
NBA Store
Cheap Jerseys From China
NFL Jerseys
Custom NFL Jersey
Cheap Jerseys From China
NFL Store
NFL Fan Shop
Wholesale Jerseys
NFL Shop
NFL Shop
Cheap NHL Jerseys
Cheap NBA Jerseys
NFL Gear
MLB Shop
NFL Jerseys Cheap
NFL Jerseys Wholesale
MLB Jerseys
Jerseys Wholesale
NFL Jerseys
Cheap NFL Jerseys
Cheap Jerseys From China
コメントを書く
必要事項とコメントを入力して下さい。
自己紹介
、もしくはTwitterまでお願いします。
