Linkstation 死亡
あぁ。。。。NASとして利用していたLinkStationが死んでしまった。。。DLNAサーバとして使っていてPS3で動画を見たりするのに重宝していたので、これはなんとしてでも復旧したいっ。
患者
Buffalo LS-H1.0TGL。購入したのは２年ほど前。
症状
- とりあえず、起動して電源ランプも正常に点灯する。
- が、アクセスすると、非常に遅い。VistaのExploreからアクセスすると、中のファイルが表示されるのに１分程度かかる。
- PS3から動画を再生すると、頻繁に画面が止まる。しばらくすると動き出すが、３秒程度再生するとまた止まる。細い回線でHD動画を見ているような感じ。
まずやったこと
中にあるデータの保護が最優先。幸い、音楽ファイルとプライベートの写真、動画は週次バックアップを取っていたので無事の様子。昔のPCで録画していた動画ファイルやあんな動画はバックアップ対象外だったので、それらをできれば救いたい。
-
- VistaのExploreでアクセスして、該当ファイルをローカルPCに退避する。
→ＮＧ。一応、目的のファイルを参照できるものの、ローカルにコピーしようとすると速度が全く出ず（20kB/Sとか）、そのうちネットワークが切れる。一旦こうなってしまうと、どこからもアクセスできなくなり、LinkStationの電源スイッチをOffにしても電源が落ちない。→しかたなく、コンセント引っこ抜き。
- VistaのExploreでアクセスして、該当ファイルをローカルPCに退避する。
- LinkStationのバックアップ機能を使って、ミラーリング先のディスク（1TBのUSB接続ディスク）に該当ファイルを退避する。
→ＮＧ。LinkStationの管理画面（Web）にアクセスし、バックアップ設定を追加して該当ファイルのバックアップはスタートできたが、遅い。これも遅い。管理画面でバックアップタスクが実行中かどうか確認出来るのだけど、しばらくしたらInternal Server Errorになってしまった。ここでLinkStationの電源スイッチをオフにしても何も反応はなく電源が落ちない。３０分ほど待ってもNGだったので、しかたなくコード引っこ抜きで再起動させる。
ううむ、LinkStationで何かがおかしいのは間違いない様子です。とりあえず現状でやれることはやっておこうと思い、以下を実行しました。
- LinkStationの機能を利用して、チェックディスクをかける。
→ＮＧ。相変わらずWebの管理画面が遅いのだけど、なんとかチェックディスクを実行することはできた。が、結果がわからん。チェックディスク中はLinkStationへのアクセスが全て遮断されて、本体のランプも青色に点滅してたんだけど、１０分位で終了。あれ？もっと時間かかるものじゃないの？ 終了後アクセスしても状況は変わらず。遅い。
- ファームウェアのアップデート
→ＮＧ。というか、これやらなきゃよかった。LinkStationのファームウェアのバージョンが1.06だったので、BUFFALOのサイトを確認したところ、1.07が出ている。早速アップデートを実行するも、アップデータが「LinkStationからの応答がありません。」といって終了してしまう。あれ？もう一度実行すると、ファームウェアの転送が始まった。よしよしと安堵していたのもつかの間、また「LinkStationからの応答がありません。」のメッセージが。いかんヤバイと焦りつつLinkStationにアクセスすると、ファームウェアのバージョンは無事に1.07になっている。しかし、状況は変わらず。
ところが。また管理画面がInternal Server Errorにになってしまったので再起動をかけたところ、LinkStationがスタンバイモードになってしまった。ファームウェアのアップデートも受け付けなくなってしまった。
(´;ω;｀)
データの救出
LinkStation側からTFTPDを使ってファームウェアを更新するようにする方法もあるのだけど、これはいったんやめました。遅くなっていた原因がファームウェアではなくディスクにあるような気がしたからです。なので、中のデータを救出することを優先させることにしました。
- LinkStationの中身分解
ディスクを引っこ抜くために、LinkStationを分解して中のハードディスクを取り出す。ネジ５本で簡単に分解、ディスク抜き出しできる。
- Linux環境でマウントを試みる
LinkStation内のディスクは、ext3、XFSでフォーマットされているとのことなので、自宅の古いPCにLinuxを入れてマウントできるかどうかチャレンジ。結果としてはマウントできた。ということは、ファイルシステムには問題ないと言うことか？？LinkStation関連の問題でマウントできない、認識しないという事例はたくさんあったのだけど。。。古いPCにはSATAなんてついていないので、SATA-USB変換コネクタを使ってディスクをUSB接続した。使用したのは、NOVACのNV-USA2000という製品。http://www.novac.co.jp/products/hardware/nv-hd/nv-usa2000/index.html 古いIDEのディスクを外付けディスクとして使うために買ったものがこんなところで役に立つとは。
- マウントしたディスクから、データを救出する。
ここまでくれば、後はデータを抜き出せばOKなはず。ただ、LinkStationのファーム経由だととても遅かったのでその点が不安。結果から言うと、ビンゴ。read速度が極端に遅い。USB2.0なのに1MB/sも出てない。しかも、途中、完全に止まったかと思えば、データがちろちろ流れ出したりと不安定。別のUSBポートや、USB1.0のポートを使っても同様の症状。SATA-USBコネクタが怪しいかと思い、友人から別製品を借りて試してみたけどＮＧ。となると、もうディスクが原因としか思えない。
ボトルネックはどこ？
じゃあボトルネックはどこなのだろう。試しにiostatを打ってみる。
avg-cpu: %user %nice %system %iowait %steal %idle 21.20 0.40 8.88 60.26 0.00 9.27 Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn sda 0.00 0.06 0.00 3332 0 sdc 1.21 43.43 22.91 2281063 1203624 sdb 0.00 0.04 0.00 2150 0 sdd 7.80 994.83 0.02 52256353 1058 sde 4.45 9.16 992.23 480915 52119746
対象のディスクのDeviceはsdd。これをsdeのディスクに書き込もうとしている。read/writeの速度がsdd>sdeとなっているけど、sdeのディスク単体でファイルの読み書きをしたら10MB/sくらい出るので、多分こっちのディスクは問題ない。%iowaitの値が60超えているのは明らかにおかしいので、この原因を取り除いてあげれば問題解決できるはず。
iowaitが大きいということは、まず最初に思いつく原因がメモリ不足によるスラッシング。このマシンはメモリ1G積んでるので、OSとファイルの読み書きだけでswapが発生するなんてことはないと思うけど。。。。念のためvmstatで確認。
~$ vmstat 1 30 procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu---- r b swpd free buff cache si so bi bo in cs us sy id wa 0 3 128 14040 28004 731780 0 0 519 502 294 500 22 9 9 60 0 3 128 14040 28004 731780 0 0 0 0 212 227 22 8 0 70 0 3 128 14040 28004 731780 0 0 0 0 255 357 24 8 0 68 1 3 128 14040 28004 731780 0 0 0 0 215 234 22 8 0 70 1 3 128 14784 28004 731052 0 0 1920 0 375 538 24 14 0 62 1 3 128 14536 28004 731336 0 0 128 0 239 276 25 6 0 69 2 3 128 14040 28004 731748 0 0 256 0 284 350 27 7 0 66 1 3 128 14040 28004 731780 0 0 0 16 249 325 24 9 0 67 1 3 128 14000 28004 731780 0 0 0 8768 502 877 22 8 0 70 0 3 128 14032 28004 731780 0 0 0 0 219 233 24 6 0 70 0 3 128 14032 28004 731780 0 0 0 0 264 394 25 8 0 67 0 3 128 14032 28004 731780 0 0 0 0 231 290 24 7 0 69 0 3 128 15396 28004 730428 0 0 1664 0 353 519 23 11 0 66 0 3 128 15132 28004 730696 0 0 128 1600 291 368 24 8 0 68 0 3 128 15148 28004 730692 0 0 0 0 261 307 22 9 0 69 0 3 128 14900 28004 730952 0 0 128 0 236 307 23 9 0 68 0 3 128 14900 28004 730948 0 0 0 0 253 306 21 7 0 72 0 3 128 14900 28004 730948 0 0 0 0 229 233 24 8 0 68 0 3 128 14900 28004 730948 0 0 0 256 260 334 22 9 0 69 0 3 128 14900 28004 730948 0 0 0 0 216 229 23 8 0 69 0 3 128 14660 28004 731208 0 0 128 0 282 409 24 9 0 67 0 3 128 14660 28004 731204 0 0 0 0 227 230 22 8 0 70 0 3 128 14536 28004 731204 0 0 0 0 259 297 24 7 0 69 0 3 128 15040 28004 730788 0 0 2048 128 361 532 26 9 0 65 0 3 128 14544 28004 731236 0 0 256 0 283 397 28 7 0 65 0 3 128 14544 28004 731268 0 0 0 0 227 238 22 8 0 70 0 3 128 14544 28004 731268 0 0 0 0 250 294 23 5 0 72 0 3 128 14544 28004 731268 0 0 0 0 229 250 24 8 0 69 0 3 128 14504 28004 731320 0 0 0 2368 342 494 23 8 0 69 0 3 128 14908 28004 731020 0 0 2176 0 349 555 24 12 0 64 2 3 128 14876 28004 731012 0 0 0 0 260 314 23 8 0 69 1 3 128 14892 28004 731012 0 0 0 0 227 242 25 7 0 68 1 3 128 14876 28004 731012 0 0 0 0 249 300 23 7 0 70 1 3 128 14900 28004 731012 0 0 0 2176 301 449 26 9 0 65 0 3 128 14900 28004 731012 0 0 0 0 255 292 21 9 0 70 0 3 128 14900 28004 731012 0 0 0 0 223 242 22 7 0 71 0 3 128 14900 28004 731012 0 0 0 0 253 296 23 6 0 71
やはり、swapは発生していない。メモリは問題なさそうだ。ただし先程と同様iowaitが高い。ioのblock in/outも途切れ途切れ。iostatで細かく見てみよう。
~$ iostat -xtc 1 | grep sdd
Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s avgrq-sz avgqu-sz await svctm %util
sdd 0.02 0.00 7.65 0.00 974.91 0.02 127.48 6.66 871.30 118.23 90.42
sdd 0.00 0.00 2.00 0.00 256.00 0.00 128.00 13.94 6212.00 498.00 99.60
sdd 0.00 0.00 0.00 0.00 0.00 0.00 0.00 14.00 0.00 0.00 100.00
sdd 0.00 0.00 30.30 0.00 3878.79 0.00 128.00 14.04 1467.87 33.33 101.01
sdd 0.00 0.00 28.00 0.00 3584.00 0.00 128.00 14.03 1009.14 35.71 100.00
sdd 0.00 0.00 59.80 0.00 7545.10 0.00 126.16 14.76 256.98 16.52 98.82
sdd 0.00 0.00 34.69 0.00 4440.82 0.00 128.00 15.22 431.41 29.41 102.04
sdd 0.00 0.00 1.96 0.00 250.98 0.00 128.00 14.70 1930.00 500.00 98.04
sdd 0.00 0.00 0.00 0.00 0.00 0.00 0.00 15.00 0.00 0.00 100.00
sdd 0.00 0.00 0.00 0.00 0.00 0.00 0.00 15.00 0.00 0.00 100.00
sdd 0.00 0.00 25.00 0.00 3088.00 0.00 123.52 15.66 883.84 40.00 100.00
sdd 0.00 0.00 0.00 0.00 0.00 0.00 0.00 16.00 0.00 0.00 100.00
sdd 0.00 0.00 0.00 0.00 0.00 0.00 0.00 16.00 0.00 0.00 100.00
sdd 0.00 0.00 0.00 0.00 0.00 0.00 0.00 16.16 0.00 0.00 101.01
sdd 0.00 0.00 2.00 0.00 256.00 0.00 128.00 15.99 7700.00 500.00 100.00
sdd 0.00 0.00 0.00 0.00 0.00 0.00 0.00 15.84 0.00 0.00 99.01
sdd 0.00 0.00 0.00 0.00 0.00 0.00 0.00 16.16 0.00 0.00 101.01
sdd 0.00 0.00 0.00 0.00 0.00 0.00 0.00 15.84 0.00 0.00 99.01
sdd 0.00 0.00 0.00 0.00 0.00 0.00 0.00 16.00 0.00 0.00 100.00
sdd 0.00 0.00 18.18 0.00 2327.27 0.00 128.00 15.74 4234.89 55.56 101.01
sdd 0.00 0.00 0.00 0.00 0.00 0.00 0.00 15.84 0.00 0.00 99.01
sdd 0.00 0.00 2.02 0.00 258.59 0.00 128.00 16.13 14366.00 500.00 101.01
sdd 0.00 0.00 0.00 0.00 0.00 0.00 0.00 16.00 0.00 0.00 100.00
sdd 0.00 0.00 27.72 0.00 3548.51 0.00 128.00 15.78 2754.14 35.71 99.01
sdd 0.00 0.00 2.00 0.00 256.00 0.00 128.00 15.79 9906.00 500.00 100.00
sdd 0.00 0.00 0.00 0.00 0.00 0.00 0.00 16.16 0.00 0.00 101.01
sdd 0.00 0.00 31.68 0.00 4277.23 0.00 135.00 14.40 1154.88 31.25 99.01
sdd 0.00 0.00 31.31 0.00 3894.95 0.00 124.39 13.65 1145.29 32.26 101.01
あぁ。。。。%utilが100%にほぼ貼り付きになっている。。。。。ディスクのハード的な性能限界の時に%utilが100%になると聞いたことがあるけど、ファイルコピーするだけという簡単な処理でこうなっているということは、ハードディスクが物理的におかしくなっていると言うこととしか思えない。
お・て・あ・げ ┌┤´д`├┐
データ救いだしたらフォーマットし直して第二の人生を歩ませてあげようと思ってたけど、死んじゃった。。。
参考URL
-
- http://app.f.cocolog-nifty.com/t/trackback/1164599/30106510
- http://www.terakado.jp/2007/07/linuxiowait.html
RAIDコントローラが原因ってこともあるのね。。。 RAIDは組んでいないのでコレが原因ということではないけど覚えておこう。 - http://www.syboos.jp/linux/doc/iostat.html
ここにも、%utilが限界ってことはディスクの物理性能が限界、って書いてあった。
その後
ぼんやりしてたら、まずリードが途切れ途切れになっていたのが安定した。それでも%utilは高かったのだけど、突然%utilや待ちキューが少なくなり、read速度が上がった。もうなんなのこれ。
xxxx@ubuntu:/etc/samba$ iostat -xtc 1 | grep sdd
Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s avgrq-sz avgqu-sz await svctm %util
sdd 0.07 0.00 26.26 0.00 3356.41 0.06 127.80 2.44 93.07 26.42 69.39
sdd 0.00 0.00 9.90 0.00 1267.33 0.00 128.00 3.79 507.20 100.40 99.41
sdd 0.00 0.00 27.72 0.00 3548.51 0.00 128.00 3.31 134.71 33.14 91.88
sdd 0.00 0.00 9.90 0.00 1267.33 0.00 128.00 3.70 254.80 97.20 96.24
sdd 0.00 0.00 12.12 0.00 1551.52 0.00 128.00 3.71 327.67 80.33 97.37
sdd 0.00 0.00 2.00 0.00 256.00 0.00 128.00 3.97 584.00 500.00 100.00
sdd 0.00 0.00 4.00 0.00 512.00 0.00 128.00 3.83 1713.00 246.00 98.40
sdd 0.00 0.00 8.00 0.00 1024.00 0.00 128.00 3.86 519.00 125.00 100.00
sdd 0.00 0.00 7.92 0.00 1013.86 0.00 128.00 3.72 362.00 122.00 96.63
sdd 0.00 0.00 10.20 0.00 1306.12 0.00 128.00 3.83 457.20 98.00 100.00
sdd 0.00 0.00 15.69 0.00 2007.84 0.00 128.00 3.55 189.75 60.50 94.90
sdd 0.00 0.00 4.00 0.00 512.00 0.00 128.00 3.93 658.00 250.00 100.00
sdd 0.00 0.00 10.10 0.00 1292.93 0.00 128.00 3.75 523.60 98.80 99.80
sdd 0.00 0.00 16.00 0.00 2048.00 0.00 128.00 3.66 255.00 61.50 98.40
sdd 0.00 0.00 12.12 0.00 1551.52 0.00 128.00 3.71 285.67 83.33 101.01
sdd 0.00 0.00 3.96 0.00 506.93 0.00 128.00 3.87 872.00 250.00 99.01
sdd 0.00 0.00 5.94 0.00 760.40 0.00 128.00 3.75 233.33 162.00 96.24
sdd 0.00 0.00 20.20 0.00 2585.86 0.00 128.00 3.36 337.80 45.00 90.91
sdd 0.00 0.00 94.95 0.00 12153.54 0.00 128.00 0.78 8.26 4.72 44.85 ←
sdd 0.00 0.00 81.19 0.00 10392.08 0.00 128.00 0.68 8.39 4.83 39.21
sdd 0.00 0.00 88.00 0.00 11264.00 0.00 128.00 0.78 8.82 5.00 44.00
sdd 0.00 0.00 79.21 0.00 10138.61 0.00 128.00 0.67 8.45 4.90 38.81
sdd 0.00 0.00 69.31 0.00 8871.29 0.00 128.00 0.49 7.09 4.29 29.70
sdd 0.00 0.00 88.89 0.00 11377.78 0.00 128.00 0.74 8.18 5.00 44.44
sdd 0.00 0.00 91.09 0.00 11659.41 0.00 128.00 0.75 8.35 4.61 41.98
sdd 0.00 0.00 92.00 0.00 11776.00 0.00 128.00 0.81 8.74 5.09 46.80
sdd 0.00 0.00 94.95 0.00 12153.54 0.00 128.00 0.82 8.60 4.94 46.87
sdd 0.00 0.00 82.00 0.00 10496.00 0.00 128.00 0.64 8.05 4.49 36.80
sdd 0.00 0.00 96.00 0.00 12288.00 0.00 128.00 0.75 7.79 4.50 43.20
sdd 0.00 0.00 93.07 0.00 11912.87 0.00 128.00 0.78 8.26 5.06 47.13
sdd 0.00 0.00 95.00 0.00 12272.00 0.00 129.18 0.74 7.83 4.59 43.60
sdd 0.00 0.00 73.74 0.00 9325.25 0.00 126.47 0.63 8.82 4.93 36.36
sdd 0.00 0.00 91.09 0.00 11659.41 0.00 128.00 0.74 8.09 4.78 43.56
sdd 0.00 0.00 94.00 0.00 12032.00 0.00 128.00 0.74 7.74 4.64 43.60
sdd 0.00 0.00 94.95 0.00 12153.54 0.00 128.00 0.79 8.43 4.89 46.46
sdd 0.00 0.00 93.07 0.00 11912.87 0.00 128.00 0.82 8.77 4.77 44.36
sdd 0.00 0.00 92.00 0.00 11776.00 0.00 128.00 0.72 7.78 4.48 41.20
sdd 0.00 0.00 90.91 0.00 11636.36 0.00 128.00 0.81 8.89 5.02 45.66
