infla
スペース ショートカット
ページ ツリー

比較バージョン

古いバージョン 8

changes.mady.by.user xmms

保存しました

次と比較

新しいバージョン 現在

changes.mady.by.user xmms

保存しました

キー

  • この行は追加されました。
  • この行は削除されました。
  • 書式設定が変更されました。

ほんとは元々はお買い得RAIDカードにずらっと並べていたのですが、あまりにもデータが多くて見づらくなったので分割しました。

管理諸々についてはこちらが参考になると思います

PCブラウザで見ている場合、ブラウザをめいっぱい横に広げると多少グラフの比較がしやすくなります。購入時は99USDだったので送料を含めるとあまりやすいとも言えませんが、今後は安くなると思います。

...

HPE SmartArray P420

スペック

ML350eのP420iだと社外ディスク警告が鬱陶しいので、それを消すために買いました。また、チップはPCIML350p gen8のP420iだと社外ディスク警告が鬱陶しいので、それを消すために買ったのですが、HPEのマシンに接続すると内部/外部(P420i/P420)関係なくディスクの認証がかかるようです。ただ、HPE以外のSupermicroなどのマシンでは社外ディスクでも問題なく使えます。(おそらく、ILOのディスクヘルス報告の関係だとおもいます)

チップはPCI-E3.0対応なのですが、実際に3.0でリンクしているかを確認するためにdebianを立ち上げ、lspci -vvをしてみましたが、LnkSta: Speed 8GT/sとのことなのでちゃんと3.0でリンクしているようです。

...

コード ブロック
02:00.0 RAID bus controller: Hewlett-Packard Company Smart Array Gen8 Controllers (rev 01)
        Subsystem: Hewlett-Packard Company P420
        ~~~~
        Capabilities: [c0] Express (v2) Endpoint, MSI 00
                ~~~
                LnkCap: Port #0, Speed 8GT/s, Width x8, ASPM not supported, Exit Latency L0s unlimited, L1 <64us
                        ClockPM- Surprise- LLActRep- BwNot-
                LnkCtl: ASPM Disabled; RCB 64 bytes Disabled- CommClk-
                        ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
                LnkSta: Speed 8GT/s, Width x8, TrErr- Train- SlotClk- DLActive- BWMgmt- ABWMgmt-　　　<ーーーーー
                DevCap2: Completion Timeout: Range B, TimeoutDis+, LTR+, OBFF Via message
                DevCtl2: Completion Timeout: 50us to 50ms, TimeoutDis-, LTR-, OBFF Disabled
                LnkCtl2: Target Link Speed: 8GT/s, EnterCompliance- SpeedDis-
                ~~~


RAIDカードのFWのバージョンが7.0以前である場合、社外サーバ(Supermicroなど)で起動しようとすると起動時にロックアップする可能性があります(カードのFW認識後から無限に待っても進まない)。ファームバージョンが古くてロックアップが起きる場合、ファームを8.0以降へ更新するためにHPEのマシンが必要になる可能性があります。実際にこれが起きて、ML110G6やDL360G6(手元に余ってたHPマシン)でファームを更新しなければならないことがありました。

実際にFW3.2のカードで起きたパターン

  • RX200S7　起動時にロックアップ
  • RX200S8　起動時にロックアップ
  • X9DRL-iF　起動時にロックアップ

そのため、HPEのマシン以外で使う際には注意してください。(そもそも社外マシンで使われることを想定されていませんが)

(追記):ロックアップが起きて手元にHPのマシンがない場合、BIOS/uEFIからOption ROMを読み込まないようにすると起動できることがあります。その場合起動ドライブとしては使えませんが、カード自体は認識できるので、USBフラッシュなどからLinuxを起動すればファームウェアの更新ができる可能性があります。M/Bの相性が強いですが、ハマってしまった場合試してみてください。

P420以降、SSD SmartPathという機能が組み込まれ、これを有効にするとディスクアクセスが以下のように変わるようです。アレイのドライブがSSDの場合、デフォルトで有効です。

  • HP SSD Smart Path は、所定の要件を満たすサイズの小さい要求 (通常は任意の RAID レベルのボリュームに対するサイズの小さい読み取り要求、および RAID 0 に対するサイズの小さい書き込み要求) を処理します。
  • サイズの大きい要求および大多数の書き込み要求は、通常の I/O パス経由で処理されます。
  • 要求が HP SSD Smart Path 経由で処理された結果エラーとなった場合、その要求は通常の I/O パス経由で再試行されます。
  • ボリュームの拡張、再構築、再構成、または RAID レベルの移行が進行中の場合は、すべての要求に通常の I/O パスが使用されます。

SmartPathについては、HPSSAのGUIから変更が出来なかったためSmartPathについては、HPSSAのGUIから変更が出来なかったため(昔どっかから変更した記憶があるのですが見つけられず)、ssacliから変更しています。

ドライバーのバージョンが最新であること、HPESSAのバージョンが最新(3.x以降)であること、ドライブの初期化が終わっていればGUIから変更ができます。初期化中は変更できません。CLIから変更する場合は以下の手順で変更します。

コード ブロック
=> ctrl slot=1 array a modify ssdsmartpath=disable
=>


今回、1G1G-FBWCのみを搭載してバックアップキャパシタを搭載しなかったとろ、強制WBCが出来なかったため、今回はキャパシタを接続しています。

コード ブロック
=> ctrl slot=1 modify nobatterywritecache=enable

Warning: Enabling write caching on a cache module without a fully charged
         battery/capacitor could cause data loss in the event of power failure.
         Use of this feature is not recommended unless proper precautions are
         followed to maintain power to the controller. Continue (y/n)?y


Error: This operation is not supported with the current configuration. Use the
       "show" command on devices to show additional details about the
       configuration.
Reason: Not Applicable

また、SmartArrayについてはRAID5以上を作成する場合は512MB以上のキャッシュが必須のため、RAID5のWTは省略します。キャッシュの比は初期値のRead1また、SmartArrayについてはRAID5以上を作成する場合は512MB以上のキャッシュが必須のため、RAID5のWTは省略します。キャッシュの比は初期値はRead10:Write9になって、ディスクキャッシュはデフォルト無効です｡しかし､N8103Write0ですが、過去の経験から性能の伸びるRead1:Write9に変更しています。ディスクキャッシュはデフォルト無効ですが、N8103-130と条件を揃えるため､今回は設定変更をしてディスクキャッシュを有効にしています。

...

チャート
imageFormatpng
orientationhorizontal
forgivefalse
width1000
rangeAxisLowerBound0
dataOrientationvertical
titleP420 RAID0 1disk SmartPath Enabled JBOD IOPS
typebar
rangeAxisUpperBound100000
xLabelTest Pattern
height500


Access Specification NameRead IOpsWrite IOps
512 B; 100% Read; 0% random_QD112564.70.0
512 B; 100% Read; 0% random_QD3295350.60.0
512 B; 50% Read; 0% random_QD1732.7744.9
512 B; 50% Read; 0% random_QD321146.01142.2
512 B; 0% Read; 0% random_QD10.01007.7
512 B; 0% Read; 0% random_QD320.01237.4
4 KiB; 100% Read; 0% random_QD112073.10.0
4 KiB; 100% Read; 0% random_QD3244216.90.0
4 KiB; 50% Read; 0% random_QD1879.5879.5
4 KiB; 50% Read; 0% random_QD321303.81307.1
4 KiB; 0% Read; 0% random_QD10.01122.7
4 KiB; 0% Read; 0% random_QD320.01429.8
256 KiB; 100% Read; 0% random_QD11351.60.0
256 KiB; 100% Read; 0% random_QD321631.30.0
256 KiB; 50% Read; 0% random_QD1151.8155.3
256 KiB; 50% Read; 0% random_QD32218.4221.8
256 KiB; 0% Read; 0% random_QD10.0229.2
256 KiB; 0% Read; 0% random_QD320.0292.9
1M-Seq-100%R_QD1394.20.0
1M-Seq-100%R_QD32423.70.0
1M-Seq-50%R_QD172.874.0
1M-Seq-50%R_QD3283.785.2
1M-Seq-100%W_QD10.0101.6
1M-Seq-100%W_QD320.0108.9
1M-rand-100%R_QD1302.00.0
1M-rand-100%R_QD32424.40.0
1M-rand-50%R_QD174.073.4
1M-rand-50%R_QD3285.383.6
1M-rand-100%W_QD10.098.2
1M-rand-100%W_QD320.0105.6


...

チャート
imageFormatpng
orientationhorizontal
forgivefalse
width1000
rangeAxisLowerBound0
dataOrientationvertical
titleP420 RAID0 1disk SmartPath Enabled JBOD MB/s
typebar
rangeAxisUpperBound2500
xLabelTest Pattern
height500


Access Specification NameRead MBps (Decimal)Write MBps (Decimal)
512 B; 100% Read; 0% random_QD16.10.0
512 B; 100% Read; 0% random_QD3246.60.0
512 B; 50% Read; 0% random_QD10.40.4
512 B; 50% Read; 0% random_QD320.60.6
512 B; 0% Read; 0% random_QD10.00.5
512 B; 0% Read; 0% random_QD320.00.6
4 KiB; 100% Read; 0% random_QD147.20.0
4 KiB; 100% Read; 0% random_QD32172.70.0
4 KiB; 50% Read; 0% random_QD13.43.4
4 KiB; 50% Read; 0% random_QD325.15.1
4 KiB; 0% Read; 0% random_QD10.04.4
4 KiB; 0% Read; 0% random_QD320.05.6
256 KiB; 100% Read; 0% random_QD1337.90.0
256 KiB; 100% Read; 0% random_QD32407.80.0
256 KiB; 50% Read; 0% random_QD138.038.8
256 KiB; 50% Read; 0% random_QD3254.655.4
256 KiB; 0% Read; 0% random_QD10.057.3
256 KiB; 0% Read; 0% random_QD320.073.2
1M-Seq-100%R_QD1394.20.0
1M-Seq-100%R_QD32423.70.0
1M-Seq-50%R_QD172.874.0
1M-Seq-50%R_QD3283.785.2
1M-Seq-100%W_QD10.0101.6
1M-Seq-100%W_QD320.0108.9
1M-rand-100%R_QD1302.00.0
1M-rand-100%R_QD32424.40.0
1M-rand-50%R_QD174.073.4
1M-rand-50%R_QD3285.383.6
1M-rand-100%W_QD10.098.2
1M-rand-100%W_QD320.0105.6




...

RAID5構成時にはSSPを有効にしても何一つ良いことがありませんでした。存在価値…

気になったのでCDMでサクッとキャッシュに載る100MBのデータを取得してみましたが、はやりSSP無効の方が良い性能が出ます。オンメモリに対しても書き込みが1GB/s程度というのは少し悲しいですが。

Image Removed

まとめ

キュー長が深ければ読み最大80kIOPS、書き込み60kIOPS,速度にして読み込み2GB/s　書き込み1GB/sくらいの速度はでるようです。オンキャッシュの結果を見るに、PCI-E3.0対応の効果があるのでSSDがもっとあれば読み込みに関してはもう少し上の速度も取れるかもしれませんが、そこまで同型のSSDがないので不明です。

また、ssacliからキャッシュする書き込みデータの閾値などの変更も出来るので、チューニングを行えばもっと良い値が出るのかもしれませんが、組み合わせが膨大になるためそこまで検証する気力はありません。。

SSPの動きなど、結構癖のある動きをする上、2017年現在そこまで安く流通していないので、取りあえずそこそこの性能で、と言うなら価格面で130が有利です。

ただ、RAID5を考えるとN8103-130が最大書き込み500MB/s程度に対してP420は1000MB/sほど出るので、複数のSSDでのRAID5の運用を考えたら多少高くてもP420の方が良いかもしれません。気になったのでCDMでサクッとキャッシュに載る100MBのデータを取得してみましたが、はやりSSP無効の方がベンチマーク上は良い性能が出ます。SSP有効時はWTに近くSSP無効はWBに近いので、SSPを無効にすればオンキャッシュになるので当たり前ですが…。

Image Added

8Disk-RAID5 WB SmartPath Disabled

NEC N8103-150 性能評価の時に出てきたSSD(840Evo)を4台)追加して計測してみます(X300s*4+840Evo*4構成)。

時間がかかるので、テスト結果からSSP無効の方がベンチマーク的にいいスコアが出る傾向があるのでSSP無効のキャッシュ有効状態でのみ実施します。

チャート
imageFormatpng
orientationhorizontal
forgivefalse
width1000
rangeAxisLowerBound0
dataOrientationvertical
titleP420 RAID5 8disks SmartPath Disabled IOPS
typebar
rangeAxisUpperBound100000
xLabelTest Pattern
height500


Access Specification NameRead IOpsWrite IOps
512 B; 100% Read; 0% random_QD124802.60.0
512 B; 100% Read; 0% random_QD3280256.50.0
512 B; 50% Read; 0% random_QD14081.74068.9
512 B; 50% Read; 0% random_QD3214591.614561.4
512 B; 0% Read; 0% random_QD10.018206.2
512 B; 0% Read; 0% random_QD320.028599.9
4 KiB; 100% Read; 0% random_QD123641.40.0
4 KiB; 100% Read; 0% random_QD3279848.70.0
4 KiB; 50% Read; 0% random_QD15792.05834.0
4 KiB; 50% Read; 0% random_QD3214199.014189.2
4 KiB; 0% Read; 0% random_QD10.014396.4
4 KiB; 0% Read; 0% random_QD320.061800.0
256 KiB; 100% Read; 0% random_QD14088.90.0
256 KiB; 100% Read; 0% random_QD3211478.60.0
256 KiB; 50% Read; 0% random_QD1663.2666.6
256 KiB; 50% Read; 0% random_QD321607.71609.1
256 KiB; 0% Read; 0% random_QD10.02438.2
256 KiB; 0% Read; 0% random_QD320.06020.2
1M-Seq-100%R_QD11163.60.0
1M-Seq-100%R_QD323562.50.0
1M-Seq-50%R_QD1298.7300.0
1M-Seq-50%R_QD32727.2719.0
1M-Seq-100%W_QD10.0963.6
1M-Seq-100%W_QD320.01498.5
1M-rand-100%R_QD1856.40.0
1M-rand-100%R_QD323933.20.0
1M-rand-50%R_QD1282.1281.9
1M-rand-50%R_QD32656.9659.0
1M-rand-100%W_QD10.0591.4
1M-rand-100%W_QD320.0714.4



チャート
imageFormatpng
orientationhorizontal
forgivefalse
width1000
rangeAxisLowerBound0
dataOrientationvertical
titleP420 RAID5 8disk SmartPath Disabled MB/s
typebar
rangeAxisUpperBound4500
xLabelTest Pattern
height500


Access Specification NameRead MBps (Decimal)Write MBps (Decimal)
512 B; 100% Read; 0% random_QD112.70.0
512 B; 100% Read; 0% random_QD3241.10.0
512 B; 50% Read; 0% random_QD12.12.1
512 B; 50% Read; 0% random_QD327.57.5
512 B; 0% Read; 0% random_QD10.09.3
512 B; 0% Read; 0% random_QD320.014.6
4 KiB; 100% Read; 0% random_QD196.80.0
4 KiB; 100% Read; 0% random_QD32327.10.0
4 KiB; 50% Read; 0% random_QD123.723.9
4 KiB; 50% Read; 0% random_QD3258.258.1
4 KiB; 0% Read; 0% random_QD10.059.0
4 KiB; 0% Read; 0% random_QD320.0253.1
256 KiB; 100% Read; 0% random_QD11071.90.0
256 KiB; 100% Read; 0% random_QD323009.10.0
256 KiB; 50% Read; 0% random_QD1173.9174.8
256 KiB; 50% Read; 0% random_QD32421.5421.8
256 KiB; 0% Read; 0% random_QD10.0639.2
256 KiB; 0% Read; 0% random_QD320.01578.2
1M-Seq-100%R_QD11220.20.0
1M-Seq-100%R_QD323735.50.0
1M-Seq-50%R_QD1313.2314.6
1M-Seq-50%R_QD32762.5753.9
1M-Seq-100%W_QD10.01010.4
1M-Seq-100%W_QD320.01571.3
1M-rand-100%R_QD1898.00.0
1M-rand-100%R_QD324124.20.0
1M-rand-50%R_QD1295.8295.6
1M-rand-50%R_QD32688.8691.0
1M-rand-100%W_QD10.0620.2
1M-rand-100%W_QD320.0749.1


書き込み4kQD32の時の61kIOPSと読み込み4kQD32の約80kIOPSはかなり速いです。また、1Mseq/randQD32の4GB/sと言う速度もかなり速いです。500MB/s*8で4GB/sですが、ランダムの方が速いのは8本のディスクにまたがってうまく分散して読み込めているからでしょうか。

書き込みもシーケンシャルで1.5GB/sとかなり速い方だと思います。その分Rand1Mの落ち込みは少し気になりますが…。

CDMでも見てみましたが、読み込みはかなり差が出た物の書き込みは似た値が出ました。

Image Added


まとめ

キュー長が深ければ読み最大80kIOPS、書き込み60kIOPS,速度にして読み込み4GB/s　書き込み1.5GB/sくらいの速度はでるようです。かなり速いです。

また、ssacliからキャッシュする書き込みデータの閾値などの変更も出来るので、チューニングを行えばもっと良い値が出るのかもしれませんが、組み合わせが膨大になるためそこまで検証する気力はありません。。

SSPなど、結構癖がある上、2017年現在そこまで安く流通していないので、HDD運用で使いたい、と言うなら価格面で130が有利です。

ただ、複数のSSDでのRAID5の運用を考えたら多少高くてもP420の方が良いかもしれません。(130が書き込み最大500MB/sに対してP420は1.5GB/s)

買う際には

  • 1GBか2GBのどちらかのキャッシュを搭載している
  • FBWC保護キャパシタ/バッテリが付いている

事を確認して買わないと悲惨なことになるので注意してください。

こいつも例に漏れずとても発熱します｡100℃で警告らしいですが､150と同じようにバラック無風の状態だとじわじわと温度が上がり80℃くらいまで達しました｡ラックマウントサーバではない一般的なデスク機で使う場合はエアフローに注意してください｡

ラベル別コンテンツ
showLabelsfalse
max5
spacesINFLA
showSpacefalse
sortmodified
reversetrue
typepage
cqllabel = "kb-how-to-article" and type = "page" and space = "INFLA"
labelskb-how-to-article

...