ほんとはお買い得RAIDカードにずらっと並べていたのですが、あまりにもデータが多くて見づらくなったので分割しました。
PCブラウザで見ている場合、ブラウザをめいっぱい横に広げると多少グラフの比較がしやすくなります。購入時は99USDだったので送料を含めるとあまりやすいとも言えませんが、今後は安くなると思います。
HPE SmartArray P420
スペック
- チップ PMC Sierra チップ不明
- メモリ 1GB、DDR3-1333MHz
- リンク速度 x8@PCI-E3.0
- FW 8.0.0
ML350eのP420iだと社外ディスク警告が鬱陶しいので、それを消すために買いました。また、チップはPCI-E3.0対応なのですが、実際に3.0でリンクしているかを確認するためにdebianを立ち上げ、lspci -vvをしてみましたが、LnkSta: Speed 8GT/sとのことなのでちゃんと3.0でリンクしているようです。
02:00.0 RAID bus controller: Hewlett-Packard Company Smart Array Gen8 Controllers (rev 01)
Subsystem: Hewlett-Packard Company P420
~~~~
Capabilities: [c0] Express (v2) Endpoint, MSI 00
~~~
LnkCap: Port #0, Speed 8GT/s, Width x8, ASPM not supported, Exit Latency L0s unlimited, L1 <64us
ClockPM- Surprise- LLActRep- BwNot-
LnkCtl: ASPM Disabled; RCB 64 bytes Disabled- CommClk-
ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
LnkSta: Speed 8GT/s, Width x8, TrErr- Train- SlotClk- DLActive- BWMgmt- ABWMgmt-
DevCap2: Completion Timeout: Range B, TimeoutDis+, LTR+, OBFF Via message
DevCtl2: Completion Timeout: 50us to 50ms, TimeoutDis-, LTR-, OBFF Disabled
LnkCtl2: Target Link Speed: 8GT/s, EnterCompliance- SpeedDis-
~~~
P420以降、SSD SmartPathという機能が組み込まれ、これを有効にするとディスクアクセスが以下のように変わるようです。アレイのドライブがSSDの場合、デフォルトで有効です。
- HP SSD Smart Path は、所定の要件を満たすサイズの小さい要求 (通常は任意の RAID レベルのボリュームに対するサイズの小さい読み取り要求、および RAID 0 に対するサイズの小さい書き込み要求) を処理します。
- サイズの大きい要求および大多数の書き込み要求は、通常の I/O パス経由で処理されます。
- 要求が HP SSD Smart Path 経由で処理された結果エラーとなった場合、その要求は通常の I/O パス経由で再試行されます。
- ボリュームの拡張、再構築、再構成、または RAID レベルの移行が進行中の場合は、すべての要求に通常の I/O パスが使用されます。
SmartPathについては、HPSSAのGUIから変更が出来なかったため(昔どっかから変更した記憶があるのですが見つけられず)、ssacliから変更しています。
=> ctrl slot=1 array a modify ssdsmartpath=disable =>
今回、1G-FBWCのみを搭載してバックアップキャパシタを搭載しなかったとろ、強制WBCが出来なかったため、今回はキャパシタを接続しています。
=> ctrl slot=1 modify nobatterywritecache=enable
Warning: Enabling write caching on a cache module without a fully charged
battery/capacitor could cause data loss in the event of power failure.
Use of this feature is not recommended unless proper precautions are
followed to maintain power to the controller. Continue (y/n)?y
Error: This operation is not supported with the current configuration. Use the
"show" command on devices to show additional details about the
configuration.
Reason: Not Applicable
また、SmartArrayについてはRAID5以上を作成する場合は512MB以上のキャッシュが必須のため、RAID5のWTは省略します。キャッシュの比は初期値のRead1:Write9になって、ディスクキャッシュはデフォルト無効です｡しかし､N8103-130と条件を揃えるため､今回は設定変更をしてディスクキャッシュを有効にしています。
LSIとはまた初期値などが違うので、一概には比較できませんが以下のモードを比較してみます。ちなみに、FW Version7くらいからJBOD機能も追加されているので、それも対象にしました。
- 1Disk-RAID0 WriteBack SmartPath Enable
- 1Disk-RAID0 WriteBack SmartPath Disable
- 1Disk-JBOD
- 4Disk-RAID0 WB SmartPath Enable
- 4Disk-RAID0 WB SmartPath Disable
- 4Disk-RAID5 WB SmartPath Enable
- 4Disk-RAID5 WB SmartPath Disable
ディスクのストライプサイズはデフォルトの256K固定です。
1Disk-RAID0 WB SmartPath Enabled
1Disk-RAID0 WB SmartPath Disabled
| Access Specification Name | 対SSP有効時比Read IOps 増分(%) | 対SSP有効時比Write IOps増分(%) |
|---|---|---|
| 512 B; 100% Read; 0% random_QD1 | -72.5 | 0.0 |
| 512 B; 100% Read; 0% random_QD32 | -21.7 | 0.0 |
| 512 B; 50% Read; 0% random_QD1 | 55.7 | 55.2 |
| 512 B; 50% Read; 0% random_QD32 | 13560.0 | 13470.3 |
| 512 B; 0% Read; 0% random_QD1 | 0.0 | 15.2 |
| 512 B; 0% Read; 0% random_QD32 | 0.0 | 18007.5 |
| 4 KiB; 100% Read; 0% random_QD1 | -69.7 | 0.0 |
| 4 KiB; 100% Read; 0% random_QD32 | 153.3 | 0.0 |
| 4 KiB; 50% Read; 0% random_QD1 | -13.7 | -14.1 |
| 4 KiB; 50% Read; 0% random_QD32 | 4108.0 | 4004.7 |
| 4 KiB; 0% Read; 0% random_QD1 | 0.0 | 4.6 |
| 4 KiB; 0% Read; 0% random_QD32 | 0.0 | 39.8 |
| 256 KiB; 100% Read; 0% random_QD1 | 3.6 | 0.0 |
| 256 KiB; 100% Read; 0% random_QD32 | 2684.7 | 0.0 |
| 256 KiB; 50% Read; 0% random_QD1 | 58.2 | 59.5 |
| 256 KiB; 50% Read; 0% random_QD32 | 916.0 | 911.9 |
| 256 KiB; 0% Read; 0% random_QD1 | 0.0 | 31.8 |
| 256 KiB; 0% Read; 0% random_QD32 | 0.0 | 832.6 |
| 1M-Seq-100%R_QD1 | 97.5 | 0.0 |
| 1M-Seq-100%R_QD32 | 760.9 | 0.0 |
| 1M-Seq-50%R_QD1 | 75.8 | 72.6 |
| 1M-Seq-50%R_QD32 | 289.4 | 301.5 |
| 1M-Seq-100%W_QD1 | 0.0 | 70.9 |
| 1M-Seq-100%W_QD32 | 0.0 | 197.5 |
| 1M-rand-100%R_QD1 | 152.7 | 0.0 |
| 1M-rand-100%R_QD32 | 779.5 | 0.0 |
| 1M-rand-50%R_QD1 | 71.2 | 71.8 |
| 1M-rand-50%R_QD32 | 307.0 | 285.9 |
| 1M-rand-100%W_QD1 | 0.0 | 77.6 |
| 1M-rand-100%W_QD32 | 0.0 | 186.2 |
値をみると、SSP有効時は512BQD1の読み込みが14kIOPSに対して、無効にすると4kIOPSまで劣化しました。しかし、50%のR/W時にはSSP有効時には読み書き共に134IOPS(kではない)まで落ちるのに対して、SSP無効時には読み書き14kIOPSまで回復しています。それのせいで無効時に+18007.5%という値が出てしまい、グラフがぶっ壊れています。
SSPの「所定の要件を満たすサイズの小さい要求」というのはどうやら512Bや4k等の読み込みに対しては特に効果的ですが、SmartPathを通すかのIOの判断のオーバーヘッドか、512Bの書き込みでは性能劣化が起きます。「細かい読み取りが頻繁に起きる」環境以外では無効にした方が良さそうです。
しかし、5Gのデータサイズを指定しているはずなのですが、1MQD32の読み込み時に1803.7MB/sという、明らかに限界突破をしている値が出ているのが謎です。キャッシュは1GBのはずなので、そこに乗り切るとは思えないのですが。IOパターンがRepeating bytes(AAABBBCCCみたいな繰り返しになる)を指定しているため、キャッシュ上の圧縮が効いているなどあるのでしょうか。これについてはLSIのカードとは動きが違うようでよく分かりません。
1Disk-JBOD
試しに、アレイをといてJBODのベンチマークも行いました。読み込みはQD32時に90kIOPS出ているので優秀なのですが、書き込みが全般的にダメなようです。IOPS的にもダメですが、1M読み込みで100MB/s程度しか出ていないのも問題だと思います。
ディスクキャッシュが有効になってないような動きですが、JBOD時にはディスクキャッシュを有効に出来ませんでした。
=> ctrl slot=1 modify drivewritecache=true
Error: This operation is not supported with the current configuration. Use the
"show" command on devices to show additional details about the
configuration.
Reason: Controller not configured
OSから直接SMARTが見えるのは良いのですが、通常は1つのディスクであってもRAID0を組んだ方が良いみたいです。
4Disks-RAID0 WB SmartPath Enabled
4Disk-RAID0 WB SmartPath Disabled
| Access Specification Name | 対SSP有効時比Read IOps 増分(%) | 対SSP有効時比Write IOps増分(%) |
|---|---|---|
| 512 B; 100% Read; 0% random_QD1 | 76.4 | 0.0 |
| 512 B; 100% Read; 0% random_QD32 | -7.5 | 0.0 |
| 512 B; 50% Read; 0% random_QD1 | 807.7 | 805.8 |
| 512 B; 50% Read; 0% random_QD32 | 5971.3 | 5937.4 |
| 512 B; 0% Read; 0% random_QD1 | 0.0 | 94.8 |
| 512 B; 0% Read; 0% random_QD32 | 0.0 | 131.5 |
| 4 KiB; 100% Read; 0% random_QD1 | 116.5 | 0.0 |
| 4 KiB; 100% Read; 0% random_QD32 | 22.5 | 0.0 |
| 4 KiB; 50% Read; 0% random_QD1 | 453.3 | 452.0 |
| 4 KiB; 50% Read; 0% random_QD32 | 359.1 | 360.7 |
| 4 KiB; 0% Read; 0% random_QD1 | 0.0 | 99.8 |
| 4 KiB; 0% Read; 0% random_QD32 | 0.0 | 38.8 |
| 256 KiB; 100% Read; 0% random_QD1 | 192.2 | 0.0 |
| 256 KiB; 100% Read; 0% random_QD32 | 8.2 | 0.0 |
| 256 KiB; 50% Read; 0% random_QD1 | 43.6 | 44.3 |
| 256 KiB; 50% Read; 0% random_QD32 | -17.9 | -18.7 |
| 256 KiB; 0% Read; 0% random_QD1 | 0.0 | 263.9 |
| 256 KiB; 0% Read; 0% random_QD32 | 0.0 | -1.4 |
| 1M-Seq-100%R_QD1 | 1.8 | 0.0 |
| 1M-Seq-100%R_QD32 | 13.0 | 0.0 |
| 1M-Seq-50%R_QD1 | -6.3 | -4.7 |
| 1M-Seq-50%R_QD32 | 6.7 | 5.8 |
| 1M-Seq-100%W_QD1 | 0.0 | -3.6 |
| 1M-Seq-100%W_QD32 | 0.0 | -0.2 |
| 1M-rand-100%R_QD1 | 11.3 | 0.0 |
| 1M-rand-100%R_QD32 | 20.0 | 0.0 |
| 1M-rand-50%R_QD1 | -2.5 | 1.2 |
| 1M-rand-50%R_QD32 | 24.9 | 24.7 |
| 1M-rand-100%W_QD1 | 0.0 | -2.0 |
| 1M-rand-100%W_QD32 | 0.0 | 16.7 |
4台のSSDのRAID0した限り、1台構成時には良かった512Bの読み込みでもSSP無効の方がスコアがよいなど、SSPを有効にすると極一部を除いて全く良いことがないように見えます。特に、QD32のR/W50%時のスコアが
| Read IOps | Write IOps | |
| SSP有効 | 576.5 | 580.7 |
SSP無効 | 35001.2 | 35057.8 |
となり、それぞれ+5937%という値が出てしまっていてまたグラフがぶっ壊れています。
4Disks-RAID5 WB SmartPath Enabled
4Disk-RAID5 WB SmartPath Disabled
| Access Specification Name | 対SSP有効時比Read IOps 増分(%) | 対SSP有効時比Write IOps増分(%) |
|---|---|---|
| 512 B; 100% Read; 0% random_QD1 | 75.5 | 0.0 |
| 512 B; 100% Read; 0% random_QD32 | 131.9 | 0.0 |
| 512 B; 50% Read; 0% random_QD1 | 1463.3 | 1455.3 |
| 512 B; 50% Read; 0% random_QD32 | 1635.5 | 1625.8 |
| 512 B; 0% Read; 0% random_QD1 | 0.0 | 1948.7 |
| 512 B; 0% Read; 0% random_QD32 | 0.0 | 2664.0 |
| 4 KiB; 100% Read; 0% random_QD1 | 99.1 | 0.0 |
| 4 KiB; 100% Read; 0% random_QD32 | 197.5 | 0.0 |
| 4 KiB; 50% Read; 0% random_QD1 | 1135.5 | 1137.8 |
| 4 KiB; 50% Read; 0% random_QD32 | 1084.3 | 1090.3 |
| 4 KiB; 0% Read; 0% random_QD1 | 0.0 | 1511.9 |
| 4 KiB; 0% Read; 0% random_QD32 | 0.0 | 4639.1 |
| 256 KiB; 100% Read; 0% random_QD1 | 258.9 | 0.0 |
| 256 KiB; 100% Read; 0% random_QD32 | 19.6 | 0.0 |
| 256 KiB; 50% Read; 0% random_QD1 | 576.4 | 565.9 |
| 256 KiB; 50% Read; 0% random_QD32 | 225.2 | 225.6 |
| 256 KiB; 0% Read; 0% random_QD1 | 0.0 | 1912.5 |
| 256 KiB; 0% Read; 0% random_QD32 | 0.0 | 1173.6 |
| 1M-Seq-100%R_QD1 | 16.0 | 0.0 |
| 1M-Seq-100%R_QD32 | 16.7 | 0.0 |
| 1M-Seq-50%R_QD1 | 212.4 | 192.3 |
| 1M-Seq-50%R_QD32 | 196.1 | 185.4 |
| 1M-Seq-100%W_QD1 | 0.0 | 880.2 |
| 1M-Seq-100%W_QD32 | 0.0 | 570.5 |
| 1M-rand-100%R_QD1 | 16.4 | 0.0 |
| 1M-rand-100%R_QD32 | 20.3 | 0.0 |
| 1M-rand-50%R_QD1 | 206.2 | 216.4 |
| 1M-rand-50%R_QD32 | 194.3 | 212.5 |
| 1M-rand-100%W_QD1 | 0.0 | 560.4 |
| 1M-rand-100%W_QD32 | 0.0 | 306.9 |
RAID5構成時にはSSPを有効にしても何一つ良いことがありませんでした。存在価値…
気になったのでCDMでサクッとキャッシュに載る100MBのデータを取得してみましたが、はやりSSP無効の方が良い性能が出ます。オンメモリに対しても書き込みが1GB/s程度というのは少し悲しいですが。
まとめ
キュー長が深ければ読み書き最大80kIOPS、2GB/sくらいの速度はでるようです。オンキャッシュの結果を見るに、PCI-E3.0対応の効果があるのでSSDがもっとあればもう少し上の速度も取れるかもしれませんが、そこまで同型のSSDがないので不明です。
また、ssacliからキャッシュする書き込みデータの閾値などの変更も出来るので、詰めればもっと良い値が出るのかもしれませんが、組み合わせが膨大になるためそこまで検証する気力はありません。。
SSPの動きなど、結構癖のある動きをする上、2017年現在そこまで安く流通していないので、取りあえずそこそこの性能で、と言うなら価格面で130が有利です。
ただ、RAID5を考えるとN8103-130が最大書き込み500MB/s程度に対してP420は1200MB/sほど出るので、複数のSSDでのRAID5の運用を考えたら多少高くてもP420の方が良いかもしれません。
買う際には
- 1GB、2GBのどちらかのキャッシュを搭載している
- FBWC保護キャパシタ/バッテリが付いている
事を確認して買わないと悲惨なことになるので注意してください。
Related articles