色々検証で買ったり、中古サーバを買ったらついてきたおまけRAIDカードが増えてきたのですが、どのカードがどの程度の性能を持っているかを感覚でしか分かっていなかったので計測、考察してみました。
2017年現在、いずれもヤフオクや秋葉原で5000円前後、少なくとも1万円以下(eBayではless than $100 USD)で買えるカードでもあるので、安価でそれなりの性能を持ったカードが欲しいと言ったときに役に立つと思います。そのため、全般的にカードが古いです。
計測環境
計測は以下の環境で行いました。使ったハードウェアはhttp://xmms.jp/blog/comments.php?y=17&m=05&entry=entry170504-004911です。
- OS: Windows 10 Pro Build 1511 64bit
- CPU Xeon E5 2670 (v1)
- MB Haunan X79
- Mem 16GB 4x4GB
- SSD
- Target disk: Sandisk X300 128GB
- OS disk: Intel 520 128GB
RAIDを構成する際にはX300の128GBを最大4つ使用します。中古で4000円程度だったのでいくつか買ってみましたが、買った時点で利用時間3時間、電源投入10回程度の状態でした。
計測手順
Windows10上にそれぞれのベンダのRAID設定ユーティリティーをインストールし、Windows上からアレイの作成、及び設定の変更を行いました。この際、OSは使い回しなので複数のRAID設定ユーティリティーが動いた状態になりますが…。
アレイの作成後、ディスクマネージャからNTFSでクイックフォーマットを行い、色々テスト条件を指定できるのがIO Meterだったので、今回はその後Windows上でIO Meter(iometer-1.1.0-win64.x86_64-bin.zip)を実行して以下のパターンの値を計測しました。
Maximun Disk sizeは10000000 Sectors (51210000000Byte、約5GB)、Run timeは30秒、各テストの前には10秒のRamp Up Timeを設けています。
- 512byte seq
- 100% Read
- QD1
- QD32
- 50% Read, 50% Write
- QD1
- QD32
- 100% Write
- QD1
- QD32
- 100% Read
- 4KB seq
- 512と同パターン
- 256KB seq
- 512と同パターン
- 1MB Seq
- 512と同パターン
- 1MB rand
- 512と同パターン
このうちの、「R/WそれぞれのIOPS値」と「RW合算MB/s値」をまとめます。まあIOPS*アクセスデータサイズ=MB/sになるので後者は不要といえば不要ですが…。
本当はカード交換時にAHCIに繋ぎLinux等からblkdiscardをそれぞれのSSDに対して実行したあとに新しいカードに移るべきなのですが、あまりにも手間なのでそのまま別のカードに付け替え、実行しています。
RAIDアレイの初期化、Windowsからのクイックフォーマット命令時のいずれかにRAIDカードがよしなにSSDに伝えてblkdiscard/trim相当のことをしていると信じます。この辺の情報が謎でした。
検証カード
Intel X79 AHCI
リファレンス的な扱いです。X79のSATA6GポートにX300を1枚挿し、データを取得しました。SSDの性質上、R/Wが混ざるとかなり性能が落ちることが確認できますが、今回の目的はSSDの性能ではなくRAIDカードの性能であることに留意してください。
ちなみに、CDMとATTOの参考値です。
NEC N8103-130 (Megaraid SAS 9264-8i)
RAID5/6用キー付きのモデルです。購入時はバッテリ付きで1枚3000円程度でした。手元にあった物はFW 2.0.43-0991の物ですが、値を見る限りは最初からSATA6対応で動いているように見えます。よって、ファームの書き換えなどはしていません。
BBUもあるのですが、充電を待つのが面倒だったのでBBU無しで検証しています。過去の経験により、LSIのカードの設定については
- SSDの場合、NoReadAhead,Direct IOにした方が大体良い結果が出る
- SSDの場合は性質上先読みが無くても十分早い上、先読みが外れるコストの方がRAIDコントローラにとっては大きいらしい
- Cached IOにすると、読み込み時に ディスク→キャッシュメモリ→OS と言う順になるらしく、SSDの場合はキャッシュへ載せるオーバーヘッドの方が大きい
- SSDの場合、NoReadAhead,Direct IOにした方が大体良い結果が出る
- SSDの場合、Diskcacheを有効にしてあげないと書き込み最適化が出来ず寿命にも影響する
- エンプラ向けSSDはでかいキャパシタを持っているので電源断でもSSD上のDRAMのデータは消失せずにすむけど…
と言う傾向があるので、それを踏まえた個人的に気になった以下のパターンを確認しています。
- 1Disk-RAID0 WriteThrough
- 1Disk-RAID0 WriteBack
- 4Disk-RAID0 WT
- 4Disk-RAID0 WB
- 4Disk-RAID5 WT
- 4Disk-RAID5 WB
ディスクのストライプサイズはデフォルトの64K固定です。
1Disk-RAID0 WriteThrough
何気にAHCIよりIO性能が高い…。SSD自体に256MBのDRAMが載っているので、そもそもカード自体のDRAMが不要な可能性があります。
CDMの4G、100MBリードの参考値です。ちなみにDiskcacheを無効にするとシーケンシャルでも書き込みが45MB/s程度まで落ちました。
|  |
|---|
1Disk-RAID0 WriteBack
5GBというキャッシュに乗り切らないサイズのせいか、違いがぜんぜんわからん!
WTモード時とのデータの向上率の比較をしてみる
| Access Specification Name | Read IOps | Write IOps |
| 512 B; 100% Read; 0% random_QD1 | 55.7% | 0.0% |
| 512 B; 100% Read; 0% random_QD32 | 97.8% | 0.0% |
| 512 B; 50% Read; 0% random_QD1 | 203.7% | 202.8% |
| 512 B; 50% Read; 0% random_QD32 | 281.8% | 283.2% |
| 512 B; 0% Read; 0% random_QD1 | 0.0% | 201.9% |
| 512 B; 0% Read; 0% random_QD32 | 0.0% | 60.4% |
| 4 KiB; 100% Read; 0% random_QD1 | 65.2% | 0.0% |
| 4 KiB; 100% Read; 0% random_QD32 | 70.4% | 0.0% |
| 4 KiB; 50% Read; 0% random_QD1 | 99.2% | 98.4% |
| 4 KiB; 50% Read; 0% random_QD32 | 90.6% | 90.4% |
| 4 KiB; 0% Read; 0% random_QD1 | 0.0% | 190.9% |
| 4 KiB; 0% Read; 0% random_QD32 | 0.0% | 58.5% |
| 256 KiB; 100% Read; 0% random_QD1 | 98.8% | 0.0% |
| 256 KiB; 100% Read; 0% random_QD32 | 103.8% | 0.0% |
| 256 KiB; 50% Read; 0% random_QD1 | 107.1% | 108.7% |
| 256 KiB; 50% Read; 0% random_QD32 | 78.0% | 78.1% |
| 256 KiB; 0% Read; 0% random_QD1 | 0.0% | 112.7% |
| 256 KiB; 0% Read; 0% random_QD32 | 0.0% | 100.0% |
| 1M-Seq-100%R_QD1 | 100.2% | 0.0% |
| 1M-Seq-100%R_QD32 | 104.5% | 0.0% |
| 1M-Seq-50%R_QD1 | 96.3% | 94.3% |
| 1M-Seq-50%R_QD32 | 92.2% | 91.8% |
| 1M-Seq-100%W_QD1 | 0.0% | 99.4% |
| 1M-Seq-100%W_QD32 | 0.0% | 100.4% |
| 1M-rand-100%R_QD1 | 92.1% | 0.0% |
| 1M-rand-100%R_QD32 | 74.5% | 0.0% |
| 1M-rand-50%R_QD1 | 89.7% | 85.1% |
| 1M-rand-50%R_QD32 | 81.9% | 82.6% |
| 1M-rand-100%W_QD1 | 0.0% | 92.5% |
| 1M-rand-100%W_QD32 | 0.0% | 94.1% |
分かりづらいですが、100%でキャッシュ無し時と同じなので、512 B; 100% Read; 0% random_QD1の55.7%というのは、キャッシュを有効にすると逆に性能劣化が起きてキャッシュ無しの半分の性能になっているパターンです。(コンフルマクロで1を主軸にして左右にするグラフどう作れば良いんだ…。)
512BアクセスのRead50%/Write50%時はキャッシュを有効にすると無しに比べて3倍近い性能向上を得られますが、それ以外の場合は大体性能劣化が起きているようです。
WBの効果が出ているかCDMも走らせてみましたが、キャッシュに収まる100MBでテストしたところキャッシュ速度はずいぶんと速いようです。
|  |
|---|
Related articles