【HW】DDR InfinibandHCAにおけるIPoIBのパフォーマンス 
2012, December 2, Sunday, 08:59 - PC, SoftWare, HardWare, OC/Bench, Network
　前回にIPoIBが通るようになったので色々テストしてみました。機材は前回のままです。

IP
ibhack 10.1.1.1/24
ib1 10.1.1.2/24

iscsitarget+open-iscsiによるパフォーマンス


　まあ、もう試した方が居るので今更ではあるのですが一応試してみました。ものすごく参考になるので必読です。自分も動かねえなぁと言うときに参考にさせて頂きました。
http://www.slideshare.net/tyamadajp/inf ... an#btnNext

ターゲットの用意


　まず、ramfsでディレクトリを作ります。
root@ibhack:~#mkdir /a
root@ibhack:~#mount -t ramfs -o size=10G ramfs /a


　次に、iscsitargetを入れます。
root@ibhack:~#apt-get install iscsitarget iscsitarget-dkms


インストールが終わったら/etc/iet/iet.confを編集します
root@ibhack:~# vi /etc/iet/ietd.conf

Target test:test
Lun 0 Path=/a/10G.img,Type=fileio,ScsiId=xyz,ScsiSN=xyz


最後に、/etc/default/iscsitargetの1行目を編集し、サービスを立ち上げます。
root@ibhack:~# vi /etc/default/iscsitarget

ISCSITARGET_ENABLE=true

root@ibhack:~/ib# service iscsitarget start
[ ok ] Starting iSCSI enterprise target service:.
. ok

イニシエーターの用意


　ターゲットが用意できたら、それに接続するイニシエーターの設定をします。
root@ib1:~# apt-get install open-iscsi
---略---
root@ib1:~# iscsi_discovery 10.1.1.1
iscsiadm: No active sessions.
Set target test:test to automatic login over tcp to portal 10.1.1.1:3260
Logging out of session [sid: 1, target: test:test, portal: 10.1.1.1,3260]
Logout of [sid: 1, target: test:test, portal: 10.1.1.1,3260] successful.
Set target test:test to automatic login over tcp to portal 192.168.1.201:3260//←管理用IP
Logging out of session [sid: 2, target: test:test, portal: 192.168.1.201,3260]
Logout of [sid: 2, target: test:test, portal: 192.168.1.201,3260] successful.
discovered 2 targets at 10.1.1.1

root@ib1:~# iscsiadm -m node -l -p 10.1.1.1
Logging in to [iface: default, target: test:test, portal: 10.1.1.1,3260] (multiple)
Login to [iface: default, target: test:test, portal: 10.1.1.1,3260] successful.
root@ib1:~# iscsiadm -m node -l -p 10.1.1.1 -T test:test

　ターゲットが適当な設定なので、IBのインターフェース以外に管理用インターフェースでもリッスンしていますが、今は気にしないことにしましょう。

ddでのテスト


　みんな大好きddでのシーケンシャルアクセステストです。

　読み込み
root@ib1:~# dd if=/dev/sdb of=/dev/null bs=1M
10000+0 records in
10000+0 records out
10485760000 bytes (10 GB) copied, 30.9927 s, 338 MB/s]


書き込み
root@ib1:~# dd of=/dev/sdb if=/dev/zero bs=1M count=10000
10000+0 records in
10000+0 records out
10485760000 bytes (10 GB) copied, 23.3797 s, 448 MB/s


　やはり先人のテストの結果の通り、4Gb/sで頭打ちになりました。ConnectModeにしてMTUをあげても変わりませんでした。

Windowsでのパフォーマンス


　まず、ここからOFED For Windowsを入れ、Connected modeを有効にします。




　そして、MS iSCSI initiatorからLinux iscsiTargetに接続をします。そしてNTFSでフォーマットをして、それからCrystalDiskで計測しました。


　同じ条件でも、Open-iscsiよりは良い結果が出ました。open-iscsiイニシエータの性能があまりよくない？

　もう一つの試験として、試しに両方ともWindows7に切り替えIm DiskでRAMFSを作り、そこを共有フォルダとしてCIFSのテストもしてみたのですが、何気にConnected modeを有効にしただけでそこそこな速度が出ました。window->Linux Samba3serverもやってみたのですがここまでの値は出ませんでした。適当にやってしまったのでログが残っていないのですが、大体4-500MB/sでした。




まとめ


　IBをIBoIPで使うのは、元のIBの帯域を発揮することは出来ませんが、それでもDDRクラスであれば1GbEtherを何本も束ねるよりは速いことが多かったです。場合によっては10Gbに迫る勢いです。
　中々いい感じなのですが、現在の問題点としては

・スイッチが高い
・ケーブルが高い
・HCAもそこまで大量にあるわけではない
・かなりカーネルでドライバを持っているので殆どそのまま使える物の、Plug and playとまでは行かない
・Linuxで使う場合、RH系以外は結構めんどくさい
・古いHCAだとESXiやWin2012svr等でドライバを切られてしまって使えない

　といったところを感じました。で、IBどうよ？と言われたら、「とりあえず2本くらいかって様子見てみると良いよ」と答えるでしょう。個人的には、これでSAN等のファブリックを固めるのもアリだと思います。

　次回はSRPなどについてまとめたいと思います。

jian xin capsule 
2016, April 13, Wednesday, 12:33

i amn stay here, thanks this is lovely web, The paintings are really awesome.
http://grosirgreenworldku.com/jian-xin-capsule/
http://grosirgreenworldku.com/obat-maag
http://grosirgreenworldku.com/brain-care-capsule/
http://grosirgreenworldku.com/gastric-health-tablet/
jian xin capsule 
2016, April 13, Wednesday, 12:33

i amn stay here, thanks this is lovely web, The paintings are really awesome.
http://grosirgreenworldku.com/jian-xin-capsule/
http://grosirgreenworldku.com/obat-maag
http://grosirgreenworldku.com/brain-care-capsule/
http://grosirgreenworldku.com/gastric-health-tablet/

コメントを書く
必要事項とコメントを入力して下さい。









タグの挿入