PC Junkie Rev3.0 http://xmms.jp/blog/index.php about copyright]]> 【Monitoring】 ZabbixからESXiホストに刺さってるMegaRAIDの状態をLLDで動的に取得して監視する http://xmms.jp/blog/index.php?entry=entry230306-160036 　何かいい方法がないかと見ていたらstorcliがjsonでデータを出力できることに気がついたので、ZabbixのLLDと組み合わせていい感じにデータを監視する方法を作りました。先にテンプレートのJSONを置いておきます。

Template_LSI-storcli.json


 storcliが動けばLinuxであっても情報を取得できるので、agentのsystem.run形式で作ったものも同梱しておきます。storcliの実行にroot権限が必要になるので、storcliにスティッキービットをつけたりsudoを許可したりagent自体をrootでうごかしたりしていい感じに対応してください。
　system.runは悪だ!!!!!という方は、最終的にjsonが取れればいいので、userparameterにしたりrootのcronでstorcliを実行して結果をテキストデータとして出力してログ監視するなど、linuxであればやりようはいくつもあるのでいい感じに工夫してください。
　まあ、linuxでエージェントが入っているようであれば/var/log/kernelなどをmegaraid_sasといったようなキーワードで監視していれば大体のイベントが取得できますが…。

　ESXi用のテンプレートはSSHで接続してstorcliの実行結果を取得するので、Zabbix-agentが入っていないLinuxを監視したい場合にも使えます。

前提条件


　利用するにあたり、以下の前提条件が必要になります。

Zabbixのバージョンが6系であること
監視対象上でstorcliが動かせること
作成したLDに対して名前がついていること
ssh接続が有効になっていること
ESXiホストの/etc/ssh/sshd_configのPasswordAuthentication が yesになっていること


　注意点としては、LLDとJSONのクエリの関係で、作成した論理ディスクに対して名前が必要になります。デフォルトではついていないので、storcliで監視対象全てで被らない一意な名前をつけてあげてください

/opt/lsi/storcli/storcli  /call/vall show all #一覧を確認
/opt/lsi/storcli/storcli  /c0/v0 set name=myhost01-boot #/c0/v0に対して名前を付ける


 ESXi側のSSHに関しては共通鍵認証でもいいですが、テンプレートの変更が必要なのでそのへんの設定は今回は省きます。デフォルトのkeyboard-interactiveになっていても動きそうな気がしますがテストしてません。
　また、テンプレートの形式がZabbix6形式になっているので4系では入らない気がします。LLDのためにJSONpathとカスタムスクリプトでJSを使っているので、これを元に一から作る場合であっても、Zabbix側のカスタムスクリプトでJSの拡張がされていないと動かない気がします。

　いずれにしても、4系の環境がもうないのでテストしてないですが、JSONpathは4系でも使えたはずなのでなにかのヒントにはなるかと思います。

利用方法


　まず、Zabbixに監視するためのホストを作ります。ESXiの場合はSSHで接続するので、インターフェースは参照しないので127.0.0.1のままでOKです。ホスト名だけ入れてください。



　次に、マクロに色々仕組みます。利用しているマクロは以下になります

{$IP}　接続先IP
{$PASS} SSHの接続パスワード
{$STORCLI} Storcliの配置先　ESXiデフォルトは/opt/lsi/storcli/storcliのはず
{$USER} SSHの接続ユーザ




 今思うと{$IP}はホスト作るときにIPで作って{#HOST.IP}でも良かったのでは??という気がしますが、作ってしまったのでそのままにします。また、PASSについてはデバッグが終わったあとであればSecret textに変更可能ですが、最初はクリアテキストでデータが取れるかを見たほうがいいです。

　作成したホストに今回のテンプレートをリンクさせ、LD Data from StorcliをExecute nowで実行します。正しく設定されていれば、LLDが発動してアイテムが増えるはずです。LDが増えない場合、上記の制限事項にある手順のstorcli /cx/vx set name=uniquename で名前をつけたか確認してください。Latest dataでデータが取得できているのにLDが増えない場合おそらくこれが原因です。
　同じくPD Data from Storcliを実行すると、刺さっている物理ディスクの一覧が取得できると思います。

　Latest dataが取れない場合、ZabbixからESXiにSSHが届くか、storcliのパスが合っているかなどを確認してください。

制限事項


　物理ディスクの監視ですが、ディスク、HBAのファームウェアのバージョンによっては取得できない項目があります。BBM Error countやShield State Countなどはある程度のクラスのディスクでないと値を持っていないので、ディスクによっては取得できないかもしれません。その場合は取得不可のマークが付きますが、影響がないのでそのままにするかLLDで作成されたアイテムから監視の無効化をしてください。




　また、物理ディスクの監視のために実行しているstorcli /call/eall/sall show all jで応答するJSONがかなり大きいため、搭載ディスク本数が24本などの巨大なマシンの場合はうまく取れないかもしれません。

　Zabbix6系ではTEXT型アイテムの場合、history_textテーブルに格納され、使っているDBがMariaDBであればmediumtext型で格納されるため1回のデータ取得で16MBまでは入りますが、使っているDBの種類によっては入り切らない可能性があります。参考までに、ディスクを8本搭載したマシンでstorcli /call/eall/sall show all jを実行すると22KBのJSONが出来上がります。

　調べた限り、Zabbixは1つのセッションで1GBくらいのデータを流せるようなので、おそらくSSHからのデータ取得で問題になることは少ないかと思いますが、場合によってはタイムアウトの時間を伸ばす必要があるかもしれません。　

　storcli /call/eall/sall show all jの結果については依存アイテムを分解するために実行しているだけなので、Zabbixが6系であればヒストリを「Do not keep history」にしてもLLD分解後のデータ取得は可能です。
　もともとデバッグのために1時間しか保持していませんが、コマンド実行に問題がなさそうであればstorcliの履歴については取得しない設定でも問題ないです。
→テンプレートの微調整の際にデフォルトではstorcliの実行結果を保存しないようにしました。storcliのコマンド実行結果を眺めたい場合は PD Data from Storcli のアイテムヒストリをnoneから適宜変更してください


技術的内容(うらみつらみ)


　今回、JSONとLLDを使うにあたってかなり多くの問題にあたりました。まず1つめはstorcliの返すJSONの作りが悪すぎること、そして2つめはZabbix側のJSONの処理がイケてないことです。両方じゃねーか!!!

ZabbixのJSONの扱いが微妙


　ZabbixでJSONを扱うときに2つの問題がおきます。まず1つ目は、LLDでJSONを扱う場合、見つかったキーが["LLDNAME"]とダブルクオートとブラケットに囲まれた状態で取得します。中身だけ見つけてくれ…と、せめてどうにか値に対してtrimやiregsubなどが使えないか試したのですが、どうやらここをどうにかする方法はないようです。

　そのため、アイテム名を整形するためにTemperture of {{#MR_PD_NAME}.iregsub("\[\"(.*)\"\]", \1)}というような正規表現をところどころで書く必要がありイケてないです。
　LLDで見つかったアイテムのキーについてもmrstat.pd.temp.["[\"/c0/e252/s0:WDC WD1005FBYZ-01YCBB1:WD-WMC6M0F4M8WN\"]"]というような状態で入ってしまうのですが、どうせこれは他では使わないしもういいや…と諦めました。

　2つ目は、LLDを実行するときにJSONから複数の値が見つかった場合、それぞれ[{"key": "value"},{"key": "value"}]で返答する必要があり、["value","value"]だとイテレータが動いてくれないという点です。
https://www.zabbix.com/forum/zabbix-help/419391-utilizing-jsonpath-to-setup-an-lld-macros
　これもハマりましたが、上記のスレッドのカスタムスクリプトに助けられました。なおしておいてくれ～～～～～

storcliのJSON構造がカス


　storcliのJSONの構造で苦労したのは物理ディスクの応答内容がカスなことです。一例としては以下のようになります

{
  "Controllers": [
    {
      "Response Data": {
        "Drive /c0/e252/s0": [
          {
            "DG": 0,
            "DID": 14,
            "EID:Slt": "252:0",
            "Intf": "SATA",
            "Med": "HDD",
            "Model": "WDC WD1005FBYZ-01YCBB2",
            "PI": "N",
            "SED": "N",
            "SeSz": "512B",
            "Size": "931.000 GB",
            "Sp": "U",
            "State": "Onln",
            "Type": "-"
          }
        ],
        "Drive /c0/e252/s0 - Detailed Information": {
          "Drive /c0/e252/s0 Device attributes": {
            "Coerced size": "931.000 GB [0x74600000 Sectors]",
            "Connector Name": "Port 0 - 7 x1",
            "Device Speed": "6.0Gb/s",
            "Firmware Revision": "RR07    ",
            "Link Speed": "6.0Gb/s",
            "Logical Sector Size": "512B",
            "Manufacturer Id": "ATA     ",
            "Model Number": "WDC WD1005FBYZ-01YCBB2",
            "NAND Vendor": "NA",
            "NCQ setting": "Enabled",
            "Non Coerced size": "931.012 GB [0x74606db0 Sectors]",
            "Physical Sector Size": "512B",
            "Raw size": "931.512 GB [0x74706db0 Sectors]",
            "SN": "WD-WMC6M0J95THT",
            "WWN": "50014EE0AF2FC003",
            "Write Cache": "N/A"
          },
          "Drive /c0/e252/s0 Policies/Settings": {
            "Certified": "No",
            "Commissioned Spare": "No",
            "Connected Port Number": "7(path0) ",
            "Cryptographic Erase Capable": "No",
            "Drive position": "DriveGroup:0, Span:0, Row:0",
            "Emergency Spare": "No",
            "Enclosure position": "1",
            "FDE Type": "None",
            "Last Predictive Failure Event Sequence Number": 0,
            "Locked": "No",
            "Multipath": "No",
            "Needs EKM Attention": "No",
            "PI Eligible": "No",
            "Port Information": [
              {
                "Linkspeed": "6.0Gb/s",
                "Port": 0,
                "SAS address": "0x4433221107000000",
                "Status": "Active"
              }
            ],
            "SED Capable": "No",
            "SED Enabled": "No",
            "Sanitize Support": "Not supported",
            "Secured": "No",
            "Sequence Number": 2,
            "Successful diagnostics completion on": "N/A",
            "Wide Port Capable": "No"
          },
          "Drive /c0/e252/s0 State": {
            "BBM Error Count": 0,
            "Drive Temperature": " 32C (89.60 F)",
            "Media Error Count": 0,
            "Other Error Count": 0,
            "Predictive Failure Count": 0,
            "S.M.A.R.T alert flagged by drive": "No",
            "Shield Counter": 0
          },
          "Inquiry Data": "7a 42 ff 3f 37 c8 10 00 00 00 00 00 3f 00 00 00 00 00 00 00 20 20 20 20 57 20 2d 44 4d 57 36 43 30 4d 39 4a 54 35 54 48 00 00 00 00 00 00 52 52 37 30 20 20 20 20 44 57 20 43 44 57 30 31 35 30 42 46 5a 59 30 2d 59 31 42 43 32 42 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 10 80 00 40 00 2f 01 40 00 00 00 00 07 00 ff 3f 10 00 3f 00 10 fc fb 00 00 5d ff ff ff 0f 00 00 07 00 "
        }
      }
    }
  ]
}


　各情報について、なぜ変動する値がキーになっているのか、微妙に違うキーに値を入れるのやめろ、と言いたくなります。例えば、ディスクの温度とシリアルを取りたい場合のデータの位置は以下になります。

json.Controllers[0]["Response Data"]["Drive /c0/e252/s0 - Detailed Information"]["Drive /c0/e252/s0 State"]["Drive Temperature"] = " 32C (89.60 F)";
json.Controllers[0]["Response Data"]["Drive /c0/e252/s0 - Detailed Information"]["Drive /c0/e252/s0 Device attributes"].SN = "WD-WMC6M0J95THT";


　なぜ以下のようにしなかったのか…

json.Controllers[0]["Response Data"]["PhysDrive"][0]["Path"]= "/c0/e252/s0";
json.Controllers[0]["Response Data"]["PhysDrive"][0]["SN"] = "WD-WMC6M0J95THT";
json.Controllers[0]["Response Data"]["PhysDrive"][0]["Detailed Information"]["State"]["Drive Temperature Celsius"] = 32


　もともとディスクのシリアルと型番を元にクエリを投げて温度を取ろうと思い、上記のような構造であればJSONだけでクエリが完結したのですが、このような構造のためLLDのキーに色々仕込む必要がありました。
　内容としてはカスタムスクリプトに正規表現でパスを取り出すものを仕組み、LLDの名前として取得して、LLDのアイテムプロトタイプで正規表現で取り出す、という内容です。

　LLDのカスタムスクリプト

var array = JSON.parse(value)
var drives = []
for (var a in array) {
for (var ar in array[a]){
if ( ar.indexOf("Detailed Information") != -1){
prefix=ar.replace(/(Drive\s\/[\w\/]+)\s.*/,"$1");
path=ar.replace(/Drive\s(\/[\w\/]+)\s.*/,"$1");
detail=prefix+" Device attributes";
drive=path+":"+array[a][ar][detail]["Model Number"].trim()+":"+array[a][ar][detail].SN
drives.push(drive)
}
}
}

var len = drives.length;
var x = 0
output = "{ \"data\" :["
for (; x < len - 1; x++){
output += "{\"Name\": \"" + drives[x] + "\"},"
}
output += "{\"Name\": \"" + drives[x] + "\"}"
output += "]}"
return output


　上記のカスタムスクリプトでこのような名前が取れるので、これをLLDで見つかったディスクとして認識させます。




 そして、LLDのアイテムプロトタイプにて、JSONpathでデータを取得する際に.iregsub("\[\"([0-9a-z\/]+):.*\"\]", \1)}で一番最初のスロットナンバーの情報を切り出してJSONのキーに埋め込んでいます。

$.Controllers..["Response Data"]..["Drive {{#MR_PD_NAME}.iregsub("\[\"([0-9a-z\/]+):.*\"\]", \1)} State"]["Drive Temperature"]


　イケてねえ…。まあイケてないものをイケてない方法でどうにかしようとしているので汚くなるのは必然ですが…。

まとめ


　Zabbixは仕事でもプライベートでも使うことが多く、いろいろな意味で一番柔軟性が高い監視方法だと感じています。特定のログを検知しても水曜日の6-7時だけは検知を除外する、というような要求でも、Zabbixであればそれなりに複雑なトリガーの条件式で対応できますが、他の監視方法だとかなりキツイ、もしくはそんな方法はない、という事なりがちで、良くも悪くも使い込めば使い込むほど他のものが使えなくなります。

　Zabbixは以前の仕事でそれなりに使っていたつもりだったのですが、今回やった内容は全く知らず、「え、そんなことできたの…」という発見もかなりありました。Zabbixはパズルですが、どうにかする方法はあるのでみんなで沼に沈みましょう。

　おそらく、今回の方法ももう少しスマートな方法がある気がしますが、とりあえず動いたので参考にはなるかと思います。

追記:
　その後実際に役に立ってしまったので動作については問題ないと思います。また、storcliのデータについてはデフォルトではヒストリを取らない設定に変更し、ディスクのステータスの追加のデータを取るように変更しました。何が起きてるかを知りたいときには手動でヒストリの取得を有効にしてください。
　また、コントローラーが複数存在する場合に、2台目以降のコントローラーのデータが上手くパースできていない問題も修正しました。


]]> 【その他】ごみスクリプト置き場 http://xmms.jp/blog/index.php?entry=entry140411-010826 　内容としては、Expectで複数サーバに対して同一コマンドをsuして実行するだけのゴミと複数のサーバから一か所にファイルをSCPで集めるか送るだけのゴミです。



スクリプト背景


　背景として、何かの作業をする時にまず踏み台サーバにログインし、そのあとでさらにSSHを張って二重SSHで作業する必要がある環境でした。その踏み台についても、環境ごとに踏み台先がいくつかあり簡単な作業をしようとしてもログインやらなんやらが結構めんどくさかったのです。全台同一設定作業であれば何とかして楽したいというのがこの背景です。

　先進的なところであればこの手の仕組みはすでにあるはずなのですが、某所にはない＆何かエージェントを入れるといったことはできないため、どうにか手元だけでなんとかする必要がありました。
　最初はTeratermマクロで頑張ろうとしましたが、どうもマクロの書き方が好きになれなかったのと自分の知識不足により一部うまく処理できない内容があり、その結果Cygwin+Expect(Tcl)がよさげという判断になりました。そもそも論でその判断すら残念ですが。

実行環境


　Cygwin+Expectを入れてください。たぶん動きます。LinuxのExpectでも動いたので手元にLinux環境があるならyum install expectなどで入れてください。


SSHするゴミ



#!/usr/bin/expect
#使い方: ./gomi1.sh $IPが書かれたファイル $コマンドが書かれたファイル

#IPのリストファイル読み込み
set file [open [lindex $argv 0 ]]
set list [split [read $file] "\n"]
close $file

#コマンドリストファイル読み込み
set file2 [open [lindex $argv 1 ]]
set cmd [split [read $file2] "\n"]
close $file2

#ネットワーク環境が悪い場合を考え10文字送ったら0.1秒待つ
set send_slow {10 0.1}

#ループカウンタその他
set prv ""
set cnt 1

#カンマ区切りのサーバリストファイルを読み込む
foreach l $list {
#カンマをばらす
set line [ split $l "," ]
#第一カラムから踏み台先のIPを得る
set humidai [lindex $line 0 ]
#踏み台にログインするためのユーザー
set h_usr [lindex $line 1 ]
#踏み台にログインするためのパスワード
set h_pw [lindex $line 2 ]
#踏み台のプロンプト(PS1,[aaa@~ ]$ など)
set h_ps [lindex $line 3 ]
#踏み台からSSH接続するIP
set r_ip [lindex $line 4 ]
#踏み台からSSHを張る時に使うユーザー
set r_usr [lindex $line 5 ]
#踏み台からSSHを張る時に使うパスワード
set r_pw [lindex $line 6 ]
#リモートの通常ユーザのプロンプト
set r_ps [lindex $line 7 ]
#リモートでsu -するときに使うパスワード
set r_supw [lindex $line 8 ]
#リモートのrootのプロンプト
set r_root_ps [lindex $line 9 ]
#最終行に来たら終了する
if {$humidai == ""} {
exit
}
#踏み台が直前と違ったらSSHを張りなおすために今のセッションを切る
if { $prv != $humidai } {
if { $cnt != 1 } {
　　 puts " Humidai changed "
　　 close
}
#踏み台にSSHを張る
spawn ssh $h_usr@$humidai
expect "password: " {
send -s "$h_pw\r"
#初回SSH接続時のアレをｙする
} "/no)? " {
send -s "yes\r"
expect "password: "
send -s "$h_pw\r"
}
}

#--踏み台にSSHを張った後の処理--
#プロンプトを待つ
expect "$h_ps"
#踏み台のヒストリがsshだらけになってしまうので無視させる
send -s "export HISTIGNORE=* \r"
expect "$h_ps"
#踏み台から対象サーバにSSHを張る
send -s "ssh $r_usr@$r_ip \r"
expect "password: " {
send -s "$r_pw\r"
} "/no)? " {
send -s "yes\r"
expect "password: "
send -s "$r_pw\r"
}

#--リモートにSSHを張った後の処理--
expect "$r_ps"
#suする
send -s "su - \r"
#password:を待つ
expect ":"
send -s "$r_supw\r"
expect "$r_root_ps"
#ワンライナーで長いコマンドを書いてしまうとヒストリがカオスなことになってしまうので無視させる
send -s "export HISTIGNORE=* \r"

#--コマンドが書かれたファイルを読み込みrootでコマンドを実行していく--
foreach c $cmd {
expect "$r_root_ps"
send -s "$c \r"
}

#--コマンド実行終了--
#後処理、何度も実行するとヒストリがHISTIGNOREだらけになってしまうのでそれを消す
send -s "for a in `history|grep HISTIGNORE|awk '{ print \$1 }' |srot -nr `; do histroy -d \$a;done \r"
expect "$r_root_ps"
send "exit\r"
expect "$r_ps"
send -s "exit \r"
#踏み台のヒストリからHISTIGNOREを消す
expect "$h_ps"
send -s "for a in `history|grep HISTIGNORE|awk '{ print \$1 }' |srot -nr `; do histroy -d \$a;done \r"

set prv "$humidai"
set cnt [expr $cnt + 1 ]
}


なお、ゴミなので入力エラーなどなにもチェックしていません。
また、ファイルへコピーするときはUTF-8（BOMなし）とLFの改行コードで作成しないと怒られます。

使い方は、
./このファイル名.sh IPりすとファイル　コマンドが書かれたファイル
として使います。

IPリストファイルの書き方は、以下のように書きます。Excelなどでcsvを作り、dos2unixなどで改行コードをlfにすると楽です。#などは別にコメントアウト扱いにならないため注意してください。

#踏み台IP,踏み台ログインユーザ,踏み台ユーザパスワード,踏み台ユーザプロンプト,接続先IP,リモートユーザ,リモートユーザパスワード,リモートユーザプロンプト,リモートrootパスワード,リモートrootプロンプト

192.168.1.100,usr1,usrpass,]$ ,192.168.2.99,usr1,usrpass,]$ ,rootpass,]# ,HOSTNAME
192.168.1.100,usr1,usrpass,]$ ,192.168.2.98,usr1,usrpass,]$ ,rootpass,]# ,HOSTNAME
192.168.1.100,usr1,usrpass,]$ ,192.168.2.97,usr1,usrpass,]$ ,rootpass,]# ,HOSTNAME
192.168.1.101,usr1,usrpass,]$ ,192.168.3.99,usr1,usrpass,]$ ,rootpass,]# ,HOSTNAME
192.168.1.101,usr1,usrpass,]$ ,192.168.3.98,usr1,usrpass,]$ ,rootpass,]# ,HOSTNAME
....

HOSTNAMEに関してはスクリプト内では使っていませんが、とりあえず一つのファイルに全ての情報を書いておくと作業依頼が来たときに対象を絞り出す時に便利なので書いていました。リストファイルはローカルのみでの保存なのでセキュリティーは確保されている前提です（きり

作業対象のホスト名だけを書いたlstというファイルを置いて
for a in `cat lst`; do grep $a ip.lst ;done

みたいなことをするとリストから必要な情報だけをとれます。

コマンドファイルは単純に実行するコマンドを縦に書いていきます。
echo "`uname -n` at `date`"
ls /
whoami

など…

ちなみに'"'や'$'などは特にエスケープしなくてもExpectかTclがよしなにしてくれるようですが、すべてを確認したわけではないので事前に爆発しないか確認してください。

SCPするゴミ


上のSSHするゴミで実行した結果を/tmpなどに書き出し、それをまとめて踏み台に持ってくるためのゴミです。
ただし、あくまでも”踏み台サーバから(まで)"のファイル移動なので、手元に持ってくる（配布物を踏み台に持っていく）には手動でSCPをする必要があります。まあ少し書けばそれ単体のスクリプトも作れますが…。

#!/usr/bin/expect
#使い方: ./gomi2.sh -p|-g $iplistfile $filelist
set m [lindex $argv 0 ]

#SCPのオプション
set scp "scp -pr"
#持っていく、またはとってくるときにファイルを置くディレクトリ
set dir "/tmp/"

#IPのリストを開く
set file [open [lindex $argv 1 ]]
set list [split [read $file] "\n"]
close $file

#ファイルリストを開く
set file2 [open [lindex $argv 2 ]]
set flst [split [read $file2] "\n"]
close $file2

#カウンタとか
set prv ""
set cnt 1
set send_slow {10 0.1}


#モードの切り替え
if {$m == "-p" } {
set mode "put"
} elseif {$m =="-g"} {
set mode "get"
} else {
puts stderr " first option must be -p or -g "
puts stderr " -p is 'put', -g is 'get'"
exit
}
#debug
puts " mode is $mode "

#IPリストを開いてアレする
foreach l $list {
#カンマをばらす
set line [ split $l "," ]
#第一カラムから踏み台先のIPを得る
set humidai [lindex $line 0 ]
#踏み台にログインするためのユーザー
set h_usr [lindex $line 1 ]
#踏み台にログインするためのパスワード
set h_pw [lindex $line 2 ]
#踏み台のプロンプト(PS1,[aaa@~ ]$ など)
set h_ps [lindex $line 3 ]
#踏み台からSSH接続するIP
set r_ip [lindex $line 4 ]
#踏み台からSSHを張る時に使うユーザー
set r_usr [lindex $line 5 ]
#踏み台からSSHを張る時に使うパスワード
set r_pw [lindex $line 6 ]
#リモートの通常ユーザのプロンプト
set r_ps [lindex $line 7 ]
#リモートでsu -するときに使うパスワード
set r_supw [lindex $line 8 ]
#リモートのrootのプロンプト
set r_root_ps [lindex $line 9 ]

if {$humidai == ""} {
exit
}

if { $prv != $humidai } {
if { $cnt != 1 } {
close
}
puts " start scp "
spawn ssh $h_usr@$humidai
expect "password: " {
send -s "$h_pw\r"
} "/no)? " {
send -s "yes\r"
expect "password: "
send -s "$h_pw\r"
}
}
#踏み台のヒストリがSCPだらけになってしまうのを防ぐためにすべてをHISTIGNOREする
expect "$h_ps"
send -s "export HISTIGNORE=* \r"
expect "$h_ps"
send -s "for a in `history|grep HISTIGNORE|awk '{ print \$1 }' |sort -nr `; do history -d \${a};done \r"


#ファイルリストを読み込む
foreach f $flst {
expect "$h_ps"
if { $f == "" } {
#最後のファイルをSCPするために空エンターする必要がある
send -s " \r"
break
}
#送信か受信か
if {$mode == "get"} {
#--ファイル受信開始--
send -s "$scp $r_usr\@$r_ip\:$f $dir \r"
} elseif {$mode == "put"} {
#--ファイル送信開始--
send -s "$scp $f $r_usr\@$r_ip\:$dir \r"
}

#SCPしていく
expect "password: " {
send -s "$r_pw\r"
} "/no)? " {
send -s "yes\r"
expect "password: "
send -s "$r_pw\r"
}
}
set prv "$humidai"
set cnt [expr $cnt + 1 ]
}


使い方
ファイルリストに書かれた"踏み台サーバにある"ファイルを対象サーバの/tmpに配置する
./gomi2.sh -p IPリストファイル ファイルリスト

某所の環境はrootで直接ログインできず、一般ユーザでログインする必要があり、また権限の問題でファイルの受け渡しに/tmpを使う必要があったため、送信：受信ディレクトリを/tmpとしています。
IPリストファイルのフォーマットはSSHするゴミと同じです。

ファイルリストは対象ファイルをフルパスで書く必要があります。

例
SSHするゴミでifconfig -aの情報を>/tmpに書き出し、SCPするゴミで踏み台に持ってくる
#コマンドファイル
[root@localhost html]# cat cmd.lst
ifconfig -a >/tmp/ifconfig-`hostname`.txt
chmod 777 /tmp/ifconfig-`hostname`.txt
#IPリスト
[root@localhost html]# cat ip.lst
192.168.1.100,usr1,usrpass,]$ ,192.168.2.99,usr1,usrpass,]$ ,rootpass,]# ,HOSTNAME
192.168.1.100,usr1,usrpass,]$ ,192.168.2.98,usr1,usrpass,]$ ,rootpass,]# ,HOSTNAME
192.168.1.100,usr1,usrpass,]$ ,192.168.2.97,usr1,usrpass,]$ ,rootpass,]# ,HOSTNAME
192.168.1.101,usr1,usrpass,]$ ,192.168.3.99,usr1,usrpass,]$ ,rootpass,]# ,HOSTNAME
192.168.1.101,usr1,usrpass,]$ ,192.168.3.98,usr1,usrpass,]$ ,rootpass,]# ,HOSTNAME

#実行
[root@localhost html]# ./gomi.sh ip.lst cmd.lst
（省略）

これでとるべき情報をまず/tmp/ifconfig-`hostname`.txtとして保存したので、その後SSHするゴミで踏み台の/tmpに集めます。
#リストファイル
[root@localhost html]# cat file.lst
/tmp/ifconfig-*.txt
#実行
[root@localhost html]# gomi2.sh -g ip.lst file.lst

これで踏み台の/tmpにそれぞれの内容が集まったので、あとは手でSCPして持ってきます。
[root@localhost html]# for a in `cut -f1 -d"," ip.lst|uniq`;do scp -pr ${a}:/tmp/ifconfig-*txt ./;done

まとめ
本来であればこんなことしなくても一括配布的な何かが導入されていそうなものなのですが…
しかし、よくみんな今まで手で一つ一つ作業していたなあと逆に感心しました。

自分のためのメモですが、何かのベースにしたりするのはご自由にどうぞ。Expectの需要が今更あるのか謎ですが。]]> 【Storage】VMware 5.1からSRPなデータストアを使う http://xmms.jp/blog/index.php?entry=entry130520-030318

　無事にSRPターゲットの起動に成功したら、どんな人でもおそらくVMwareからこれを使いたいと考えるでだろう。VMware 4.xにはSRPイニシエータがあり、これからSRPなデータストアに繋ぐことが出来たので、Supported DeviceにあるConnectX2を買えばSRPが使える！と思っていた。
　しかし、去年の後半くらいからIBを触っていき、色々調べているうちに5系になってからVMware用SRPイニシエータが配布さていないことを知り、IBを使うには10GとしてiSCSIで繋ぐしかないことを知って絶望する。SRPの良さを知ってからこの事に気がついたので、知ったときはときはマジかよ…と結構落ち込んだ。
　一応、iSCSI over IPoIBがどの程度のパフォーマンスが出るのか調べてみると、ConnectedMode（MTU 65520)が使えないので10GbEなIBのMPIOx2（20Gbリンク)でさえ5GB/s(4-5Gbps)程度しか出ないらしい。Oh…
http://communities.vmware.com/thread/39 ... p;tstart=0

if anyone in Mellanox wants IB to get market acceptance then they should support this crap! (Mellanoxの中にIBのシェアを上げたいやつがるいならこのクズをどうにかしろ！)


　全くです…

　はっきり言って、全く使い物にならないといってもいいレベルのサポート状況にうちひしがれていた中、ある情報が届く。



　キター！ConnectX2が来たら本気出す！
　そして、ようやくConnectX2が来たので試してみたのであった…


　ConnectX2はもっと前からあったのですが、 前回 無事にSRPターゲットが使えるようになったので、VMwareから接続し、どの程度パフォーマンスが出るのか試してみました。



検証環境


　今回試験に利用した構成です。

SRP ターゲット


OS
　ubuntu server 12.04
HW
　MB/Rampage Gene II
　CPU/Xeon X5647
　Mem/4GB@1333MHz x6=24GB,UDIMM
　HCA Infinihost III EX(4xDDR)
　HDD WDC WD400JD-55MS　x1　 ST3160318AS　x6


前回作成した構成そのままです。


SRP イニシエータ(VMhost)


OS
　VMware 5.1 update1(VMware-VMvisor-Installer-5.1.0.update01-1065491.x86_64.iso)
HW
　MB/Rampage II Extreme
　CPU/Xeon E5530@定格
　HCA/ConnectX2 VPI(QDR,QSFP)
　Memory 6x4GB@1066MHz



　いつも使っているマシンが使用中だったため、前回のイニシエータから微妙に変更されています。変更点としては、MBがLanParty UTからRampage II Extremeへ、CPUがCorei7 920からXeon 5530へ、メモリのクロックが1333から1066へと変わっています。また、HCAが最初から対応ファームウェアだったので今回は実行しませんでしたが、ファームのバージョンによってはファームのアップデートが必要です。
Firmware versions:
• ConnectX®-2: 2.9.1000 and above
• ConnectX®-3: 2.11.0500 and above


VMwareのセットアップ


　インストールは、ローカルのHDDにISOからインストールしました。今思うとintel pro1000/CTを使ったiSCSI bootでもよかったのですが、その時は気がつきませんでした。。あと、RampageIIのオンボードのNIC (Marvell　 88E8056) がVMWでドライバを持っていなくて認識できなかったため、隣に転がっていた1000MTを追加する羽目になりました。ハードウェア対応は要チェックですね。。

　インストールが終わったら、vSphere　Clientから構成タブ→左側の「ソフトウェア」カラム→セキュリティプロファイル　から、SSHとESXiシェルを有効にします。ESXiシェルを有効にするのは、SSHのログインをRSA鍵だけではなくパスワード認証も許可するためのものなので、不要な場合は以下を飛ばしてください。

SSHのパスワードログイン有効化


　ESXiシェルを有効にしたら、ローカルコンソールからAlt+F1を押してESXiシェルを立ち上げ、以下を変更します。
~ # vi /etc/ssh/sshd_config
#PasswordAuthentication no
PasswordAuthentication yes


OFED for VMware ESXiインストール



　以下のDownloadタブから　「MLNX-OFED ESXi 5.X Driver」をダウンロードします。
http://www.mellanox.com/page/products_d ... re_drivers

　または、wgetでダウンロードします。
wget h t t p://www.mellanox.com/downloads/Drivers/MLNX-OFED-ESX-1.8.1.0.zip


　次に、 マニュアル に沿ってドライバを追加していきます。
esxcli software vib install -d MLNX-OFED-ESX-1.8.1.0.zip


　そして、VMホストを再起動します。再起動したあと、ESXiシェルからesxcliを実行してドライバがロードされているかを見ます。
~ # esxcli software vib list | grep Mellanox
net-ib-cm 1.8.1.0-1OEM.500.0.0.472560 Mellanox PartnerSupported 2002-02-26
net-ib-core 1.8.1.0-1OEM.500.0.0.472560 Mellanox PartnerSupported 2002-02-26
net-ib-ipoib 1.8.1.0-1OEM.500.0.0.472560 Mellanox PartnerSupported 2002-02-26
net-ib-mad 1.8.1.0-1OEM.500.0.0.472560 Mellanox PartnerSupported 2002-02-26
net-ib-sa 1.8.1.0-1OEM.500.0.0.472560 Mellanox PartnerSupported 2002-02-26
net-ib-umad 1.8.1.0-1OEM.500.0.0.472560 Mellanox PartnerSupported 2002-02-26
net-memtrack 2013.0131.1850-1OEM.500.0.0.472560 Mellanox PartnerSupported 2002-02-26
net-mlx4-core 1.8.1.0-1OEM.500.0.0.472560 Mellanox PartnerSupported 2002-02-26
net-mlx4-ib 1.8.1.0-1OEM.500.0.0.472560 Mellanox PartnerSupported 2002-02-26
scsi-ib-srp 1.8.1.0-1OEM.500.0.0.472560 Mellanox PartnerSupported 2002-02-26


　一番下に待ちわびたsrpドライバがいたら成功です。これで、ESXiシェルを抜けます。

SRP イニシエータの接続


SRP Targetの準備


　 前回 の通りtargetcliの初期設定は出来ている前提で、いつものように受け入れるセッションIDを追加するため、 SRPターゲット側でいつものように tailf /var/log/syslog します。tail(f| -F)したら、vSphereClientを起動し、構成→左側の「ハードウェア」カラム→ストレージアダプタ　から、ConnectX2がいると思うので、右クリックし「再スキャン」をします。




すると、いつも通りにターゲット側にメッセージが上がると思います。
May 19 21:27:21 SRP kernel: [ 425.419379] Session : kernel thread ib_srpt_compl (PID 3662) started
May 19 21:27:21 SRP kernel: [ 425.419436] Rejected login because no ACL has been configured yet for initiator 0x8119bbffff00d8c50002c903000e7855.
May 19 21:27:21 SRP kernel: [ 425.419493] Session 0x8119bbffff00d8c50002c903000e7855: kernel thread ib_srpt_compl (PID 3662) stopped


　この 0x8119bbffff00d8c50002c903000e7855 という長いセッションIDをコピーしたら、targetcliからACLを追加します。
/> cd ib_srpt/0xfe800000000000000019bbffff00d8c5/acls/
/ib_srpt/0xfe...ff00d8c5/acls> create 0x8119bbffff00d8c50002c903000e7855
Successfully created Node ACL for 0x8119bbffff00d8c50002c903000e7855
Created mapped LUN 0.


　これで、再度vSphereClientから再スキャンをかけると、接続されます。

May 19 21:29:21 SRP kernel: [ 545.118200] Received SRP_LOGIN_REQ with i_port_id 0x8119bbffff00d8c5:0x2c903000e7855, t_port_id 0x19bbffff00d8c4:0x19bbffff00d8c4 and it_iu_len 580 on port 1 (guid=0xfe80000000000000:0x19bbffff00d8c5)
May 19 21:29:21 SRP kernel: [ 545.119125] Session : kernel thread ib_srpt_compl (PID 3948) started


LUNのフォーマット


　接続されたら、ストレージから「ストレージの追加」で今追加したLUNをフォーマットします。いつも通りです。







　これで、ようやく念願のSRPが使えるようになりました。

パフォーマンス



RAM上のディスクパフォーマンス


　まず、いつも通りに20GBを割り当てたtmpfsを作りその上にFileIOな物を作ります。targetcliから /backstores/rd_mcp create name=srp_ramtest size=10Gとやることによりこんなことをしなくてもram上にファイルを作れることを知りましたが、一応今までと統一するためにtmpfsを利用します。ファイルを作成したら、通常通りOSを入れ、起動しました。利用したのはWindwos7 UltSP1、ハードウェア割り当てはCPUに2コア、メモリに2G、その他は特にウィザードからいじっていません。
　まずはCDMの結果です。


何故か実マシンで挿したときより早い…ホストのキャッシュが効いていそうな感じがします。
ディスクのIOもどこかで詰まっているようなことはありませんでした。桁が大きすぎるためか、何故かHDTuneのモニタリングが落ちます…。



しかし、HD Ttuneだと動きが若干違いました。同期と非同期の動きなのか、VMのキャッシュが効かないような読み方をするのか、何が原因だかはいまいち分かりませんでした。どっちが本当なんでしょうか。。



そして、HD Ttuneから書き込もうとしたのですが、RAMのサイズの関係でルートデバイスしか作れなかったので書き込みの実験は出来ませんでした。

ZFS上のディスクパフォーマンス


　次に、ZFSのディスクのテストです。上の実験中はZFSのモジュールをアンロードして20GBのRAMをファイルとして割り当てていましたが、今回はまずvmdkをコピーし、RAMのファイルを取り除き、ZFSのディレクトリ上に再びコピーして起動しました。構成は前回と同じく、ディスク6本のraidz構成です。ディスクへの書き込みは時間があるときに追記しようと思います。。




　CDMとHD Ttuneの差がかなりありますが、今回はディスクの動きが見れたので、CDMのベンチ時はZFSのキャッシュに載っているためほぼReadの時にディスク負荷はかからず、HD Ttuneの時には常にディスクに負荷がかかっている、と分かりました。ディスク直に読んだときとのパフォーマンスの差は、原因がVMFS の特性であったりHDDの特性であったりするので、やはりデータストアにSSDを使わないとこれ以上のパフォーマンスは難しそうです。SSDでのZFS時の動きやL2ARCの動きを見てみたいので、誰かそこそこなSSDを束で貸してください＞＜多分書き込み過多でぶっ壊しそうですが＞＜

　とにかく、「元のストレージが早ければそれだけSRPの速度はでる」と言うことが分かったのでよしとします。やはりパフォーマンスは金で買うしかなさそうですね…。]]> DebianにSCSTをいれてWindows7とLinuxからSRPで接続してみる http://xmms.jp/blog/index.php?entry=entry121210-201131

カーネルの入手


　本来であれば、自分でscstに対応したカーネルを作らないといけないのですが、すでにビルド済みの物が配布されているのでそれを使わせて頂きます。
/etc/apt/sources.listに以下を追加します。

vi /etc/apt/sources.list
deb http://www.motschke.de/debian/ stable main
---略---


追記が終わったらレポジトリのアップデートをします

root@ibhack:~# apt-get update
Hit http://ftp.jp.debian.org testing InRelease
Hit http://ftp.jp.debian.org testing/main Sources/DiffIndex
Hit http://ftp.jp.debian.org testing/main amd64 Packages/DiffIndex
Hit http://ftp.jp.debian.org testing/main Translation-en/DiffIndex
Ign http://www.motschke.de stable InRelease
Ign http://www.motschke.de stable Release.gpg
Get:1 http://www.motschke.de stable Release [96 B]
Get:2 http://www.motschke.de stable/main amd64 Packages [5,935 B]
Ign http://www.motschke.de stable/main Translation-en_US
Ign http://www.motschke.de stable/main Translation-en
Fetched 6,031 B in 11s (536 B/s)
Reading package lists... Done


　または、ここから必要なものを取ってきてdpkg -iします。
http://www.motschke.de/debian/packages/stable/

kernel/linux-image-3.2.21-scst-2.2.x-amd64_1.1_amd64.deb
SCST/scst-modules-3.2.21-scst-2.2.x-amd64_3.2.21-scst-2.2.x-amd64-1.0_amd64.deb
SCST/iscsi-scst_2.2-1.1_amd64.deb

これらが必要です。

　これでapt-get install をすればいいのですが、scstを入れるとscst組み込みカーネルになるので、自分でカスタマイズしてカーネルを作っている人は注意です。まあそんなことをしてる人はわざわざこんなところ見ないと思いますが…。

root@ibhack:~# apt-get install iscsi-scst
---中略---
Setting up scst-modules-3.2.21-scst-2.2.x-amd64 (3.2.21-scst-2.2.x-amd64-1.0) ...


　すると、ごりごりとinitramfs等のアップデートが行われるので、再起動してscst組み込み済みカーネルになっているか確認します。

root@ibhack:~# uname -r
3.2.21-scst-2.2.x-amd64


SCSTの設定


　scst組み込み済みカーネルでマシンが無事に上がってきたら、カーネルに組み込まれたscstドライバをロードします。一応、ファイルがあるか確認します。
root@ibhack:~# modinfo scst_vdisk
filename: /lib/modules/3.2.21-scst-2.2.x-amd64/extra/dev_handlers/scst_vdisk.ko
version: 2.2.1-pre
description: SCSI disk (type 0) and CDROM (type 5) dev handler for SCST using files on file systems or block devices
license: GPL
author: Vladislav Bolkhovitin & Leonid Stoljar
srcversion: B0EEADC040B8E1E80F57A67
depends: scst,libcrc32c
vermagic: 3.2.21-scst-2.2.x-amd64 SMP mod_unload modversions
parm: num_threads:vdisk threads count (int)


ファイルがあることを確認したらドライバをロードします。
root@ibhack:~# modprobe scst
root@ibhack:~# modprobe scst_vdisk
root@ibhack:~# modprobe ib_srp
root@ibhack:~# modprobe ib_srpt


そうしたらscstadminと言うコマンドを実行するのですが、何故か自分の環境だとSCST.pmがないと言われ実行できませんでした。

root@ibhack:~# scstadmin
Can't locate SCST/SCST.pm in @INC (@INC contains: /etc/perl /usr/local/lib/perl/5.14.2 /usr/local/share/perl/5.14.2 /usr/lib/perl5 /usr/share/perl5 /usr/lib/perl/5.14 /usr/share/perl/5.14 /usr/local/lib/site_perl .) at /usr/sbin/scstadmin line 238.
BEGIN failed--compilation aborted at /usr/sbin/scstadmin line 238.


調べてみると、perlのバージョンが5.14なのに対してSCST.pmが入ってるのが5.10のディレクトリになっているのが原因でした。

root@ibhack:~# find /usr/ -name "*SCST*"
/usr/local/lib/perl/5.10.1/auto/SCST-SCST
/usr/local/share/man/man3/SCST::SCST.3pm.gz
/usr/local/share/perl/5.10.1/SCST
/usr/local/share/perl/5.10.1/SCST/SCST.pm


　今回はSCST以下があればいいので、ディレクトリにシンボルリンクを張るか、export PERL5LIBをしてライブラリパスを追加します。5.14でも5.10のライブラリは動きました。これでエラーメッセージが出なければOKです。多分。
root@ibhack:~# ln -s /usr/local/share/perl/5.10.1/SCST/ /usr/lib/perl/5.14/SCST
(または)#export PERL5LIB=/usr/local/share/perl/5.10.1/
root@ibhack:~# scstadmin

Collecting current configuration: done.

No valid operations specified.


SCSTadminの初期設定


　scstadminを使ってLUNを作っていくわけですが、慣れるまで少々分かりづらいです。今回は、まずramfsでメモリに10Gの領域を確保して、そこに10G分DDをして、fileioなイメージを作ります。
root@ibhack:~# mount -t ramfs -o size=10G ramfs /a
root@ibhack:~# dd if=/dev/zero of=/a/10G.img bs=1M count=10000


次に、SCSTのドライバにib_srptが登録されているか確認します。無ければ、modprobe ib_srptしてください。

root@ibhack:~# scstadmin -list_driver

Collecting current configuration: done.

Driver
-------
ib_srpt

All done.


次に、scst_vdiskがscstadmからみえているか確認します。無ければ、modprobe scst_vdiskしてください。

root@ibhack:~# scstadmin -list_handler

Collecting current configuration: done.

Handler
-------------
vdisk_fileio
vdisk_blockio
vdisk_nullio
vcdrom

All done.


ramと言う名前のデバイスを作りfileioでアクセスするようにしています。

root@ibhack:/ib# scstadmin -open_dev ram -handler vdisk_fileio -attributes filename=/a/10G.img

Collecting current configuration: done.


-> Making requested changes.
-> Opening device 'ram' using handler 'vdisk_fileio': done.
-> Done.

All done.


デバイスが追加されたか確認します。

root@ibhack:/ib# scstadmin -list_devi

Collecting current configuration: done.

Handler Device
---------------------
vdisk_nullio -
vdisk_fileio ram
vdisk_blockio -
vcdrom -

All done.


現在あるターゲットポータルを確認します。

root@ibhack:/ib# scstadmin -list_targ

Collecting current configuration: done.

Driver Target
------------------------
ib_srpt ib_srpt_target_0

All done.


このターゲットにibhack_srpという名前のグループを作ります。

root@ibhack:/ib# scstadmin -add_group ibhack_srp -driver ib_srpt -target ib_srpt_target_0

Collecting current configuration: done.


-> Making requested changes.
-> Adding new group 'ibhack_srp' to driver/target 'ib_srpt/ib_srpt_target_0': done.
-> Done.

All done.


Lun0にib_srpt_target_0ポータルのibhack_srpグループのramと言うデバイスを関連づけ、readonly=0でマウントします。

root@ibhack:/ib# scstadmin -add_lun 0 -driver ib_srpt -target ib_srpt_target_0 -group ibhack_srp -device ram -attributes read_only=0

Collecting current configuration: done.


-> Making requested changes.
-> Adding device 'ram' at LUN 0 to driver/target/group 'ib_srpt/ib_srpt_target_0/ibhack_srp': done.
-> Driver/target is not a fibre channel target, ignoring.
-> Done.

All done.


こうすると、/var/log/systemまたはdmesgにデバイスをアタッチしたよ！と言うメッセージが来ます。(貼り付けたメッセージはdmesg)

[17715.372975] dev_vdisk: Registering virtual vdisk_fileio device ram
[17715.372999] dev_vdisk: Attached SCSI target virtual disk ram (file="/a/10G.img", fs=10000MB, bs=512, nblocks=20480000, cyln=10000)
[17715.373053] scst: Attached to virtual device ram (id 2)
[18180.879669] scst: Added device ram to group ibhack_srp (LUN 0, rd_only 0)



Fileioに使うパスなどを間違えていないことを確認したら、ターゲットを有効化します。

root@ibhack:/ib# scstadmin -enable_target ib_srpt_target_0 -driver ib_srpt

Collecting current configuration: done.


-> Making requested changes.
-> Enabling driver/target 'ib_srpt/ib_srpt_target_0': done.
-> Done.

All done.

ここで、tailf (or tail -F)/var/log/systemをした状態でターミナルを開いておき、一旦target側を離れます。

Windows SRP Initiatorの設定


　Initiator側として、まずWindows7から接続してみます。OFED For Windowsをここからダウンロードし、インストールするときにSRPパッケージを入れます。




　すると、デバイスマネージャにInfiniband SRP miniportというのが追加されます。この段階では！マークがついていますが、これはターゲットにログインできない為についてるものです。！がつく場合は、scstadmin -enable_targetをしていないか、SMが起動していないか、ケーブルが繋がっていないと思われます。原因を特定した後、SRP miniportを無効化して有効にすると再接続しに行きます。




　SRP miniportを入れたら、SCSTに戻ります。

SCSTに接続するイニシエーターの追加



　SCSTに戻ったら、Miniportドライバを有効にしたタイミングでtailfしているターミナルに何かが流れると思います。よく分からなかったら、Windows側に戻りSRP　Miniportドライバを無効にしたり有効にしたりしてみてください。すると、以下のようになります。
Dec 10 14:57:45 ibhack kernel: [28606.571026] ib_srpt: Received SRP_LOGIN_REQ with i_port_id 0x5ad00000bf4d4:0x5ad00000bf3d0, t_port_id 0x5ad00000bf4d4:0x5ad00000bf4d4 and it_iu_len 4148 on port 1 (guid=0xfe80000000000000:0x5ad00000bf4d5)
Dec 10 14:57:45 ibhack kernel: [28606.571898] scst: Using security group "ib_srpt_target_0" for initiator "0x0005ad00000bf4d40005ad00000bf3d0" (target ib_srpt_target_0)
Dec 10 14:57:45 ibhack kernel: [28606.572222] ib_srpt: Received IB MRA event


この、真ん中にある
initiator "0x0005ad00000bf4d40005ad00000bf3d0”


と言うのが、接続しようとしているイニシエーターIDです。これをコピーします。

　接続するイニシエーターIDが分かったら、add_initでそれをscstに追加します。
root@ibhack:/ib# scstadmin -add_init 0x0005ad00000bf4d40005ad00000bf3d0 -driver ib_srpt -target ib_srpt_targe
t_0 -group ibhack_srp

Collecting current configuration: done.


-> Making requested changes.
-> Adding new initiator '0x0005ad00000bf4d40005ad00000bf3d0' to driver/target/group 'ib_srpt/ib_srpt_target_0/ibhack_srp': done.
-> Driver/target is not a fibre channel target, ignoring.
-> Done.

All done.


正しいInitIDが追加できると、dmesg(or /var/log/system)にこのように出ます。

[28683.068321] scst: Added name 0x0005ad00000bf4d40005ad00000bf3d0 to group ibhack_srp
[28683.068505] scst: Processing thread ram0_0 (PID 3790) started
[28683.068715] scst: Processing thread ram0_1 (PID 3791) started
[28683.068895] scst: Processing thread ram0_2 (PID 3792) started
[28683.069015] scst: Processing thread ram0_3 (PID 3793) started
[28683.069141] scst: Processing thread ram0_4 (PID 3794) started
[28683.069266] scst: Processing thread ram0_5 (PID 3795) started
[28683.069371] scst: Processing thread ram0_6 (PID 3796) started
[28683.069480] scst: Processing thread ram0_7 (PID 3797) started
root@ibhack:/ib#

　
　正しくスレッドが走ったら、再びWindows側に戻ります。

Windowsでディスクの再スキャン


　マシンそのものを再起動しても良いですが、コンピューターの管理からディスクの管理→ディスクの再スキャン　をすることにより、追加したディスクがみえるようになるはずです。あとはいつも通りのディスクとして扱えるので、煮るなり焼くなりご自由に。




パフォーマンスについて


　とりあえず主要ベンチを走らせてみたところ、DDRなInfinihost IIIという古い構成であっても、10Gbit近く出ました。iSCSIでは4-5Gb/sでネックになっていたのに比べ、2倍近く速くなりました。CPU使用率はシーケンシャル読みをしたときの負荷です。




ちなみに、ib_write_bwをscstサーバ側で立ち上げ、Windows側から接続したときのパフォーマンスは最大1500MB/s程度出ていたので、あと2Gb/s程度の余地はありそうです。
------------------------------------------------------------------
RDMA_Write BW Test
Number of qp's running 1
Connection type : RC
Each Qp will post up to 100 messages each time
Inline data is used up to 400 bytes message
local address: LID 0x01, QPN 0x100407, PSN 0x777cc6 RKey 0xe4002a00 VAddr 0x007fe0519e7000
remote address: LID 0x02, QPN 0xd0407, PSN 0xa9d4db, RKey 0x4e002700 VAddr 0x007fcda6d13000
Mtu : 2048
------------------------------------------------------------------
#bytes #iterations BW peak[MB/sec] BW average[MB/sec]
2 5000 2.21 2.21
4 5000 4.51 4.50
8 5000 9.01 8.98
16 5000 17.62 17.58
32 5000 35.05 35.03
64 5000 69.48 68.30
128 5000 133.97 133.95
256 5000 206.10 205.86
512 5000 576.27 573.69
1024 5000 1035.02 1034.46
2048 5000 1207.47 1206.42
4096 5000 1336.65 1336.36
8192 5000 1407.50 1407.48
16384 5000 1453.84 1453.76
32768 5000 1482.45 1482.44
65536 5000 1495.00 1494.99
131072 5000 1501.55 1501.51　　　//MAX値
262144 5000 1471.14 1471.13
524288 5000 1468.67 1468.55
1048576 5000 1469.21 1468.62
2097152 5000 1468.69 1468.66
4194304 5000 1471.43 1471.43
8388608 5000 1471.54 1471.53
------------------------------------------------------------------


LinuxでSRPに接続する


　そろそろ文字の羅列に(主に自分が)疲れてきたところですが、まだ続きます。2回に分けるべきだったかもしれませんがそれほどの内容でもないのでまとめてしまいます。

　LinuxでSRPイニシエーターを使うには、OFEDスタックを入れるか、srptoolsをDLしてきます。イニシエーター側は特にカーネルを作り直す必要はありません。
http://www.openfabrics.org/downloads/srptools/
　多分、Debianならいつも通りconfigure --prefix=/usr/ --mandir=/usr/share/man/manでcheckinstall -Dで通ると思います。よく覚えてないです。

　どうにかしてsrptoolsが入ったら、 srp_daemonを実行します。なお、srp_daemonを実行するにはib_umadドライバがロードされている必要があります。また、SRPを使うのでib_srpもロードする必要があります。
　一度Windowsから接続できている状態であれば、srp_daemon -a -oしたときに何かしらの文字が帰ってくると思います。srp_daemonの詳しい引数はここやman srp_daemonでみれますが、-a -oは全てのターゲットを一回だけスキャンする、と言う引数です。
root@ib0:~# modprobe ib_umad
root@ib0:~# modprobe ib_srp
root@ib0:~# srp_daemon -a -o
10/11/12 19:39:51 : Class Port Info set returned status 0x000c
10/11/12 19:39:51 : Warning: set of ClassPortInfo failed
IO Unit Info:
port LID: 0001
port GID: fe800000000000000005ad00000bf4d5
change ID: 0001
max controllers: 0x10

controller[ 1]
GUID: 0005ad00000bf4d4
vendor ID: 000005
device ID: 006274
IO class : 0100
ID: SCST SRP target
service entries: 1
service[ 0]: 0005ad00000bf4d4 / SRP.T10:0005ad00000bf4d4


　何も帰ってこない場合はターゲットが動いていないので、ターゲット側でtailf /var/log/systemして、***WARNING***等の文字列をみて、それっぽいエラーを見つけてください。だんだん適当になってきてるのは多分気のせいです。
　上のような文字が帰ってきたら、/sys/class/infiniband_srp/srp-<device>-<port>/add_target file に書き込みます。今回はmthca0のポート1がイニシエーターに使うポートなので、そこにリダイレクトします。

root@ib0:~# srp_daemon -c -o > /sys/class/infiniband_srp/srp-mthca0-1/add_target
10/11/12 19:39:24 : Class Port Info set returned status 0x000c
10/11/12 19:39:24 : Warning: set of ClassPortInfo failed

　このコマンドを発行したタイミングで、イニシエーターがSCSTターゲットに接続するので、Windowsの時と同じ要領でdmesgかtailf /var/log/messageしてイニシエーターIDを調べます。
Dec 10 19:39:27 ibhack kernel: [ 4609.618429] ib_srpt: Received SRP_LOGIN_REQ with i_port_id 0x0:0x5ad00000bf3d0, t_port_id 0x5ad00000bf4d4:0x5ad00000bf4d4 and it_iu_len 260 on port 1 (guid=0xfe80000000000000:0x5ad00000bf4d5)
Dec 10 19:39:27 ibhack kernel: [ 4609.619471] scst: Using security group "ib_srpt_target_0" for initiator これ→"0x00000000000000000005ad00000bf3d0" (target ib_srpt_target_0)


イニシエーターIDが判明したら、ターゲット側でadd_initで追加します。
root@ibhack:~# scstadmin -add_init 0x00000000000000000005ad00000bf3d0 -driver ib_srpt -target ib_srpt_target_0 -group ibhack_srp

Collecting current configuration: done.


-> Making requested changes.
-> Adding new initiator '0x00000000000000000005ad00000bf3d0' to driver/target/group 'ib_srpt/ib_srpt_target_0/ibhack_srp': done.
-> Driver/target is not a fibre channel target, ignoring.
-> Done.

All done.


Initiatorを追加したら、一度ib_srpをアンロードし、もう一度ロードし、またSRP接続します。
root@ib0:~# rmmod ib_srp
root@ib0:~# modprobe ib_srp
root@ib0:~# srp_daemon -c -o > /sys/class/infiniband_srp/srp-mthca0-1/add_target


イニシエーター側でdmesg等をして接続できたか確認します。

Dec 10 20:05:10 ib0 kernel: [ 3054.245465] scsi9 : SRP.T10:0005AD00000BF4D4
Dec 10 20:05:10 ib0 kernel: [ 3054.245936] scsi 9:0:0:0: Direct-Access SCST_BIO ram 220 PQ: 0 ANSI: 5
Dec 10 20:05:10 ib0 kernel: [ 3054.246132] sd 9:0:0:0: Attached scsi generic sg1 type 0
Dec 10 20:05:10 ib0 kernel: [ 3054.246262] sd 9:0:0:0: [sdb] 20971520 512-byte logical blocks: (10.7 GB/10.0 GiB)
Dec 10 20:05:10 ib0 kernel: [ 3054.246267] sd 9:0:0:0: [sdb] 4096-byte physical blocks
Dec 10 20:05:10 ib0 kernel: [ 3054.246783] sd 9:0:0:0: [sdb] Write Protect is off
Dec 10 20:05:10 ib0 kernel: [ 3054.247088] sd 9:0:0:0: [sdb] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
Dec 10 20:05:10 ib0 kernel: [ 3054.248428] sdb: unknown partition table
Dec 10 20:05:10 ib0 kernel: [ 3054.249145] sd 9:0:0:0: [sdb] Attached SCSI disk


これで無事にブロックデバイスとして見れました。簡単なベンチです。
シーケンシャル読み込み
root@ib0:~# dd if=/dev/sdb of=/dev/null bs=1M
10240+0 records in
10240+0 records out
10737418240 bytes (11 GB) copied, 9.41218 s, 1.1 GB/s


シーケンシャル書き
root@ib0:~# dd of=/dev/sdb if=/dev/zero bs=1M
dd: writing `/dev/sdb': No space left on device
10241+0 records in
10240+0 records out
10737418240 bytes (11 GB) copied, 9.24043 s, 1.2 GB/s


　大体Windows7と同じ値が出ました。bonnie+＋とかFIOとかしんどいので今度します。

SCSTの設定の保存とサービス登録


　驚いたことにまだ続きます。今回はramfsで構築してしまったので再起動したらどのみち消えてしまうのですが、その設定で問題なければ設定を保存します。保存せず再起動するとtargetの設定は消えます。(ネットワーク機器を設定したあとwrite memoryを忘れてやってしまうあれのように

scstadmin -write_config /etc/scst.conf


また、デフォルトではscstサービスは起動時に立ち上がらないので、起動時にscstが立ち上がるようにします。(もしかしたら最初から立ち上がってたかも？要再検証

update-rc.d scst defaults



次回起動時にscstのドライバにib_srptも使うように/etc/default/scstを編集します。

SCST_TARGET_MODULES="scst_local iscsi_scst ib_srpt"

ここのコメントアウトを外し、有効化します。

Debian/squeeze以降での/dev/ramについて


http://d.hatena.ne.jp/n314/20100324/1269429930
こちらに書いてあるように、brdモジュールをロードすると/dev/ramが作れます。/etc/modulesに
brd rd_nr=1 rd_size=10485760

と書いて、
scstadmin -open_dev ram -handler vdisk_blockio -attributes filename=/dev/ram0

とscstadminをしておけば、再起動の度にramfsを作ってddして…としなくてすみます。毎度メモリを10G持っていかれますが。まあ、困ったときにはrmmod brdすればデータ丸ごと破棄してメモリが解放されます。

LIOについて


今回、SCSTの対比としてLIOもやってみようかと思ったのですが、対応ハードウェアがConnect X2以降と書いてあり、対応ハードウェアを持っていない為試していません。
following Mellanox InfiniBand HCAs are supported:

Mellanox ConnectX-2 VPI PCIe Gen2 HCAs (x8 lanes), single/dual-port QDR 40 Gb/s
Mellanox ConnectX-3 VPI PCIe Gen3 HCAs (x8 lanes), single/dual-port FDR 56 Gb/s
Mellanox ConnectX-IB PCIe Gen3 HCAs (x16 lanes), single/dual-port FDR 56 Gb/s

The InfiniBand/SRP fabric module (srpt.ko, Linux kernel driver database) for the Unified Target was released with Linux kernel 3.3 on March 18, 2012.[1]


http://www.linux-iscsi.org/wiki/SRP#Hardware_support

個人用メモ


modprobe brd rd_nr=1 rd_size=10485760
modprobe ib_srpt
modprobe scst
modprobe scst_vdisk
scstadmin -open_dev ram -handler vdisk_blockio -attributes filename=/dev/ram0
scstadmin -add_group ibhack_srp -driver ib_srpt -target ib_srpt_target_0
scstadmin -add_lun 0 -driver ib_srpt -target ib_srpt_target_0 -group ibhack_srp -device ram -attributes read_only=0
scstadmin -enable_target ib_srpt_target_0 -driver ib_srpt
scstadmin -add_init　(InitiatorID) -driver ib_srpt -target ib_srpt_target_0 -group ibhack_srp
scstadmin -write_config /etc/scst.conf


所感


　やはり、RDMAは速いです。最初は何をすればいいか全く分かりませんでしたが、何をすれば良いのかが分かれば大して難しくないです。しかし、scstを入れるのが若干めんどくさいというかmake&&make installで済んでくれないかなと思います。
　何だかんだでまとめるのに1日かかってしまいました…文の推敲は後日します。

参考


素晴らしいHowto（というか、ほぼここの和訳に近いという
http://davidhunt.ie/wp/?p=2291]]> 【HW】DDR InfinibandHCAにおけるIPoIBのパフォーマンス http://xmms.jp/blog/index.php?entry=entry121202-085945 前回にIPoIBが通るようになったので色々テストしてみました。機材は前回のままです。

IP
ibhack 10.1.1.1/24
ib1 10.1.1.2/24

iscsitarget+open-iscsiによるパフォーマンス


　まあ、もう試した方が居るので今更ではあるのですが一応試してみました。ものすごく参考になるので必読です。自分も動かねえなぁと言うときに参考にさせて頂きました。
http://www.slideshare.net/tyamadajp/inf ... an#btnNext

ターゲットの用意


　まず、ramfsでディレクトリを作ります。
root@ibhack:~#mkdir /a
root@ibhack:~#mount -t ramfs -o size=10G ramfs /a


　次に、iscsitargetを入れます。
root@ibhack:~#apt-get install iscsitarget iscsitarget-dkms


インストールが終わったら/etc/iet/iet.confを編集します
root@ibhack:~# vi /etc/iet/ietd.conf

Target test:test
Lun 0 Path=/a/10G.img,Type=fileio,ScsiId=xyz,ScsiSN=xyz


最後に、/etc/default/iscsitargetの1行目を編集し、サービスを立ち上げます。
root@ibhack:~# vi /etc/default/iscsitarget

ISCSITARGET_ENABLE=true

root@ibhack:~/ib# service iscsitarget start
[ ok ] Starting iSCSI enterprise target service:.
. ok

イニシエーターの用意


　ターゲットが用意できたら、それに接続するイニシエーターの設定をします。
root@ib1:~# apt-get install open-iscsi
---略---
root@ib1:~# iscsi_discovery 10.1.1.1
iscsiadm: No active sessions.
Set target test:test to automatic login over tcp to portal 10.1.1.1:3260
Logging out of session [sid: 1, target: test:test, portal: 10.1.1.1,3260]
Logout of [sid: 1, target: test:test, portal: 10.1.1.1,3260] successful.
Set target test:test to automatic login over tcp to portal 192.168.1.201:3260//←管理用IP
Logging out of session [sid: 2, target: test:test, portal: 192.168.1.201,3260]
Logout of [sid: 2, target: test:test, portal: 192.168.1.201,3260] successful.
discovered 2 targets at 10.1.1.1

root@ib1:~# iscsiadm -m node -l -p 10.1.1.1
Logging in to [iface: default, target: test:test, portal: 10.1.1.1,3260] (multiple)
Login to [iface: default, target: test:test, portal: 10.1.1.1,3260] successful.
root@ib1:~# iscsiadm -m node -l -p 10.1.1.1 -T test:test

　ターゲットが適当な設定なので、IBのインターフェース以外に管理用インターフェースでもリッスンしていますが、今は気にしないことにしましょう。

ddでのテスト


　みんな大好きddでのシーケンシャルアクセステストです。

　読み込み
root@ib1:~# dd if=/dev/sdb of=/dev/null bs=1M
10000+0 records in
10000+0 records out
10485760000 bytes (10 GB) copied, 30.9927 s, 338 MB/s]


書き込み
root@ib1:~# dd of=/dev/sdb if=/dev/zero bs=1M count=10000
10000+0 records in
10000+0 records out
10485760000 bytes (10 GB) copied, 23.3797 s, 448 MB/s


　やはり先人のテストの結果の通り、4Gb/sで頭打ちになりました。ConnectModeにしてMTUをあげても変わりませんでした。

Windowsでのパフォーマンス


　まず、ここからOFED For Windowsを入れ、Connected modeを有効にします。




　そして、MS iSCSI initiatorからLinux iscsiTargetに接続をします。そしてNTFSでフォーマットをして、それからCrystalDiskで計測しました。


　同じ条件でも、Open-iscsiよりは良い結果が出ました。open-iscsiイニシエータの性能があまりよくない？

　もう一つの試験として、試しに両方ともWindows7に切り替えIm DiskでRAMFSを作り、そこを共有フォルダとしてCIFSのテストもしてみたのですが、何気にConnected modeを有効にしただけでそこそこな速度が出ました。window->Linux Samba3serverもやってみたのですがここまでの値は出ませんでした。適当にやってしまったのでログが残っていないのですが、大体4-500MB/sでした。




まとめ


　IBをIBoIPで使うのは、元のIBの帯域を発揮することは出来ませんが、それでもDDRクラスであれば1GbEtherを何本も束ねるよりは速いことが多かったです。場合によっては10Gbに迫る勢いです。
　中々いい感じなのですが、現在の問題点としては

・スイッチが高い
・ケーブルが高い
・HCAもそこまで大量にあるわけではない
・かなりカーネルでドライバを持っているので殆どそのまま使える物の、Plug and playとまでは行かない
・Linuxで使う場合、RH系以外は結構めんどくさい
・古いHCAだとESXiやWin2012svr等でドライバを切られてしまって使えない

　といったところを感じました。で、IBどうよ？と言われたら、「とりあえず2本くらいかって様子見てみると良いよ」と答えるでしょう。個人的には、これでSAN等のファブリックを固めるのもアリだと思います。

　次回はSRPなどについてまとめたいと思います。]]> 【NW】DebianでInfiniband　前編(IBoIPが通るまで) http://xmms.jp/blog/index.php?entry=entry121129-050826 今回導入したのは、ヤフオクで安かったDDR（20Gb)のシングルポートのCisco　SFS-HCA-320-A1で、InfinihostIII　Lxを搭載したカードです。

lshwの結果です。
description: InfiniBand
product: MT25204 [InfiniHost III Lx HCA]
vendor: Mellanox Technologies
physical id: 0
bus info: pci@0000:02:00.0
version: 20
width: 64 bits
clock: 33MHz
capabilities: pm vpd msi msix pciexpress bus_master cap_list
configuration: driver=ib_mthca latency=0
resources: irq:16 memory:f3e00000-f3efffff memory:f2800000-f2ffffff

　以前ハンズオンで見たときに、みんな大好きIntel Pro100(/S)だと思ってひょいと持ち上げたらIB HCAだったことがありましたが…改めてみてみるとやっぱり似ています。多分。




　このHCAで、とりあえずDebian/wheezyでIPが通るようになるまで色々してみました。


PC構成






ibhack(OpenSMホスト)
　MB:Asus RampageGenieII
　CPU:Xeon E5620@3GHz
　Mem:6 x 4GB@1333MHz
　HCA@一番上のPCI-ex 2.0 x16レーン





ib1(クライアント)
　MB:DFI LANPARTY UT X58 T3eH8
　CPU:Xeon Corei7 920@3.2GHz
　Mem:6 x 2GB@1333MHz
　HCA@一番上のPCI-ex 2.0 x16レーン


これらのPCにそれぞれDebian/Squeezeを入れ、/etc/apt/souces.listをsqueezeからtestingに変え、dist-upgradeしました。

root@ibhack:~/ib# uname -a
Linux ibhack 3.2.0-4-amd64 #1 SMP Debian 3.2.32-1 x86_64 GNU/Linux


ただ動かすだけならapt-getで入る


必要なものは既にレポジトリにあるので、apt-get install opensmで入ります。が、パッケージのバージョンが2009年付けと少し古いので自分でコンパイルしました。

コンパイル済みdebパッケージ



　長いので作るのが面倒な人向けに先においておきます。dpkg -i *.debすれば多分入ると思います。

oepnsm-3.5-for-debian/Wheezy-2012-11-29-testing.tgz

内容
drwxr-xr-x 3 root root 4096 Nov 29 01:14 etc/
-rw-r--r-- 1 root root 8509032 Nov 29 01:10 ibutils_1.5-1_amd64.deb
-rw-r--r-- 1 root root 598370 Nov 29 01:10 infiniband-diags_1.6.1-1_amd64.deb
-rw-r--r-- 1 root root 35912 Nov 29 01:10 libibcommon_1.2.0-1_amd64.deb
-rw-r--r-- 1 root root 272960 Nov 29 01:10 libibmad_1.3.9-1_amd64.deb
-rw-r--r-- 1 root root 85520 Nov 29 01:10 libibumad_1.3.8-1_amd64.deb
-rw-r--r-- 1 root root 1136658 Nov 29 01:10 opensm_3.3.15-1_amd64.deb


OFEDスタックを動かしたかった


　既知の事実ですがOFEDの中に含まれるinstall.plは動かないので、SRPMディレクトリの中からrpm2cpioで分解してソースを取り出してmakeしていたりしたのですが、そんなことをしなくてもここに最低限必要な物はありました。ここからいろいろ持ってきます。
http://www.openfabrics.org/downloads/management/

パッケージのダウンロード


ここにある
libibumad
libibmad
libibcommon
opensm
infiniband-diags
をまずDLします。
wget http://www.openfabrics.org/downloads/ma ... 3.8.tar.gz http://www.openfabrics.org/downloads/ma ... 3.9.tar.gz http://www.openfabrics.org/downloads/ma ... 2.0.tar.gz http://www.openfabrics.org/downloads/ma ... 6.1.tar.gz http://www.openfabrics.org/downloads/ma ... .15.tar.gz


Make&&checkinstall -D


　まず、ビルドに必要になる物を入れます。
apt-get install checkinstall flex btyacc build-essential


　手順としては

libibumad→libibmad→libibcommon→infiniband-diags→opensm→infiniband-diags

　の順でmakeしていくだけです。ただし、./configure &&make&&make installすると、必要なライブラリが/usr/local/libにインストールされるのですが、
DebianとRH系ではusr/binとusr/libの位置が違うので、./configure --prefix=/usrしてインストールするパッケージの位置を変えないと色々困ります。debianでは/usr/local/libにパスが通っていないので、そのまま実行しても

root@ibhack:~/ib/opensm-3.3.15# opensm
opensm: error while loading shared libraries: libosmvendor.so.3: cannot open shared object file: No such file or directory


　と言われます。そのまま
./configure&&make&&make install

でインストールして
export 'LD_LIBRARY_PATH=/usr/local/lib'

とか、makeするまえに
ln -s /usr/ /usr/local

　とかしても動きますが、おすすめはしません。また、パッケージ管理が出来なくなるのでcheckinstall -Dでdebパッケージを作るべきかと思います…。

Configure例：
root@ibhack:~/ib/libibumad-1.3.8# ./configure --prefix=/usr
checking for a BSD-compatible install... /usr/bin/install -c
checking whether build environment is sane... yes
ｰｰｰ中略ｰｰｰ
config.status: executing libtool commands

root@ibhack:~/ib/libibumad-1.3.8# make
make all-recursive
make[1]: Entering directory `/root/ib/libibumad-1.3.8'
ｰｰｰ中略ｰｰｰ
make[1]: Leaving directory `/root/ib/libibumad-1.3.8'

root@ibhack:~/ib/libibumad-1.3.8# checkinstall -D

checkinstall 1.6.2, Copyright 2009 Felipe Eduardo Sanchez Diaz Duran
This software is released under the GNU GPL.



*****************************************
**** Debian package creation selected ***
*****************************************

This package will be built according to these values:

0 - Maintainer: [ root@ibhack ]
1 - Summary: [ Package created with checkinstall 1.6.2 ]
2 - Name: [ libibumad ]
3 - Version: [ 1.3.8 ]
4 - Release: [ 1 ]
5 - License: [ GPL ]
6 - Group: [ checkinstall ]
7 - Architecture: [ amd64 ]
8 - Source location: [ libibumad-1.3.8 ]
9 - Alternate source location: [ ]
10 - Requires: [ ]
11 - Provides: [ libibumad ]
12 - Conflicts: [ ]
13 - Replaces: [ ]

Enter a number to change any of them or press ENTER to continue:[空エンター]

Installing with make install...

========================= Installation results ===========================
Making install in .
make[1]: Entering directory `/root/ib/libibumad-1.3.8'
make[2]: Entering directory `/root/ib/libibumad-1.3.8'
test -z "/usr/lib" || /bin/mkdir -p "/usr/lib"
/bin/bash ./libtool --mode=install /usr/bin/install -c libibumad.la '/usr/lib'
libtool: install: /usr/bin/install -c .libs/libibumad.so.3.0.3 /usr/lib/libibumad.so.3.0.3
libtool: install: (cd /usr/lib && { ln -s -f libibumad.so.3.0.3 libibumad.so.3 || { rm -f libibumad.so.3 && ln -s libibumad.so.3.0.3 libibumad.so.3; }; })
libtool: install: (cd /usr/lib && { ln -s -f libibumad.so.3.0.3 libibumad.so || { rm -f libibumad.so && ln -s libibumad.so.3.0.3 libibumad.so; }; })
libtool: install: /usr/bin/install -c .libs/libibumad.lai /usr/lib/libibumad.la
libtool: install: /usr/bin/install -c .libs/libibumad.a /usr/lib/libibumad.a
libtool: install: chmod 644 /usr/lib/libibumad.a
libtool: install: ranlib /usr/lib/libibumad.a
libtool: finish: PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/sbin" ldconfig -n /usr/lib
----------------------------------------------------------------------
Libraries have been installed in:
/usr/lib

If you ever happen to want to link against installed libraries
in a given directory, LIBDIR, you must either use libtool, and
specify the full pathname of the library, or use the `-LLIBDIR'
flag during linking and do at least one of the following:
- add LIBDIR to the `LD_LIBRARY_PATH' environment variable
during execution
- add LIBDIR to the `LD_RUN_PATH' environment variable
during linking
- use the `-Wl,-rpath -Wl,LIBDIR' linker flag
- have your system administrator add LIBDIR to `/etc/ld.so.conf'

See any operating system documentation about shared libraries for
more information, such as the ld(1) and ld.so(8) manual pages.
----------------------------------------------------------------------

---中略---

Deleting temp dir...OK


**********************************************************************

Done. The new package has been installed and saved to

/root/ib/libibumad-1.3.8/libibumad_1.3.8-1_amd64.deb

You can remove it from your system anytime using:

dpkg -r libibumad

**********************************************************************
---


これをそれぞれのディレクトリで繰り返すだけです。

ibutilsのビルドのみ若干面倒



ibutilsをビルドするときにそのままやっても、
root@ibhack:~/ib/ibutils-1.5# ./configure --prefix=/usr
---中略---
checking Tcl configuration on what Tcl needs to compile... ./configure: line 20003: /usr/share/tcltk/tcl8.5/tclConfig.sh: No such file or directory
configure: error: /bin/bash './configure' failed for ibis

と言われ失敗しました。これがどこにあるか探してみると
root@ibhack:~/ib/ibutils-1.5# find /usr/ -name "tcl*"
/usr/lib/tcl8.5
/usr/lib/tcl8.5/tclConfig.sh

と言われたので、
root@ibhack:~/ib/ibutils-1.5# ln -s /usr/lib/tcl8.5/tclConfig.sh /usr/share/tcltk/tcl8.5/

して追加してしまいました。なんか違う気がしますが。また、manを入れるdirも違うので
./configure --prefix=/usr --mandir=/usr/share/man/

としないといけませんでした。

init.dの作成


はめんどくさかったのでapt-get installで入るopensmの物を持ってきました(これはひどい
とりあえず動きます。

SMを起動する


　まずデバイスドライバをロードします。古いHCAでは既にドライバを持っているので、起動時にドライバがロードされていると思います。多分ib_coreドライバなどもロードされていると思いますが、なければロードします。そうしたら、ib_umadをロードします
modprobe ib_umad

その後にopensmを実行するとこうなります。

-------------------------------------------------
OpenSM 3.3.15
Command Line Arguments:
Log File: /var/log/opensm.log
-------------------------------------------------
OpenSM 3.3.15

Entering DISCOVERING state

Using default GUID 0x5ad00000bf4d5
Entering MASTER state

SUBNET UP

ライブラリなどに問題が無く無事起動したら、apt-get installでレポジトリから入るopensmのスクリプトを使って起動します。(パッケージのetc/init.d/opensm)

root@ibhack:~/ib# /etc/init.d/opensm start
Starting opensm on 0x0005ad00000bf4d5:

そして、ibstatで状態を確認します。

root@ibhack:~/ib# ibstat
CA 'mthca0'
CA type: MT25204
Number of ports: 1
Firmware version: 1.1.0
Hardware version: a0
Node GUID: 0x0005ad00000bf4d4
System image GUID: 0x0005ad00000bf4d7
Port 1:
State: Active
Physical state: LinkUp
Rate: 20
Base lid: 1
LMC: 0
SM lid: 1
Capability mask: 0x02510a6a
Port GUID: 0x0005ad00000bf4d5
Link layer: InfiniBand

activeになっているのを確認したら、ib_ipoibをロードします。これでようやくifconfig -aするとib0が出てきます。
root@ibhack:~/ib# ifconfig ib0
ib0 Link encap:UNSPEC HWaddr 80-00-04-04-FE-80-00-00-00-00-00-00-00-00-00-00
BROADCAST MULTICAST MTU:2044 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:256
RX bytes:0 (0.0 B) TX bytes:0 (0.0 B)

IPoIBパフォーマンステスト


　素の状態だとibはmtuが2024ですが、connectモードにすることにより65520まで拡張できます。これによりだいぶパフォーマンスが上がります。

root@ibhack:~/ib# echo connected >/sys/class/net/ib0/mode
root@ib0:~/deb# ifconfig ib0 mtu 65520


　mtuが元の状態だと

root@ibhack:~/ib# iperf -c 10.1.1.1 -i 1
------------------------------------------------------------
Client connecting to 10.1.1.1, TCP port 5001
TCP window size: 28.8 KByte (default)
------------------------------------------------------------
[ 3] local 10.1.1.2 port 42139 connected with 10.1.1.1 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0- 1.0 sec 782 MBytes 6.56 Gbits/sec
[ 3] 1.0- 2.0 sec 789 MBytes 6.62 Gbits/sec
[ 3] 2.0- 3.0 sec 789 MBytes 6.62 Gbits/sec
[ 3] 3.0- 4.0 sec 790 MBytes 6.63 Gbits/sec
[ 3] 4.0- 5.0 sec 851 MBytes 7.14 Gbits/sec
[ 3] 5.0- 6.0 sec 813 MBytes 6.82 Gbits/sec
[ 3] 6.0- 7.0 sec 788 MBytes 6.61 Gbits/sec
[ 3] 7.0- 8.0 sec 801 MBytes 6.72 Gbits/sec
[ 3] 8.0- 9.0 sec 851 MBytes 7.14 Gbits/sec
[ 3] 9.0-10.0 sec 851 MBytes 7.14 Gbits/sec
[ 3] 0.0-10.0 sec 7.91 GBytes 6.80 Gbits/sec
root@ibhack:~/ib#


　ですが、connect modeにしてmtuを65520にした状態では
root@ibhack:~/ib# iperf -c 10.1.1.1 -i 1
------------------------------------------------------------
Client connecting to 10.1.1.1, TCP port 5001
TCP window size: 649 KByte (default)
------------------------------------------------------------
[ 3] local 10.1.1.2 port 42141 connected with 10.1.1.1 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0- 1.0 sec 1.22 GBytes 10.4 Gbits/sec
[ 3] 1.0- 2.0 sec 1.21 GBytes 10.4 Gbits/sec
[ 3] 2.0- 3.0 sec 1.21 GBytes 10.4 Gbits/sec
[ 3] 3.0- 4.0 sec 1.21 GBytes 10.4 Gbits/sec
[ 3] 4.0- 5.0 sec 1.21 GBytes 10.4 Gbits/sec
[ 3] 5.0- 6.0 sec 1.21 GBytes 10.4 Gbits/sec
[ 3] 6.0- 7.0 sec 1.21 GBytes 10.4 Gbits/sec
[ 3] 7.0- 8.0 sec 1.21 GBytes 10.4 Gbits/sec
[ 3] 8.0- 9.0 sec 1.21 GBytes 10.4 Gbits/sec
[ 3] 9.0-10.0 sec 1.21 GBytes 10.4 Gbits/sec
[ 3] 0.0-10.0 sec 12.1 GBytes 10.4 Gbits/sec

　まででるようになりました。夢の10Gですね。しかし頑張ってもこれ以上は出ず、理論値は16Gbまでは行けるはずなので、やはりオーバーヘッドがあります。ネイティブじゃないので仕方ないですが。

　とりあえず、IPは通るようになったのでベンチマークは後編後編に回します。
参考
http://www.openfabrics.org/downloads/OF ... _notes.txt
http://inqbus-hosting.de/support/dokume ... band-howto
]]> 【その他】Flash Live Media Encoderあれこれ http://xmms.jp/blog/index.php?entry=entry120728-030127
　Ustreamではより高画質な配信をするときにFlash Media Live Encoder（以下FMLE)を利用するのですが、FMLEでは配信するときにVP6とH2.64を選択することが出来ます。では、どちらがいいのか、と言うのを検証してみました。検証方法は、ゲームマシンでこのMegademoを再生し、同じビットレートでキャプチャするという方法です。
http://www.scene.org/file.php?file=/par ... p;fileinfo
　Megademoなので映像の内容はHDRが綺麗だなあ位の内容です

H2.64


　H2.64のテスト結果です。

　CPUの使用率は、Core i7（HT有効）で大体4-50%でした。フレームドロップは起きていませんが、大きくシーンが変わるところでかなりノイズを出していました。

VP6


VP6のテスト結果です。

　同じくCPUの使用率は4-50%でしたが、大きくシーンが変わるところでフレームが間に合っていないところがあります。その代わり、ノイズは少ないと思います。

比較


　特に特徴がよくでたシーンを並べてみます。

　H2.64



　VP6



まとめ


　大きなノイズが出てもフレームを確保するという特性から、アクションゲームを配信するときはH2.64を使うべきで、逆にVP6は絵描き配信など、ノイズよりも画質を確保するべきときに使うといい感じなのでは、と思います。

　まあそんなに配信しませんけどね…。]]> 【ネタ】黒電話をIPPhoneにしてみた http://xmms.jp/blog/index.php?entry=entry120721-073240
Get the Flash Player to see this player.


　分かる人には分かるネタという

　買ったあとに気がついたのですが、黒電話の電話線ははRJ11ではなくプラスとマイナスとアースという導線剥きだしで、壁から直接電話線をとるタイプだったんですね…。電圧などは同じなので被覆を向いてよじるなり半田付けするなりすれば大丈夫でしたが。
　設定方法は特に難しいことはなく、VoIPの設定→IP電話サーバの設定 からマニュアルで設定すればサクッとAsteriskに登録できます。




　どうでもいいんですが、この黒電話自分より年上なんですよね…。なんか、アナログの象徴とも言えるものがデジタルにのって動くというところにときめきますね。（ねぇよ

　…最近自分がどこに向かってるのかよく分からなくなってきました]]> 【その他】今更ながら自宅ラック勉強会5.0の内容を復習しました http://xmms.jp/blog/index.php?entry=entry120625-034653 　その結果、無事にPR200NEという光電話TAを介してアナログ電話とSIPクライアント間で無事に通話できるようになりました。




　分かりづらいですが、AndroidのSIPクライアントとアナログ電話の着信です。Androidの画面に出ている996と言うのがアナログ電話のをならすための番号です。99というのが内線であるというプレフィックスで、6と言うのが内線番号です。右側の電話の3という番号は、内線3番から着信が来ているという意味です。家の電話から3と押して外線ボタンを押すと一気に部屋の3つのIP電話が鳴りますw
　また、Ekigaと言うPC用SIPクライアントを通して外部に電話がかけられるようになりました。たかが時報ですが、それが聞けたときはようやくここまでこれたという達成感がありました。

　最初はExtention.confに書かれている
_1.,n,Dial(ほげほげ)
と言うような文字の意味が分からなかったのですが、以下のページがとても参考になりました。
http://www.voip-info.org/wiki/view/Aste ... sions.conf
これでやっと何を意味してるのかが理解でき、すっきりしました。最初からこれを調べていればもう少し早かったのですが。

そして、現在は電話機がローカルのicecastサーバーの音楽ストリーミングを再生する何かになりつつあります。
http://www.voip-info.org/wiki/view/Aste ... +MP3Player

　これで、やっとVoIPの第一段階が終わりました。とりあえず、前回分くらいの内容は消化できたと思います。今度、黒電話を買ってきてならしたいと思いますw

ああ次はIHANET上でVoIPを動かすという目標が…。
]]> 【仮想化】Remote FXを試してみた http://xmms.jp/blog/index.php?entry=entry120331-230152

概要
http://cloud.watch.impress.co.jp/docs/c ... 92477.html

設定ではまった点


・最初からRemoteFX用のグラフィックドライバを有効にしてしまっていて、Windowsのインストール段階でHyper-Vのコンソールがのぞけなくなり、強制シャットダウンしてRemoteFXドライバを抜いて再起動したらWindowsが壊れて終わった

　最初はドライバを入れずにセットアップするべきでした。Windowsが普通に立ち上がってRDPを受け付けるように設定を有効にしてからRemoteFX用ドライバを入れるのが正しいようです。

・Windows7　SP1を入れたらRDPを有効にしてあるにもかかわらず「このユーザーアカウントはリモートログインを許可されていないため、接続は拒否されました。」と言われて繋がらない

　RemoteFX用ドライバを抜いた状態では接続できるにもかかわらず、Remote FXを有効にすると何故か上記のエラーが出てしまい接続できなくなりました。対処法は
コントロール パネル→すべてのコントロール パネル項目→システム→リモートの設定
から、\\PC名\ユーザーと改めて明示してあげることにより繋がりました。
参考
http://watery.dip.jp/slash/archives/405

・何故か有効にならないと思ったら接続する側がWindows7の無印でSPが入ってなかった

　SP1を入れていたと思っていたのに入っていませんでした…これはただのミスです。

環境



サーバー
ML115 G5（Phenom II X4 960BE@3GHz、DDR2-800 8GB、Geforce9600GT）

VM割り当て
Win7 Pro SP1、2CPU、2GB、モニタの最大数1、解像度1900x1200

クライアント
Thinkpad X61(Core2Duo T7300@2GHz、DDR2-667 4GB）、Win7 Pro SP1

接続方法
1GbiEでL2接続

パフォーマンス


実際に試してみた結果です。編集していないのでgdgdですがご勘弁をw
Thinkpad の画面が汚れているのと環境音の騒音がひどいのは仕様ですw

注意：音が出ます

タイムリープベンチ

Get the Flash Player to see this player.


　何故今更これかというと、さくっと動くベンチだったからです。動きに関しては大体30FPS出ているので問題ないです。

FlatOut2
Get the Flash Player to see this player.

　リアルタイム性を求められるゲームは結構つらいです。動画的には結構ゲームのFPSが出ているように見えるので問題なくゲームができそうに見えるかもしれないですが、5-10フレームくらい入力と映像がずれるのでかなり難しいです。あと、このレイテンシによって酔います…


結論


　ゲームは確かに動くものの、あくまで技術デモ的な位置に近いしおそらくこういった使われ方は想定していない

　ここに動画はないのですが、11aの無線でつないで試した結果、54Mbps(実測20Mbps程度)な無線では明らかに帯域が足りてなくて画面の更新が追いつかない、と言うことがありました。WANを超えてしまうとかなり帯域とレイテンシ的につらいのでは、と思います。まあ、リモートデスクトップを接続するときのオプションでLAN以外ではFXは無効になるので、やはりワイヤードなLANで使うのが限界なのかな、と思いました。]]>