...
直接 /etc/network/interfaces に追加してもよいです。
PVEでNFSoRDMAをマウントする
まずはテストでNFSがマウントできるか確認します。まずはテストでNFSがマウントできるか直接ターミナルで検証します。マルチパスを使う場合はオプションに max_connect=2を指定する必要があります。4ポートマルチパスもmax_connect=4で可能だとは思いますが検証してません。
| コード ブロック |
|---|
root@pve15:~# mkdir /t root@pve15:~# mount -v -t nfs -o vers=4.2,max_connect=2,proto=rdma,soft 10.1.1.101:/srv/ssd/exports /t #マルチパスをテストする場合 root@pve15:~# mkdir /t2 root@pve15:~# mount -v-t nfs -o vers=4.2,max_connect=2,proto=rdma,soft 10.1.2.101:/srv/ssd/exports /t2 #rdmaが有効になっているか確認 #マルチパスが有効になっている場合、2回目の/t2が10.1.2.101ではなく10.1.1.101になる root@pve15:~# mount|grep rdma 10.1.1.101:/srv/ssd/exports on /t type nfs4 (rw,relatime,vers=4.2,rsize=1048576,wsize=1048576,namlen=255,soft,proto=rdma,max_connect=2,port=20049,timeo=600,retrans=2,sec=sys,clientaddr=10.1.1.3,local_lock=none,addr=10.1.1.101) 10.1.1.101:/srv/ssd/exports on /t2 type nfs4 (rw,relatime,vers=4.2,rsize=1048576,wsize=1048576,namlen=255,soft,proto=rdma,max_connect=2,port=20049,timeo=600,retrans=2,sec=sys,clientaddr=10.1.1.3,local_lock=none,addr=10.1.1.101) |
...
PVEのGUIからストレージの追加を行ってもよいのですが、GUIからNFSを追加しても結局optionsが指定できないため直に編集してしまいます。名前などは適宜変えてください。
今回はマルチパスを有効にしていますが、2つ目のセッションはマウントできていれば何でもいいのでVMやCTを作るときの邪魔にならないようにsnippetsだけ有効にしています。
一つのホストでstorage.cfgを変更するとその変更が全ホストに伝搬します。
今回はマルチパスを有効にしていますが、2つ目のセッションはマウントできていれば何でもいいのでVMやCTを作るときの選択の邪魔にならないようにcontentをsnippetsだけ有効にしています。(検証してませんがなくても良いかも?)
また、NFSサーバのメンテナンスなどでサーバを落とすときにhardマウントだとマウント側のカーネルが刺さるためsoftにしていますが、環境によって変えてください。
...
| コード ブロック |
|---|
root@pve15:~# vim /etc/pve/storage.cfg
...
nfs: nfs-rdma-1
export /srv/ssd/exports
path /mnt/pve/nfs-rdma-1
server 10.1.1.101
content iso,images,snippets,vztmpl,backup,rootdir
options max_connect=2,proto=rdma,soft,vers=4.2
preallocation off
prune-backups keep-all=1
nfs: nfs-rdma-2
export /srv/ssd/exports
path /mnt/pve/nfs-rdma-2
server 10.1.2.101
content snippets
options max_connect=2,proto=rdma,soft,vers=4.2
preallocation off
prune-backups keep-all=1 |
保存後、PVEのGUIに追加したストレージが増えていることを確認してください。保存後、PVEのGUIに追加したストレージが増えていることを確認してください。しばらくするとクラスターの全ホストでマウントされます。
VMなどを作成して動きを確認する
マウントされたことを確認したら、VMやCTなどを作成して動作を確認します。
...
こちらもFDRで全機リンクさせたい気持ちはあるのですが、FDR対応のケーブルを今更何本も買うのは…という気持ちがありQDR止まりです。
まあ、QDRでもその下のストレージさえ早ければ十分な速度が出るので、出物があれば検討しようかな、という感じです。まあ、QDRでもその下のストレージさえ速ければ十分な速度が出るので、出物があれば検討しようかな、という感じです。
| 情報 |
|---|
ひとまず、3ヶ月40TB程度の通信をNFSoRDMAで行いましたが、大きな問題には直面していません。 PVEでIBがまともに使えるというのがわかれば自宅IB人口が増えるのだろうか…? |
Related articles
| ラベル別コンテンツ | ||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
| ページ プロパティ | ||
|---|---|---|
| ||
|