【Storage】ZFSでのDedup時のパフォーマンス低下について 
 RAIDz2のファイルサーバーにて、何故かパフォーマンスが低下するという問題があったので色々調べてみました。

パフォーマンスが出ないと言っても、細かいファイルを書くときはそこまで問題にならないのですが、VMのイメージのバックアップなどで大きなデータを書くときにバッファが足りてなくて息切れをしているような動きをするのです。




 ディスクの動きを見ていると、Writeが入った後にReadが入り、そのReadが終わるまで次のWriteが出来ないような状態でした。
 ZFSのRAIDZ2が悪いのかと思いましたが、そういえばdedupを有効にしていたな-と思い出し、そのことについて調べると…

http://blogs.oracle.com/bonwick/entry/zfs_dedup

Scalability and performance

Most dedup solutions only work on a limited amount of data -- a handful of terabytes -- because they require their dedup tables to be resident in memory.

ZFS places no restrictions on your ability to dedup. You can dedup a petabyte if you're so inclined. The performace of ZFS dedup will follow the obvious trajectory: it will be fastest when the DDTs (dedup tables) fit in memory, a little slower when they spill over into the L2ARC, and much slower when they have to be read from disk. The topic of dedup performance could easily fill many blog entries -- and it will over time -- but the point I want to emphasize here is that there are no limits in ZFS dedup. ZFS dedup scales to any capacity on any platform, even a laptop; it just goes faster as you give it more hardware.


http://hub.opensolaris.org/bin/view/Com ... +zfs/dedup

B. Additional memory considerations from Roch's excellent blog:

20 TB of unique data stored in 128K records or more than 1TB of unique data in 8K records would require about 32 GB of physical memory. If you need to store more unique data than what these ratios provide, strongly consider allocating some large read optimized SSD to hold the deduplication table (DDT). The DDT lookups are small random I/Os that are well handled by current generation SSDs.


 要約すると、「DeDuplicationを使うにはDeDuplicationTable(DDT)というデータのハッシュテーブルを使うけど、128Kの大きいデータで20T、8kの細かいデータで1Tある場合に約32GBのメモリが必要で、メモリに載らない分はL2ARCに落ちるよ。L2ARCにも載らなくてディスクから直接DDTを読む必要がある場合はめっちゃ遅くなるよ。だからSSDなどのランダムIOに優れたL2ARCを推奨する。ただ、dedupそのものには制限がないから金^H愛を注ぎ込めばそれだけ速くなるよ」と言うことらしいです。

 メモリが8G程度しか積まれていないマシンではDedupを使うときにある程度パフォーマンスが落ちるのを覚悟する必要があるみたいです。まあ現状Dedupの効果は1.1倍程度なので切ってしまっても良いんですがね…。

バーバリーブルーレーベル 
クラッチは、ほかに何か。代わりに、フォーム、ソフトウェア プログラム、ホーム スポーツ、ディーラー、ソフトウェア プログラム、および法の開発を支持します。その可能性がオプトイン、E Kors ウェストンの hula-hula コンテナー正確な最初のオフ。
<a href="http://www.onestopgolfpromoshop.com/" >バーバリーブルーレーベル</a>

コメントを書く
必要事項とコメントを入力して下さい。









タグの挿入