【Storage】ZFSでのDedup時のパフォーマンス低下について 
2011, December 30, Friday, 07:52 - PC, SoftWare
　RAIDz2のファイルサーバーにて、何故かパフォーマンスが低下するという問題があったので色々調べてみました。

パフォーマンスが出ないと言っても、細かいファイルを書くときはそこまで問題にならないのですが、VMのイメージのバックアップなどで大きなデータを書くときにバッファが足りてなくて息切れをしているような動きをするのです。




　ディスクの動きを見ていると、Writeが入った後にReadが入り、そのReadが終わるまで次のWriteが出来ないような状態でした。
　ZFSのRAIDZ2が悪いのかと思いましたが、そういえばdedupを有効にしていたな-と思い出し、そのことについて調べると…

http://blogs.oracle.com/bonwick/entry/zfs_dedup

Scalability and performance

Most dedup solutions only work on a limited amount of data -- a handful of terabytes -- because they require their dedup tables to be resident in memory.

ZFS places no restrictions on your ability to dedup. You can dedup a petabyte if you're so inclined. The performace of ZFS dedup will follow the obvious trajectory: it will be fastest when the DDTs (dedup tables) fit in memory, a little slower when they spill over into the L2ARC, and much slower when they have to be read from disk. The topic of dedup performance could easily fill many blog entries -- and it will over time -- but the point I want to emphasize here is that there are no limits in ZFS dedup. ZFS dedup scales to any capacity on any platform, even a laptop; it just goes faster as you give it more hardware.


http://hub.opensolaris.org/bin/view/Com ... +zfs/dedup

B. Additional memory considerations from Roch's excellent blog:

20 TB of unique data stored in 128K records or more than 1TB of unique data in 8K records would require about 32 GB of physical memory. If you need to store more unique data than what these ratios provide, strongly consider allocating some large read optimized SSD to hold the deduplication table (DDT). The DDT lookups are small random I/Os that are well handled by current generation SSDs.


　要約すると、「DeDuplicationを使うにはDeDuplicationTable(DDT)というデータのハッシュテーブルを使うけど、128Kの大きいデータで20T、8kの細かいデータで1Tある場合に約32GBのメモリが必要で、メモリに載らない分はL2ARCに落ちるよ。L2ARCにも載らなくてディスクから直接DDTを読む必要がある場合はめっちゃ遅くなるよ。だからSSDなどのランダムIOに優れたL2ARCを推奨する。ただ、dedupそのものには制限がないから金^H愛を注ぎ込めばそれだけ速くなるよ」と言うことらしいです。

　メモリが8G程度しか積まれていないマシンではDedupを使うときにある程度パフォーマンスが落ちるのを覚悟する必要があるみたいです。まあ現状Dedupの効果は1.1倍程度なので切ってしまっても良いんですがね…。

バーバリーブルーレーベル 
2014, February 22, Saturday, 04:52
クラッチは、ほかに何か。代わりに、フォーム、ソフトウェア プログラム、ホーム スポーツ、ディーラー、ソフトウェア プログラム、および法の開発を支持します。その可能性がオプトイン、E Kors ウェストンの hula-hula コンテナー正確な最初のオフ。
<a href="http://www.onestopgolfpromoshop.com/" >バーバリーブルーレーベル</a>
Katherine 
2022, December 22, Thursday, 00:04
NFL Pro Shop
NFL Jerseys
Jerseys Wholesale
NBA Jerseys Wholesale
Baseball Jerseys
NFL Gear
NFL Store Online Shopping
NBA Jerseys From China
NHL Jerseys
Cheap Jerseys Wholesale
Cheap Jerseys From China
Cheap Jerseys
MLB Official Site
Cheap MLB Baseball Jerseys
Cheap Jerseys
NHL Store
Cheap NHL Jerseys
NBA Jerseys Shop
Cheap Football Jerseys
NFL Gear
NFL Football Jerseys
Custom MLB Baseball Jerseys
NFL Store
NFL Jerseys From China
Custom NHL Jerseys
Football Jersey
NHL Jerseys
Cheap Jerseys
NBA Store
Wholesale Jerseys
NFL Jerseys
Cheap Jerseys Wholesale
NFL Jerseys
NFL Store Online Shopping
NFL Store
Cheap Jerseys From China
NFL Jersey Sales
Football Jerseys Cheap
Cheap MLB Jerseys
Baseball Jerseys
Cheap NFL Jerseys
Cheap NFL Jerseys
Wholesale MLB Jerseys
NFL Jerseys
Cheap Jerseys From China
Wholesale NFL Jerseys
MLB Apparel
Football Jerseys Cheap
MLB Jerseys
NBA Jerseys Wholesale
Cheap Jerseys
Cheap Jerseys Wholesale
Cheap MLB Jerseys
Cheap Jerseys
Jerseys Wholesale
NFL Jerseys
NFL Football Jerseys
Jerseys Wholesale
NFL Shop
NHL Jerseys
Jerseys Wholesale
NFL Shop
Custom Football Jerseys
NFL Pro Shop
Cheap NFL Jerseys
NFL Gear
MLB Jerseys Wholesale
MLB Jerseys
Cheap NBA Jerseys
NFL Jersey
NBA Jerseys
Wholesale NFL Jerseys
Cheap NHL Jerseys
Wholesale Jerseys
MLB Fan Shop
Wholesale Jerseys China
NBA Apparel
Cheap NHL Jerseys
Anthony 
2022, December 31, Saturday, 16:09
NFL Jerseys
NFL Jerseys
Cheap Jerseys
Custom MLB Jerseys
NFL Jersey Sales
MLB Jerseys
Best NFL Jerseys
NFL Jersey
NFL Jerseys
Cheap NFL Jerseys From China
Cheap Custom MLB Jerseys
MLB Jerseys Wholesale
NFL Jerseys
Cheap Jerseys
Cheap Jerseys
Cheap NFL Jerseys From China
NFL Jerseys Cheap
NFL Shop Official Online Store
NBA Jerseys Wholesale
Baseball Jerseys
NBA Shop
MLB Store Official Site
NFL Store Online Shopping
Cheap NHL Jerseys
Cheap NBA Jerseys From China
Wholesale Jerseys
Jerseys Wholesale
Cheap MLB Baseball Jerseys
NBA Apparel
Cheap Jerseys Wholesale
NBA Jerseys Store
Cheap NFL Jerseys
NFL Store Online Shopping
Cheap NHL Jerseys China
Cheap Jerseys
Cheap Jerseys Wholesale
MLB Jerseys
NFL Gear
NBA Jerseys Wholesale
MLB Jerseys
New NBA Jerseys
NFL Jerseys Cheap
Cheap Jerseys From China
Wholesale Jerseys China
Football Jerseys
NFL Shop
Cheap Jerseys Wholesale
Cheap NHL Jerseys China
Wholesale Jerseys China
NFL Shop Official Online Store
Cheap MLB Jerseys
Football Jersey
NHL Store
Football Jersey
NFL Apparel
NHL Jerseys
NHL Jerseys Wholesale
NFL Jerseys
MLB Jerseys Wholesale
MLB Jerseys
NBA Jerseys
NFL Jerseys
MLB Shop Online
NFL Jerseys
NFL Pro Shop
NFL Jerseys Cheap
NHL Jerseys Cheap
NFL Fan Shop
Cheap Jerseys
Wholesale Jerseys
NFL Store
Cheap Jerseys China
NHL Jerseys Cheap
NFL Gear
Cheap Jerseys
Cheap NFL Jerseys
Wholesale Jerseys
Cheap Jerseys From China

コメントを書く
必要事項とコメントを入力して下さい。









タグの挿入