しかし、AF vSAN構成においては単純に10%の容量だけのサイジングではなく、
想定するパフォーマンス(IOPS)とワークロード(Read:Write比、Random:Sequential比)に応じてキャッシュ層デバイスのサイズを決定する指針が2017年1月にVmware公式ブログにてアナウンスされました。
現在はこのサイジングの指針が StorageHub などの公式ガイドにも記載されています。
Designing vSAN Disk groups – All Flash Cache Ratio Update
https://blogs.vmware.com/virtualblocks/2017/01/18/designing-vsan-disk-groups-cache-ratio-revisited/
Flash Cache Sizing for All-Flash Configurations (StorageHub)
https://storagehub.vmware.com/t/vmware-vsan/vmware-r-vsan-tm-design-and-sizing-guide-2/flash-cache-sizing-for-all-flash-configurations-6/
これにより用途によっては、AF vSAN のキャッシュ層 SSD は仮想マシン容量の10%よりも少なく済む場合もあり、逆に高いパフォーマンスが求められる環境では10%以上の容量が推奨される場合があります。
直近の vSAN 6.7 などの公式ドキュメントには上記の Vmware 公式ブログが参照リンク先として記載されています。
Read Write workload mixture | Workload Type | AF-8 80K IOPS | AF-6 50K IOPS | AF-4 20K IOPS |
70/30 Random | Read Intensive Standard Workloads | 800GB* | 400GB* | 200GB |
>30% write random | Medium Writes, Mixed Workloads | 1.2TB * | 800GB* | 400GB |
100% write sequential | Heavy Writes, Sequential Workloads | 1.6TB* | 1.2TB* | 600GB |
AF vSAN のキャッシュ層 SSD は1ディスクグループ辺り Write バッファとして利用されるのは 600GB という上限があります。
このため、より IO の並列度を高め、高パフォーマンスを発揮したい場合は上記表のキャッシュ層 SSD のサイジングを満たした容量でキャッシュ層SSDを複数利用(複数のディスクグループで構成)する事が推奨されます。
ただし、キャパシティドライブ本数が3本以下など少ない場合や、そこまで高い IO を求めない場合は1本のキャッシュ層SSDで構成しても全く問題ありません。
※ 600GB を超えるキャッシュ層SSDの仕様については次の項目を参照。
※ HY vSAN 構成に関しては従来通りの10% ルールが継続適用されます。
※ キャッシュ層SSDは書き込み耐性の高い (Write Intensive, WI) SSD がサポートされ、vSAN HCL で Caching Tier にどのタイプの vSAN で利用できる SSD かが指定されています。 詳しくは vSAN HCL を参照してください。
vSAN キャッシュ層 SSD の Write Buffer 領域の ”600GB” サイズの仕様について
Hybrid vSAN (以下 HY vSAN)構成では7割がReadキャッシュ、3割がWriteバッファとして割り当てられ、All Flash vSAN (以下 AF vSAN)構成ではすべてが Writeバッファとして割り当てられます。
また、Write バッファに関してはアクティブに利用される領域は 600GB が上限であるという仕様がありますが、実際には600GBを超えるサイズのSSDを利用した場合は残りの SSD 領域も "Dynamic Over Provisioning" 機能によって満遍なく利用されますので、高いIO負荷が発生するAF vSAN 環境の SSDドライブの高寿命化に役立ちます。
詳細は Duncan Epping さんのブログ参照。
http://www.yellow-bricks.com/2016/05/17/600gb-write-buffer-limit-vsan/
800GB や 1.6TB の SSD を AF vSAN のキャッシュ層に利用しても無駄ではなく、高いIO要求が想定される環境で長期の安定利用が可能となります。
※ 高いIO性能(IOPS/スループット)を求められ、さらにWrite過多な環境で 1.2TB や 1.6TB の キャッシュ層SSD が必要となる場合は、
ディスクグループを2つに分けて、800GB x 2本でキャッシュ層を構成するなど Write IO を並列化して性能向上を図る事も可能です。
キャパシティドライブの本数のバランスも含めて、この辺りをサイジング頂くとより良い vSAN 環境が実装出来ます。
超高耐久性SSD(Very High Endurance Devices)を利用した場合のサイジング
ここまでは、2018年までの多くのブログにも転載されていたのですが、2018年8月のVmware公式ブログでアナウンスされた追加のガイドラインがあまり紹介されていないので、今回改めて紹介します。
▼Cache SSDの耐久性(DWPD)とIOPS要件での現在の基準
Extending All Flash vSAN Cache Tier Sizing Requirement for Different Endurance Level Flash Device
https://blogs.vmware.com/virtualblocks/2018/08/23/extending-all-flash-vsan-cache-tier-sizing-requirement-for-different-endurance-level-flash-device/
現時点で vSAN HCL にリストされているキャッシュ層 SSD の耐久性は 10 DWPD(Drive Writes Per Day) のモデルが上位モデルとなっていますが、
このブログでは 30 DWPD(超高耐久性デバイス) の SSD が今後普及されたときのサイジングが紹介されています。
今後、より高い耐久性の SSD を利用するようになった場合には、現在よりも小さい容量の SSD でキャッシュ層をカバーできる事になりそうです。
vSAN SSD の耐久性・性能の基準について
ここで、上記公式ブログにも記載されている SSD の耐久性 の基準となる DWPD と vSAN HCL でもよく見かける指標 TBW の関係をまとめます。- DWPD (Drive Writes Per Day) = 製品寿命までに1日あたり何回全容量データを書き換えられるかを示した数値
例)10 DWPD : 毎日 10回 SSD の全データを書き換えても5年間製品寿命がある - TBW (Terabytes Written) = 製品寿命までに書き込めるTB数(VVDでは5年間の書き込み容量を指標値としたもの)。
例)3650 TBW : 製品寿命まで 3650 TB を SSD に書き込むことが出来る
詳細は VVD (VMware Validated Design) の以下のガイドラインにまとまっています。
SSD Endurance for vSAN (VVD 5.0)
https://docs.vmware.com/en/VMware-Validated-Design/5.0/com.vmware.vvd.sddc-design.doc/GUID-51680487-239F-4FF7-B43A-8C1D98263DB1.html
SSD Performance for vSAN (VVD 5.0)
https://docs.vmware.com/en/VMware-Validated-Design/5.0/com.vmware.vvd.sddc-design.doc/GUID-B431C97C-6DBE-4CC7-A55F-098DE9AE3964.html
例えば VxRail や PowerEdge vSAN Ready Node でも採用されている東芝の SSD 「PX05SMB080Y」 などは、vSAN HCL を確認すると
耐久性: 14600 TBW
とされています。
TBW は 以下の公式で DWPD に変換できます。
※VVD より 5年の製品保証の場合
- TBW = Drive Size x DWPD x 365 x 5
- DWPD = TBW / (Drive Size x 365 x 5)
14600 TBW の 800GB SSD はこの式に当てはめると、
14600 TBW / (0.8 TB x 365 x 5) = 10 DWPD
となります。
ここからも分かるように、現在のエンタープライズ向けのキャッシュ層 SSD の主流は 10 DWPD となっている事が多く、サイジングに関しては 公式ブログ に合わせてサイジングが可能になります。
今後、10 DWPD 以上の SSD が普及してきた際にはより高いIO要求にも耐えられる超高性能vSAN に適用されていくのだと思います。
また、3~5 DWPD クラスのらMix Use SSD も、大容量化しているので、耐久性とコストを考慮して中容量クラスの Mix Use SSD をキャッシュドライブとして利用する機会も増えてくるかと思います。
より正確なサイジングをする場合には IOPS の他にも一日辺りの書き込み量や、同時 IO の並列度、R/W比、IO サイズなども重要となります。
こうした情報は LiveOptics などアセスメントツールで既存環境を分析する事で適切なサイジングに活かせるので、アセスメントツールも活用して頂ければと思います。