調べたこと試したこと: vSphere 7.0u3・vSAN 7.0u3 機能強化・アップデート情報

VMWorld 2021 が来週から始まりますが、それに合わせて vSphere の最新アップデートとなる vSphere 7.0 Update3 / vSAN 7.0 Update3 の情報がリリースされました。
※ ダウンロード可能になるのは VMWorld もあるので恐らく来週以降。

※ vSphere 7.0 Update3 に関しては重大な不具合が発覚し一旦差し戻しとなっております。Log4j 脆弱性に対する修正等が適用された、2022/1/27 にリリースされた vSphere 7.0u3c (vCenter 7.0u3c / ESXi 7.0u3c) 以降を必ずご利用ください。

公式のアナウンスはこちら

今回も個人的に興味を持っている機能強化についてご紹介したいと思います。

今回も長文となってしまったので、それぞれのページ内リンクはこちらから

その前に、

-- 宣伝 --

VMWorld 2021 が来週 10/5 から開催されますが、今年も VMWorld Japan も 11月25日 ~ 26日にオンラインで開催予定です。

登録はこちら https://vmworld.jp/?src=EPY966

私も 11/25 (木) 12:50-13:30 に
MC11110 : VMware Cloud Foundation, VMware vSAN HCI インフラ設計 Deep Dive : 解説マルチクラウド時代の VMware vSphere クラスタ鉄板構成
というセッションでお話しさせていただく予定です。
お時間よろしければぜひ皆様の今後の仮想化インフラの設計の参考にご視聴頂ければ幸いです。

-- 宣伝終わり--

詳細は最初にリンクを記した公式 Blogs や Core TechZone の Blogs 記事にありますのでそれら参照願います。また、VMWorld 2021 でも詳細解説のセッションがありますのでそれらもぜひご覧ください。

vSphere 7.0u3 で気になるアップデート

インストール、アップデート、メンテナンス関連

ESXi の SD カード、USB フラッシュメモリ Boot の非推奨化

今月 KB が新たに公開されたり、vSphere 7.0u2 あたりから Docs のハードウェア要件あたりにも詳細が追記されていましたが、いよいよ SD カード・USB フラッシュメモリ Boot が非推奨となります。
商用環境では各サーバーメーカーが用意している 32GB 以上、推奨は 128GB 以上の Boot 専用の M.2 SSD や SATADOM 等の利用が推奨されます。

ざっくりまとめると、ESXi のブートパーティションのうち OSData と呼ばれるパーティションは、 vSAN や NSX をはじめとした ESXi Kernel と連動する機能のファイル、ログの他、VMware Tools、Dump、Scratch など非常に多くの IO が発生する重要なパーティションで、
SD カードや USB フラッシュメモリの耐久性ではすぐに壊れてしまうので、耐久性と容量のある SSD を利用してねという KB と Docs です。※ ワークアラウンドも説明があるが超面倒で結局 SSD が必要。

仮に SD カードなどを利用する場合においては ESX-OSData パーティションを SSD、HDD など信頼性と耐久性の高いデバイスに配置する必要があり、最初から m.2 SSD などを利用した Boot 専用デバイスの利用が強く推奨される。

※ vSAN の場合、Boot デバイスと vSAN ドライブが同じコントローラを利用する事が非推奨なので、専用の M.2 SSD Boot デバイスなどを利用する事が強く推奨され、現在の vSAN Ready Node はほぼその構成になっています。

vLCM の強化

デポ編集機能 : パッチとアップデートのリコールのサポート、およびデポオブジェクトの削除
vSAN HCL を使用した vSAN ドライブのファームウェアレベルのチェック
※ VxRail の様なアプライアンス製品ではドライブファームウェアのメンテナンスも自動化されていましたが、vLCM でも vSAN HCL に基づく確認とメンテナンスが出来るようになるようです
2Node vSAN やストレッチクラスタ環境のサポート
vSAN Witness の vLCM サポート

vCenter バージョンアップ時のダウンタイムの最小化

vCenter Server Appliance のメジャーバージョンアップ時は、新規に新しい vCSA がデプロイされ、既存 vCenter からデータがコピーされた後にサービスが切り替わる仕組みを持っていましたが、
vCenter 7.0u3 では新たにパッチレベルのバージョンアップでのこの手法が選べるようになる様です（API 操作が必要で WebUI からのパッチ適用は従来通りと思われる）。

一時的にですが vCenter を1つ余計に展開するのでリソースの確保が必要ですが、メリットは vCenter バージョンアップ時のダウンタイムを縮小できる事、大規模環境ではこの効果が大きそうです。

既存 vCenter は一定期間保持されたのちに削除されるとの事なので、バージョンアップ時のエラーによるフェイルバックが容易になる可能性はあります（詳細はリリース後の Docs や KB で要確認）。

VMware Cloud Foundation 等の様に SDDC Manager から API 連携してメンテナンスする環境ではこれらが標準になるのでしょうか。

NSX-T Manager の vCenter プラグインのサポート

vSphere Clinet の中で NSX ネットワーク設定が行えるように vCenter プラグインが追加される様です。 vROps の vCenter プラグインと同様に vCenter の中で出来る事に機能制限はあると思いますが、今まで別画面を立ち上げていたところが SSO 連携した vSphere Client の中で基本操作が完結できるようになるのは大きなメリットになりそうです。

メンテナンスモードの時の再試行や DRS による移行との最適化

クラスタのアップデートの際など、ESXi がメンテナンスモードにいつまでも入らずにタスクが止まってしまう事が良くあると思いますが、恐らくそれを改善するための機能が実装される様です。
併せて DRS が Large VM や I/O の高いモンスター VM などと呼ばれる移動が難しいワークロードを追跡して適切に移行がコントロールされる様です。

リソースマネージメント、仮想化基盤の拡張・強化関連

Persistent Memory 関連の強化

以下の様な Persistent Memory の統計・パフォーマンスの強化が図られる様です。

vSphere Memory Monitoring and Remediation (vMMR)
Performance monitor で PMEM、DRAM のメトリックの強化
Persistent Memory メモリモードのメトリック
PMEM 関連のアラート機能
PMEM 関連のホスト、VM レベルのカウンター

NVMe-oF TCP/IP Support のサポート

ストレージネットワークとして NVMe-oF TCP/IP が追加される様で、FC-HBA や RDMA アダプタ以外に標準の Ethernet カードの利用がサポートされるようになります。
これについては個別の記事も公開されていました。詳細は以下の発表参照。

Announcing NVMe/TCP Support with VMware vSphere 7 Update 3
https://blogs.vmware.com/vsphere/2021/09/announcing-nvme-tcp-support-vmware-vsphere-7-update-3.html

現時点では Dell の PowerStore 等の外部ストレージとの接続のサポートとなりますが、
今後この機能が vSAN にも実装されてくると非常に高速・高可用性な vSAN データストア基盤が出来上がるのではないかと期待しています（Optane 3DxP SSD 積んだ超高速 vSAN ノードや HCI Mesh 等との相性も良さそう）

その他ストレージ系の強化

単一のデータストアあたり 128 ESXi Host までサポートしたり、VVOL 関連の強化（パフォーマンス強化、バッチモードスナップショットなど）が入っています。

VMFS-6 & NFS Scale to 128 Nodes
VMFS-6 Affinity Enhancements
Improved OSFS vVol Performance
Batch Snapshots on vVols

こちらも Core TechZone に記事がまとまっています。

What's New with vSphere 7 Update 3 Core Storage
https://core.vmware.com/blog/whats-new-vsphere-7-update-3-core-storage

※ vSAN 関連の強化は後述。

vSphere Cluster Services の強化、改善

vSphere 7.0u1 で実装された vCLS、いろいろと癖があった少しずつ改善されてきましたが、7.0u3 では大きく改善され以下の様な機能がサポートされる様です。

vCLS VMのデータストアの選択
vCLS VM の Hardening Guide に基づく設定
vCLS VM のホストアフィニティ
自動展開される vCLS VM の VM 名は UUID を用いた一意なものに変更（従来の (1) (2)...(22) などのカッコ括りの排除）

Guest OS & Workloads

Cloud-Init のフルサポート
Guest Data Publisher 機能
VMware Tools を通して取得する GuestInfo と同様にゲストから　ESXi により多くの分析データを連携する事が出来るようです。
UEFI 2.4 のサポート
AMD 環境での VBS (Virtualization Based Security) のサポート

Precision Time Protocol のサポート強化

ESXi とゲスト OS へ柔軟な PTP の配布
PTP は NTP へのフォールバックをサポート
vmware.pool.ntp.org
VMware Tools Time Provider による簡易に正確な時刻設定

vSphere Management / API 関連

先日 PowerCLI 12.4 がリリースされましたがそれ含めての機能改善・追加が多数。

PowerCLI を介した vSphere RESTAPI へのダイレクトアクセス
新しい Powershell ベースの証明書管理コマンドレット
PowerCLI vSAN の追加サポート
Datastore provider、Copy-DatastoreItem improvements など

昨年の VMWorld で Dell の方が話されていた新しい SDK 関連の追加も入っていそうですが詳細情報がこの記事を書いている時点では未確認なので引き続き調査します。
VMWorld 2021 で何等か発表があるのかも？

AI/ML と開発者向けインフラ関連

vSphere with Tanzu Kubernetes 関連

GPU-enabled Kubernetes Clusters (VM Service with GPU) のサポート
Kubernetes Cluster 合理化されたネットワークセットアップ
ネットワーク構成のDHCPサポート、これは Core Tech Zone の記事にもありますが非常に便利になりそうです。
vSphere with Tanzu におけるエラーメッセージの改善

AI/ML 関連

NVIDIA AI Enterprise Suite (NVAIE) ソリューション
NVIDIA AI Enterprise Suite は PyTorch、TensorFlow、TensorRT、RAPIDS、Triton Inference Serverなどのフレームワークとツールが含まれ、デプロイおよび管理できるコンテナーとしてパッケージ化されるソリューションで、Tanuz の GPU サポートもここに関連してくる様です、が詳しいところはよく分からないのでもう少し調べます。
Bitfusion 4.0 の対応

セキュリティとコンプライアンス関連

ランサムウェアに関連する情報、対策ガイドライン

セキュリティ・脆弱性に関する VMSA : VMware Security Advisories <https://www.vmware.com/security/advisories.html>や従来の Hardening Guide <https://www.vmware.com/security/hardening-guides.html> と合わせて VMware 環境のセキュリティ強化のための Tips が纏まったサイトが公開されました

vSphere 基盤のセキュリティガイド、パッチ適用ポリシーについてもガイドがあるのでぜひご確認だください。

vSAN 7.0u3 で気になるアップデート

vSAN 関連も今回は大きな機能改善が多数、特に 2Node vSAN 構成でも PFTT と SFTT を利用したシングルノード内でさらにデータの冗長化を設定可能になる機能や、ストレッチクラスタ環境などにおいて、片方のサイト(AZ) が Witness サイトが同時に落ちた際に残ったサイトのみでも VM サービスを継続する事が可能になるなど、可用性の向上に重点がある様です、

また、今まで癖のあるクラスタシャットダウン運用が必要だった vSAN クラスタのノード全シャットダウン時の運用も UI で実装され、vCLS や Reboot Helper などの連携も自動で操作してくれるようになります。

Simplified Operations (操作の簡素化)

vSAN クラスタシャットダウンの簡素化 (プリチェックと各種自動処理)

昨年の vSphere 7.0u1 で vCLS が実装された時にクラスタ全シャットダウン時に vCLS Retreat Mode に入れて、その後メンテナンスモードにして vSAN Reboot Helper を実行してと非常に面倒になってしまった運用を UI に組み込んで欲しいとリクエストを上げていた機能が実装され、個人的には結構嬉しい Update です。

※ 本機能の詳細は先週に先行して Core TechZone で紹介されております。

Intelligent Cluster Aware Shutdown and Start-up Workflows
https://core.vmware.com/blog/intelligent-cluster-aware-shutdown-and-start-workflows

vSAN 全ノードシャットダウンというと、次回起動時にハード故障などで復旧できないコンポーネントがあった際にデータのシーケンス番号が一致しなくて VM が起動できなくなる場合があるなど、地味に痛い問題に対処するため過去いくつかのアップデートがありました。

vSAN 6.7u3 ～ vSAN 7.0u2 までは、以下の KB にある ESXi に組み込まれた vSAN Reboot Helper スクリプトを実行する必要がありましたが、今回の機能はこれらの操作も自動で実施してくれます。

Using a built-in tool to perform simultaneous reboot of all hosts in the vSAN cluster (70650)
https://kb.vmware.com/s/article/70650

主な機能は

vSAN クラスタの全ノードシャットダウン前のプリチェック
問題があった場合の検証と操作ガイドの提示
一連のワークフローシーケンスの実行調整
vCLS のシャットダウン連携 (恐らく Retreat Mode 連携してくれるはず)
起動時の自動復旧

などなど。

かなり細かいプリチェックと実行のフローが組み込まれているので、どのような動きが走るかは 7.0u3 リリース後、実機で試してみたいと思います。

Intelligent Cluster Aware Shutdown and Start-up Workflows | vSAN 7 Update 3 より
 https://youtu.be/Z8wZ6_W6m8w

ちなみに vCLS VM などの一部のシステム VM は自動シャットダウンの対象になりますが、File Services VM、Pod VM、NSX management VM なでゃ自動シャットダウンの対象にならないとの事なので、この辺りは通常 VM と同様にメンテナンス前に手動でシャットダウンが必要となります。

機能強化リクエストについて

今回のアップデートとは関係ありませんが、vSphere 7.0u1 から vSphere Client の右上に顔アイコンが追加され、機能改善要望などが誰でも簡単に送る事が出来るようになっています。

皆さんもぜひ機能追加や修正の要望がある際は顔アイコンからフィードバックを送ってみてください。
（送られたフィードバックやリクエスト vSphere Ideas Aha Portal に登録され VMware 社員が投票しあいます。要望が多いと実装確度も高まります）

Skyline Healthチェックの相関性

これまでもヘルスチェック機能は履歴や詳細分析機能が実装されたり、毎回強化されてきましたが、
vSAN 7.0u3 の新機能は、あるヘルスチェックと別のヘルスチェックの関係を理解して、迅速かつ効果的なトラブルシューティングが行えるように相関関係を説明してくれる強化が入りました。

問題が起きた時もそうですが、日頃の些細な警告も関連付けて調べる事が可能になるので重要なデータを正しく運用する上では重要なアップデートだと思います。

API 経由で vRealize Operations とも連動できるので、うまく取り廻せれば PowerCLI などで情報拾う事もできるかもしれません。

VM I/O Trip Analyzer

新たに VM の I/O のボトルネックがどこにあるのか、vSAN クラスタ内の複数のホスト、複数のドライブに分散配置される VM データがどこで遅延を生じているのかを可視化する機能、VM I/O trip analyzer が実装されます。

ヘルスチェックの相関関係と合わせて、vSAN の性能問題などが起きた時に何が原因かをより明確に、迅速に調べる事が出来るかなり有益な機能追加だと思います。

Network Health Check

vSAN 7.0u2 でもネットワークの詳細遅延の解析 View がパフォーマンスモニタに追加されましたが、今回もアップデートがあります。

vSAN 7.0u3 ではスイッチファブリックの可視性を高め、クラスター全体でより高いレベルのネットワーク一貫性を確保するために新しいメトリックとヘルスチェックが導入されました。問題が生じた際に分かり難くなりがちな LAG 構成時の切り分けに役立ちそうです。

vLCM 連携の強化

上の方の vSphere 7.0u3 の機能強化でも書きましたが、vSAN に対する親和性が広がっています。

vLCM の 2Node vSAN / ストレッチクラスタサポート
vSAN ドライブのファームウェアレベルのチェックをサポート
vSAN Witness Appliance のサポート
NVMe ストレージデバイスのファームウェアチェック、メンテナンスのサポート

Platform Enhancements (プラットフォームとしての機能強化)

2 Node vSAN 構成での Nested Fault Domain

2Node vSAN 構成時においても、PFTT・SFTT で段階を分けて保護可能なように可用性とデータ保護性が大幅に向上します。

具体的には、1ホストに 3 ディスクグループを搭載する事で、ディスクグループ間でデータのミラーと Witness コンポーネントを配置します。
この構成では1台のホスト障害時において、残ったホストで稼働中の VM はデータがホスト内ディスクグループ間でミラー化されるため、ディスク障害にもさらに耐えられる構成が可能になります。

ROBO 環境でより高い信頼性を確保したい場合に有用な方法です（ドライブが増える分ハードウェアコストは余計にかかりますが、vSAN ライセンスコストは変わらない）。

サイトダウン時の保護

従来の vSAN ストレッチクラスタや 2Node vSAN の場合、片方のサイト (AZ) と Witness サイトの二つが停止すると残ったもう一つのサイトではサービスの継続が出来ませんでした。

vSAN 7.0u3 では “Adaptive Quorum Control” (AQC) を利用する事で片方のデータサイトと Witness サイトの両方がオフラインの場合でも、残ったサイトの VM 保護とデータを引き続き使用できるようにすることで、VM とデータの可用性を向上させることが可能になりました。

クォーラム（オブジェクトの可用性の決定）の投票に関してはより詳細なデータが Docs や Core TechZone に公開されるはずなので挙動はそれを見て改めて説明を追記したいと思います。

vSphere NKP を利用した vSAN 暗号化時の TPM2.0 モジュールを利用した Key Persistence のサポート

vSAN 7.0u2 の際に紹介した vSphere の Native Key Provider を利用して vSAN 暗号化を組む機能と、サーバハードウェアに搭載された TPM 2.0 に暗号化キーを格納するキー永続性 : ESXi Key Persistence ) が併用可能になりました。

KMSにアクセスしなくても、再起動時にマウントされたホスト上の暗号化されたディスクグループが利用可能になるため、KMS が冗長化されていない環境や、KMS が遠隔地にあり接続性が担保されないなど事情がある場合に役立つ Key Persistence が vSAN でも利用可能になりました。

ROBO 環境の暗号化などで安価に、有効に利用できそうです。

vSAN File Shares のセキュリティ強化

vSAN File Shares では地味ですが、通常の Enterprise NAS では利用できていたアクセスベース列挙 (Access Based Enumeration :ABE ) がサポートされます。

※ ABE ではユーザー/グループのセキュリティ設定に基づいてフォルダ・ファイルの表示を制御する機能です。

Delive Developer Ready Infrastructure

最後、開発者向け Kubernetes 連携関連の情報はまとめるのが難しいのでかなり簡単に...

RWM volumes w/ Tanzu
vSAN File Service から vSphere with Tanzu に対して Read-Write-Many ボリュームの提供がサポート
k8s w/ stretched clusters
vSAN ストレッチクラスタ環境で Vanilla Kubernetes の利用がサポートされます(本バージョンでは Block-Base の RWO Persistent Volumes のみがサポートされ、File-Base の RWM Persistent Volumesはサポートされません)
Cloud Native Solutions の Partner Operator updates
Cloudian や MINIO といったパートナーソリューションの認定が、vCenter、vSphere、vSANの各バージョンのメンテナンスに紐づかない形で提供されるようになるとの事。

----

その他、Duncan Epping さんなどが Blog 投稿で非常に分かり易い説明されているのでご紹介します。