ad1

2019年3月20日水曜日

ESXi で FC 16Gbps 直結(DAS)構成にしたい場合の注意点

以前に Dell コミュニティで回答した内容になるのですが、
FC接続の外部ストレージをDAS接続で利用する際の注意点として、FC 16Gbps は FC-AL をサポートしないので ESXi ではPoint to Point (P2P/PTP/Fabric) 接続となります。

これによる弊害は、パス断から復帰した時に自動では Fabric Login されず、LUN は切断されたままになります。

過去にいくつかコミュニティで回答している例があるので参照先としてご利用ください。
パスが確実に接続、自動で戻るようにしたい場合は、FC 8Gbps で FC-AL を利用するように HBA とストレージを設定する事をお勧めします。

ただ、最近は FC-AL に対応していない FC 16Gbps HBA (Emulex LPe 3x00x シリーズ や Qlogic QLE 274x シリーズ) もあり、どうしても PTP で DAS 接続する必要がある場合は esxcli で強制的に Fabric Login する事で LUN の利用が出来ます。

esxcli storage san fc reset -A vmhbaX

詳細は以下の KB にて説明されています。
起動時に LUN が見えない、などの事象があるときは 上記の esxcli コマンドをスクリプト化して、rc.local などで起動時に実行されるようにする事も出来ます。
Modifying the rc.local or local.sh file in ESX/ESXi to execute commands while booting (2043564)
https://kb.vmware.com/kb/2043564



※ 強制 Fabric Login する以外に何か良い手段ご存知の方いらっしゃいましたら教えてください…

2019年3月17日日曜日

調べものや自己学習に有用な Vmware ハンズオンラボ (HOL) のドキュメント

ちょっとした検証や操作方法の確認に重宝する Vmware ハンズオンラボ (HOL)



そのラボ内で閲覧している操作手順書などは、それぞれのラボ内から参考資料としてダウンロードも可能ですが、
以下の 「Hands-on Labs - Content Catalog」にて過去の HOL の手順書含めて各国の言語で HTML でオンラインで閲覧でき、PDF ファイルでもローカル保存が可能です。

Hands-on Labs - Content Catalog
http://docs.hol.vmware.com/



HOL だと、古いコンテンツは利用できなくなってしまいますが、
過去バージョンのドキュメントも Hands-on Labs - Content Catalog ならば現在でも閲覧可能なので振り返りにも調べものにも便利です。

個人的には HOL 内の検索でラボを探すよりも、このカタログ内で絞り込みして Description をテキスト検索かけた方が目的のラボにたどり着くのが早いです。

ちなみに Hands-on Labs - Content Catalog の一覧情報は json 形式のファイルでも直接入手が可能です。
http://docs.hol.vmware.com/catalog/hol-content-catalog.json

PDFファイルを一つ一つダウンロードするのは面倒なとき、PowerShell などスクリプトに 読み込ませて自動でダウンロード、ファイル名を変更なども割と手軽にできます。
PCのローカルに保存しておいて、調べ物の時にテキスト検索で探す事も可能なのでとても便利です。
※対象絞り込まずに一気にダウンロードすると大量のデータ転送が始まるのでご注意ください。

vSAN キャッシュ層 SSD の選定・サイジングのおさらい(2019年版)

vSAN を構成する各 ESXi ホストのディスクグループのサイジングに関して、過去のナレッジ(特に HY vSAN)では仮想マシンの容量(FTT=0 相当の冗長化無しの容量)の合計の10%を按分した容量がキャッシュSSDのサイジングの目安でした。
しかし、AF vSAN構成においては単純に10%の容量だけのサイジングではなく、
想定するパフォーマンス(IOPS)とワークロード(Read:Write比、Random:Sequential比)に応じてキャッシュ層デバイスのサイズを決定する指針が2017年1月にVmware公式ブログにてアナウンスされました。
現在はこのサイジングの指針が StorageHub などの公式ガイドにも記載されています。

Designing vSAN Disk groups – All Flash Cache Ratio Update
https://blogs.vmware.com/virtualblocks/2017/01/18/designing-vsan-disk-groups-cache-ratio-revisited/

Flash Cache Sizing for All-Flash Configurations (StorageHub)
https://storagehub.vmware.com/t/vmware-vsan/vmware-r-vsan-tm-design-and-sizing-guide-2/flash-cache-sizing-for-all-flash-configurations-6/

これにより用途によっては、AF vSAN のキャッシュ層 SSD は仮想マシン容量の10%よりも少なく済む場合もあり、逆に高いパフォーマンスが求められる環境では10%以上の容量が推奨される場合があります。

2019年3月7日木曜日

vSphereの性能検証・調査時の有用な情報(ESXTOP・Performance Deep Dive系)の紹介

先日 VMTN の質問に回答した内容で、Vmawre vSphere 環境での性能検証やトラブルシューティング時に参考となるパフォーマンス ベストプラクティス系のドキュメントを紹介したので改めて整理しました。
今回紹介するのは先日のvSAN系ドキュメントと同じく基本的に無償公開されているeBook、公式のガイドががメインです。

vSphere パフォーマンス ベストプラクティス・ディープダイブ 系のドキュメント

VMware vSphere 6.5 Host Resources Deep Dive

一昨年無償公開された 「VMware vSphere 6.5 Host Resources Deep Dive」 、以下のRubrik のリンクからダウンロードが可能です。
VMware vSphere 6.5 Host Resources Deep Dive
https://pages.rubrik.com/host-resources-deep-dive_request.html

vSphere 6.7 Clustering Deep Dive

こちらもRubrikのリンクから登録する事で無償公開されているvSphere 6.7版のclusterディープダイブの本です。
読み応えあります。
vSphere 6.7 Clustering Deep Dive
https://pages.rubrik.com/clustering-deep-dive-ebook.html

公式の vSphere パフォーマンス ベストプラクティス ガイド

手元にDLしておくと役立つ公式のベストプラクティス。
vForum や VMworld の Performance Deep Dive 系のセッションもここからの情報が多数あります。
情報量が英語で非常に盛りだくさんなので、私はvForumの資料を読むときに合わせて参照して、興味のある所を深掘りしたり、人から質問された際に改めて深く読んでいます。



Performance Best Practices for VMware vSphere 6.7

Performance Best Practices for VMware vSphere 6.5

パフォーマンスカウンタ と ESXTOP について

vSphereで性能検証したりパフォーマンス問題の切り分け時に利用するパフォーマンスモニタやESXTOP、そのカウンターの見方が詰まった資料集です。

Virtualizing Performance Counters – VMware Labs
ちょっと前の資料でだいぶディープなものですが、Vmware vSphere でのパフォーマンスモニタリングの考え方、ハードウェアとソフトウェアの双方の視点でのナレッジが以下のドキュメントにまとまっています。
https://labs.vmware.com/academic/publications/virtualizing-performance-counters

ESXTOPの公式ドキュメント
パフォーマンス監視ユーティリティ: resxtop および esxtop

vCenter Performance Counters
https://communities.vmware.com/docs/DOC-5600

Duncan EppingさんのESXTOPに関してのブログ記事
各パフォーマンスカウンターをどう読み取れば良いか分かりやすく説明されています。
http://www.yellow-bricks.com/esxtop/

Florian GrehlさんのESXTOPに関してのブログ記事
ESXTOPで収集可能なカウンターが最新の情報で説明されています。
https://www.virten.net/vmware/esxtop/

esxtop Performance Countersちょっと古い記事ですが、コミュニティにまとめられたESXTOPのパフォーマンスカウンターに関しての記事
https://communities.vmware.com/docs/DOC-5240



その他、思い出したもの、見付けた有益な資料、URLを追加していこうと思います。

2019年2月13日水曜日

vSAN お勧めドキュメント・書籍のご紹介(2019年版)

2018年末から2019年初めにかけて、Vmware vSAN 関連で最近のお勧めのドキュメント、書籍の新版が相次いでリリースされましたので、eBookで入手できるものをまとめました。
無償のものが多いので直ぐに活用できます。

VMware vSAN 6.7 U1 Deep Dive (kindle版 1,149円)

vSANエンジニアのDuncan EppingさんとCormac Hoganさんが著者の最新 vSAN 6.7u1 の詳細技術本です。
400ページ近い技術本ですが、著者の方々の配慮で非常に入手しやすい価格で手に入れる事が出来ますので、vSANに興味のある技術者ならば一読の価値があります。

TwitterやvSAN公式ブログで昨年末から抽選でプレゼントのキャンペーンをしていますが、米国kindle版限定のようなので、日本のAmazonアカウントでkindleを利用される場合は以下の日本版の方を購入した方が便利です。
VMware vSAN 6.7 U1 Deep Dive (English Edition) Kindle版

VMware vSAN 公式ドキュメント

vSAN関連の公式ドキュメントですが、各バージョン毎に用意されているのと、主要なものはPDFでもダウンロード可能です。
https://docs.vmware.com/en/VMware-vSAN/index.html

以下、設計・導入ガイド、管理ガイド、監視・トラシューガイドの3点の2019年2月時点の最新 vSAN 6.7u1のドキュメントのリンクとなります。

vSAN Planning and Deployment

https://docs.vmware.com/en/VMware-vSphere/6.7/vsan-671-planning-deployment-guide.pdf

Administering VMware vSAN

https://docs.vmware.com/en/VMware-vSphere/6.7/vsan-671-administration-guide.pdf

vSAN Monitoring and Troubleshooting

vSAN 6.7u3 版(2019/08 追記)
https://docs.vmware.com/en/VMware-vSphere/6.7/vsan-673-monitoring-troubleshooting-guide.pdf
vSAN 6.7u1 版
https://docs.vmware.com/en/VMware-vSphere/6.7/vsan-671-monitoring-troubleshooting-guide.pdf

Storage Hub : VMware vSAN

もう一つの公式ドキュメント、Storage Hub のvSAN関連のドキュメント集です。
ベストプラクティス、デザインガイドの他、次に紹介する「PowerCLI Cookbook for vSAN」のような運用関連のTips集が公開されています。
HTMLで閲覧する事も、PDFとしてダウンロードする事も可能です。

PowerCLI Cookbook for vSAN

先月公開された PowerCLI で vSAN クラスタを構築、管理、運用する上でのTipsが満載の公式ドキュメントです。
著者は Vmware の Staff Technical Marketing Architect の Jase McCarty さんで、定期的にオンライン Webinar も開催していますので興味ある方は FaceBook や Twitter で Vmware PowerCLI をフォローしておくと案内が流れてきます。

初めてPowerCLIを利用する方でも取っ付き易い様に、PowerCLIのインストール手順から、クラスタを構築する際のコマンドレットのサンプル、vSANの運用の要であるポリシー運用のPowerCLIでの利用も紹介されています。

https://storagehub.vmware.com/section-assets/powercli-cookbook-for-vsan

Migrating to vSAN

Storage Hub の vSAN Tips の一つで、いろいろな既存環境からvSAN環境への仮想マシンのマイグレーション方法が記されています。
PowerCLIを利用した既存クラスタからvSANクラスタへの Cross vCenter vMotion without SSO など有益な情報が満載です。こちらもPDFでエクスポート可能です。

https://storagehub.vmware.com/t/vmware-vsan/migrating-to-vsan/

また、vSAN を基盤に利用している VCF への各種環境からの仮想マシンの移行方法がWhitePaper にまとめられていますので、以下もダウンロードしておくと便利です。

https://www.vmware.com/content/dam/digitalmarketing/vmware/en/pdf/products/cloud-foundation/vmware-cloud-foundation-workload-migration-white-paper.pdf

Operationalizing VMware vSAN

2019年1月にリリースされたvSANの運用にフォーカスしたeBookで、こちらも無償でPDF版が入手できます。
https://blogs.vmware.com/services-education-insights/files/2019/01/Operationalizing-VMware-vSAN.pdf

vSAN 6.2 Essential

vSANエンジニアのDuncan EppingさんとCormac Hoganさんが2017年末に無償公開したvSAN 6.2 Essential のデータが PDF・epub・mobi 形式でダウンロード可能です。
現在でも非常に有益な書籍なのでお勧めです。

https://legacy.gitbook.com/book/vsan-essentials/vsan-6-2/details


その他にも沢山ありますが、今回は無償または低価格ですぐに入手出来て活用できるものとしてお勧めのドキュメントを紹介させて頂きました。

2019年2月3日日曜日

vSAN HCLに掲載されているデバイスを正しく実機と同じか把握する方法

vSAN環境を利用している場合はアップデート作業の前には必ずVMware Compatibility Guide vSAN HCLをチェックして、適切なバージョンのファームウェア、デバイスドライバを用意する事を推奨していますが、

「HCLに同じだったり似たような名前のHBAがリストされていて、どれを見るべき?」

と質問されましたので、
実際利用しているハードウェアとvSAN HCL記載のデバイスを正しくマッチさせるための調べ方を共有します。

※詳細はKB「『VMware ハードウェア互換性ガイド (HCL)』を使用して ESXi/ESX ホスト PCI デバイス (HBA) の正しいドライバを特定する (1031534)」にも記載がありますが、
ちょっと分かり難いので、今回は esxcli コマンドと esxcfg コマンドを利用する方法を紹介します。
※ 以前の KB 1031534 の内容は KB 1027206 に統合されたため以下を参照願います。

vSAN HCLの最新情報のチェック

vSANのHCL<VMware Compatibility Guide vSAN HCL>は、初期画面だとvSAN Ready Nodeのリストになるので、HBAなど個別コンポーネントをチェックする場合は、上記vSAN HCLページを少し下にスクロールして、
「認証コンポーネントを基盤とした構築」をクリックして画面を切り替えておきます。


例えば、IO Controller(HBA・RAIDカード)でDellのHBA330やH730などのカードを利用していた時はキーワードで検索すれば対象のHCLがリストされますが、
似ている名称、同名のカードがいくつも出てくる時があります。



ここで重要になるのは、
実際にサーバーに搭載しているカードがどれか、正しく判別するためには上のキャプチャにある「製品の説明」欄、または各カード名をクリックして詳細を表示した際に表示される、VID、SVID、DID、SDIDを実機のものと照らし合わせます。
それぞれの値が各ハードウェア固有の数値となります。
  • VID = ベンダー ID
  • SVID = サブベンダー ID
  • DID = デバイス ID
  • SDID = サブデバイス ID
    ※ Compatibility List では SSID と記載されていますが、SubDevice ID の略称なので SDID で本投稿では統一しています
実際にサーバーに搭載されているハードウェアの詳細はKBに記載のある vmkchdev -l コマンドや、esxcfg-info コマンドでも調べられますが、個人的には esxcli コマンドか、esxcfg-scsidevs などを利用するのが手っ取り早いかと思います。

デバイス情報全般を確認する際のesxcliのオプションは以下です。

esxcli hardware pci list

出力される情報が多いので、パイプでlessに渡すか、Teratermなどで結果を貼り付けてデバイス名(HBA330など)で検索するかで絞り込みます。
[root@tokyo-esxi01:~] esxcli hardware pci list
~中略~ 
0000:18:00.0
   Address: 0000:18:00.0
   Segment: 0x0000
   Bus: 0x18
   Slot: 0x00
   Function: 0x0
   VMkernel Name: vmhba0
   Vendor Name: Avago (LSI Logic)
   Device Name: Dell HBA330 Mini
   Configured Owner: VMkernel
   Current Owner: VMkernel
   Vendor ID: 0x1000
   Device ID: 0x0097
   SubVendor ID: 0x1028
   SubDevice ID: 0x1f53

   Device Class: 0x0107
   Device Class Name: Serial Attached SCSI controller 
~以下略~
 この様な形で、vSAN HCLのサイトに掲載されているVID、SVID、DID、SDIDを正確に確認する事が出来ます。

もっと簡単に絞り込みができるのが esxcfg-scsidevs コマンドです。
以下の例では PowerEdge に搭載された HBA330 であることもサクッと分かります。
[root@tokyo-esxi01:~] esxcfg-scsidevs -a
vmhba0  lsi_msgpt3        link-n/a  sas.54cd98f047153a00                    (0000:17:00.0) Avago (LSI Logic) Dell HBA330 Mini
vmhba1  vmw_ahci          link-n/a  sata.vmhba1                             (0000:00:11.5) Intel Corporation Lewisburg SATA AHCI Controller
vmhba2  vmw_ahci          link-n/a  sata.vmhba2                             (0000:00:17.0) Intel Corporation Lewisburg SATA AHCI Controller
vmhba3  vmw_ahci          link-n/a  sata.vmhba3                             (0000:65:00.0) Marvell Technology Group Ltd. Dell BOSS-S1 Adapter
vmhba0 が調べたいデバイスであることがわかり、ドライバ名 (lsi_msgpt3) も確認できます。

ドライババージョンを確認する場合は vmkload_mod コマンドでドライバ名を指定します。
[root@tokyo-esxi01:~] vmkload_mod -s lsi_msgpt3 | grep -i version
 Version: 17.00.02.00-1vmw.670.3.73.14320388

PCI List で確認したデバイスの各 ID を確認するためには vmkchdev を利用します。

[root@tokyo-esxi01:~] vmkchdev -l | grep vmhba0
0000:17:00.0 1000:0097 1028:1f53 vmkernel vmhba0
左から順番に VID、SVID、DID、SDID で確認できます。


ここまで、HBA など IO controller での確認方法となりますが、KB には NIC などの確認方法も掲載されていますので、詳細は以下の KB を参照願います。

最近のvSAN 6.6.x や vSAN 6.7.x ではvCenter vSphere Client でvSANの構成アシストやヘルスチェックの機能が充実しているので、
利用中のHBAなどのファームウェアやデバイスドライバがきちんとvSAN HCLに準拠したものを利用しているかどうか、明確にわかるようになりました。

最新のvSAN HCLの情報を正しく認識させておくためには、vSAN 健全性サービス - vSAN HCL の健全性 – vSAN HCL DB の最新の状態 (2109870) を参照し
定期的にvSAN HCL DBのファイル
 http://partnerweb.vmware.com/service/vsan/all.json
をダウンロードし、vCenter vSAN 健全性情報を更新しておきます。


2019年1月24日木曜日

PCに取り込んだvCenter証明書の削除方法(Windows 10, Server 2016の場合)

検証環境などで作り直しが多く発生する環境で、証明書期限が切れたり作業環境に取り込んだ証明書が以前のものとダブっててアクセスできなかったり、Windows では大丈夫なのに Mac の Chrome などのブラウザで弾かれてしまうといったことがあります。

今回はそれらの回避方法の覚え書きです。

※Firefoxは割と雑(?)で再取り込みすれば表示出来るようです。

事象:ブラウザでオレオレ証明書のサイトが開けなくなる


上画面のように Chrome で検証環境の Web UI にアクセスした際に、証明書の許可が出来ない時などに " NET::ERR_CERT_INVALID " のエラーコードや、" このウェブサイトからいつもとは異なる誤った認証情報が返されました "などと表示されます。

いつもなら無視して先にすすめるのですが、上画面のように無視して先に進めない場合は以下の二通りの方法で回避が可能です。

証明書のリスクを無視する方法

とりあえず回避する方法では、上記の " NET::ERR_CERT_INVALID " のエラーが表示された画面で

thisisunsafe

とキーボードで打つだけです。
※ 画面上に何も表示されませんが、thisisunsafe と打てば画面が次に進むはずです。

毎回打つのがめんどくさい、以前証明書を取り込んだのが悪さしているかも?という場合は次の手順を行ってください。

※ Mac OS の場合、Windows で問題なかったサイトでも " NET::ERR_CERT_INVALID " が表示されることがあります。その時は面倒ですが thisisunsafe してください。

以前取り込んだ証明書が悪さをしている場合は証明書を削除

@ITの以下の記事を参照した手順なので、より詳細は@ITの以下の記事を参照してください。

以前取り込んだ証明書を削除して、再度きれいな状態にします。

今回は以前の投稿(vCenterの証明書取り込み)の環境の証明書を削除します。

いつものように接続するには以前取り込んだ証明書を管理コンソールから削除する必要があります。

証明書を取り込んだ場所によって、以下のローカルコンピュータか、ユーザーかで開くコンソールが異なります。

以下のプログラムを実行します。

  • ローカルコンピュータ
    certlm.msc
  • 個人
    certmgr.msc


証明書をインポートした場所を開きます。ここでは「信頼された証明機関」を選びました。

vCenterのオレオレ証明書の場合は、以下のように発行先、発行者がCAになっています。
ここは個人がインポートしたものを正しく選択してください。

※ vCenter Server Appliance ( vCSA 6.7 / vCSA 7.0)を初期デプロイした際の証明書情報は以下の"/usr/lib/vmware-vmca/share/config/certool.cfg" にて確認できます。

cat /usr/lib/vmware-vmca/share/config/certool.cfg
#
# Template file for a CSR request
#

# Country is needed and has to be 2 characters
Country = US
Name    = CA
Organization = VMware
OrgUnit = VMware Engineering
State = California
Locality = Palo Alto
IPAddress = 127.0.0.1
Email = email@acme.com
Hostname = server.acme.com
この Name = CA が今回削除対象のものとなります。

プロパティの中身は以下のようになり、自分が取り込んだものだと分かります。

削除します。

削除後、ブラウザを開いているタブを全部閉じ、再起動すればいつものオレオレ証明書の許可画面が開くと思います。
ここまで来ても再びエラーが出るときは恐らく画面上に「HSTS が使用されているため、現在アクセスできません」などと表示されているかもしれません。
その時は Chrome の URL 欄に
chrome://net-internals/#hsts
と入力し、一番下にスクロールして " Delete domain security policies " 欄に問題のドメイン FQDN を入力して削除を実行してください。
恐らくアクセスできるようになります。


以上、ちょっとしたTipsでした。

過去30日でアクセスの多い投稿