Powershell: Hyper-V hosts mit ausstehenden Neustarts (pending Reboots) erkennen, evakuieren und automatisiert Neustarten

Veröffentlicht in: Hyper-V, Powershell, Windows

Versetzt Hyper-V hosts mit pending reboots in den Wartungsmodus, startet diese neu und deaktiviert anschließend den Wartungsmodus wieder
Damit einher geht die Evakuierung der VMs vor dem Reboot und eine abschließende Clusteroptimierung:

 

<#———————————————————————————
Reboot-PendingBootSCVMHosts Skript
Versetzt Hyper-V hosts mit pending reboots in den Wartungsmodus, startet diese neu und deaktiviert anschließend den Wartungsmodus wieder
Damit einher geht die Evakuierung der VMs vor dem Reboot und eine abschließende Clusteroptimierung
Ersteller:       Oliver Sommer
———————————————————————————#>

Clear-Host

$VMHostNoClusters = $null
 $VMHostNoClusters =@()

$VMHosts = $null
 $VMHosts =@()

<# ---- Start Auskommentieren bei Verwendung der automatischen Hostliste weiter unten.       -----
 ## ---- Bei Verwendung der auto Hostliste einfach das in der nächsten Zeile am Ende nach # folgende > entfernen! -----
 #

$VMHosts += "Host012"
$VMHosts += "Host023"

<# ---- Ende Auskommentieren bei Verwendung der Auto Hostliste weiter unten -----#>

<# ---- Start Auskommentieren bei Verwendung der manuellen Hostliste weiter oben.            -----
 ## ---- Bei Verwendung der manuellen Hostliste einfach das in der nächsten Zeile am Ende nach # folgende > entfernen! -----
 #>

# Automatisiertes Bestimmen welche Hosts 'Pending Reboots' haben:

Write-Host "Alle Host der Domäne auf pending Reboot prüfen:" -ForegroundColor Green

$AllVMHosts = Get-SCVMHost

foreach ($AllVMHost in $AllVMHosts)
 {
 Write-Host
 Write-Host "Bestimme pending Reboot für: " $AllVMHost
 $PendingHost = Invoke-WmiMethod -ComputerName $AllVMHost -Namespace "ROOT\ccm\ClientSDK" -Class CCM_ClientUtilities -Name DetermineIfRebootPending

If ($PendingHost.RebootPending -eq $true)
 {
 write-Host "Pending reboot: " $PendingHost.RebootPending -ForegroundColor Yellow
 $VMHosts += $PendingHost.__SERVER
 Write-Host "Füge" $PendingHost.__SERVER "der abzuarbeitenden Hyper-V Host Liste hinzu!"
 }
 Else
 {
 write-Host "Pending reboot: " $PendingHost.RebootPending -ForegroundColor Green
 }
 }

<# ---- Ende Auskommentieren bei Verwendung der manuellen Hostliste weiter oben -----
 #>

Write-Host
 Write-Host "Hyper-V Hosts mit Pending reboot:" -ForegroundColor Yellow

foreach ($VMHost in $VMHosts)
 {
 Write-Host $VMHost

# Hole Hostobjekt zu jedem Host mit Pending Reboot, der Clustermitglied ist
 $VMHostobject = Get-SCVMHost -ComputerName $VMHost
 if ($VMHostobject.HostCluster -eq $null)
 {
 $VMHostNoClusters += $VMHost
 }
 }

# Warnung ausgeben, falls nicht geclusterte Hosts erkannt wurden:
 If ($VMHostNoClusters -ne $null)
 {
 Write-Host
 Write-Host "Hosts die nicht Teil eines Hyper-V Clusters sind werden Fehler beim Wartungsmode Job erzeugen!" -ForegroundColor Red
 Write-Host "Die nicht geclusterten Server lauten:" -ForegroundColor Yellow
 Write-Host $VMHostNoClusters -ForegroundColor Yellow
 Write-Host
 }

# Cluster array variable init, für späteres ClusterOptimizing
 $VMHostClusters = $null
 $VMHostClusters =@()

#Write-Host ------------------------------------------------
 Write-Host
 Write-Host "Start der Abarbeitung:" -ForegroundColor Yellow

ForEach ($VMHost in $VMHosts)
 {
 $VMHostobject = Get-SCVMHost -ComputerName $VMHost
 Write-Host
 write-host Durchlauf für $VMHost : -ForegroundColor Green

$MModeHost = $false

Write-Host Bestimmen ob Host $VMHost bereits im MaintenanceMode ist...
 If ($VMHostobject.Overallstate -eq "MaintenanceMode")
 {
 $MModeHost = $true
 Write-Host $VMHost ist bereits im MaintenanceMode! -ForegroundColor Yellow
 }
 Else
 {
 Write-Host $VMHost bisher NICHT in MaintenanceMode!
 }

If ($VMHostobject.HostCluster.Name -ne $null)
 {
 Write-Host
 write-host $VMHost ist Node im Cluster $VMHostobject.HostCluster.Name
 $VMHostClusters += $VMHostobject.HostCluster.Name

<# Falls der Host durch Netbackup oder anderes VMs im (locked) mode haben sollte, hilft die folgende
 # Kill VMMs und start VMMs Routine ggf. dabei die VMs doch verschieben zu können
 #

# Kill Prozess Virtual Maschine Management Service
 Write-Host
 Write-Host Kill Prozess VMMs auf $VMHost
 Invoke-Command -ScriptBlock {Stop-Process -name vmms -Force} -ComputerName $VMHost

# Start Prozess VMMs
 Write-Host
 Write-Host Start Prozess VMMs auf $VMHost
 Invoke-Command -ScriptBlock {Start-Process vmms} -ComputerName $VMHost

Write-Host
 Write-Host 10 Sekunden Pause zum Start des VMMs Service und Erkennen in SCVMM
 Start-Sleep -Seconds 10
 #

# Refresh Host, damit die SCVMM Verbindung wieder hergestellt ist bevor
 # Maintenance Mode aktiviert wird

Write-Host
 Write-Host Führe Refresh-VMHost aus um die SCVMM Verbindung nach Kill VMMs sicherzustellen
 Read-SCVMHost -VMHost $VMHost >$null
 #>

# Maintenance Mode im Cluster
 Write-Host
 write-Host Evakuierung und Wartungsmode von $VMHost wird eingeleitet.... -ForegroundColor Yellow

If ($MModeHost -eq $false)
 {
 Disable-SCVMHost -VMHost $VMHost -MoveWithinCluster >$null
 }

If ($VMHostobject.Overallstate -eq "MaintenanceMode")
 {
 Write-Host
 write-Host Neustart von $VMHost wird eingeleitet.... -ForegroundColor Yellow
 Restart-SCVMHost -VMHost $VMHost -Confirm:$false >$null

# Härteres Herunterfahren via iRMC/iLO mit -UseOutOfBandChannel ggf. wie folgt:
 # Restart-SCVMHost -VMHost $VMHost -UseOutOfBandChannel -RunAsynchronously
 }

If ($MModeHost -eq $false)
 {
 # Maintenance Mode beenden
 Write-Host
 write-Host Wartungsmode von $VMHost wird beendet.... -ForegroundColor Yellow
 Write-Host
 Enable-SCVMHost -VMHost $VMHost -RunAsynchronously >$null
 }
 Else
 {
 Write-Host $VMHost "befand sich vor dem Skritplauf schon im Maintenancemode, daher wird dieser nicht beendet..." -ForegroundColor Yellow
 }
 }
 else
 {
 Write-Host
 write-host $VMHost ist nicht geclustered!! -ForegroundColor Red
 }

write-host ------------------------------

}

# Cluster array variable sortieren und mehrfache Einträge entfernen, für anschließendes ClusterOptimizing
 $Clusters2Optimize = $VMHostClusters | Sort-Object -Unique

Write-Host
 Write-Host "Alle Cluster der Hyper-V Hosts mit Pending Reboots:"
 Write-Host $Clusters2Optimize

ForEach ($VMHostcluster in $Clusters2Optimize)
 {
 Write-Host
 Write-Host Opimierung für $VMHostcluster starten... -ForegroundColor Yellow

$hostCluster = Get-SCVMHostCluster -Name $VMHostcluster
 Start-SCDynamicOptimization -VMHostCluster $hostCluster >$null
 }

#>

SCVMM 2012 R2: "Install Virtual Guest Services" does not install current version of VMGuest Additions

Veröffentlicht in: 2016, Hyper-V, Powershell

Durch Installation u.a. der für Hyper-V empfohlenen Hotfixes aus der Liste unter https://support.microsoft.com/en-us/kb/2974503 wurden die Hyper-V Virtual Maschine Additions (aka vmguest.iso, VMAdditions, Hyper-V Additions, etc.) auf den Hyper-V Hosts (hier Hyper-V 2012 R2) aktualisiert.
Dies erfolgt z.B. durch den Hotfix 3063283.

Im vorliegenden Fall auf Version 6.3.9600.17831 oder kurz 17831.

Da SCVMM (System Center Virtual Maschine Manager 2012 R2) eingesetzt wird, sollten die VMs (virtuellen Maschinen) über die Funktion “Install Virtual Guest Services” unter “VMs and Services” aktualisiert werden.

Leider stellte sich heraus, dass VMM diesen Job zwar angeblich erfolgreich ausführte, aber die Version der “VMAdditions” der VMs sich nicht änderte, sprich auf dem alten Stand vor 17831 verblieb.

„SCVMM 2012 R2 CU8 aktualisiert die virtuellen Maschinen nicht mit der auf den Hyper-V (Datacenter 2012 R2) Hosts aktualisierten VM Guest Services, sondern anscheinend mit der vorherigen (alten) Version.

oder auch

Set-SCVirtualMaschine -VM <VMname> -InstallVirtualizationGuestServices $True

Ist zwar erfolgreich, aber aktualisiert die Guest Services nicht, aka die Versionsnummer in SCVMM bleibt gleich, auch nach einem Reboot und SCVMM Refresh der VM.“

 

Auffällig scheint das evtl. 2012 (also nicht 2012 R2) VMs sehr wohl aktualisiert werden können, da wir aber nur eine kleine Anzahl 2012er VMs haben können wir das aktuell nicht so ohne weiteres bestätigen.

Das Issue scheint als Bug schon bei MS gelandet zu sein:

https://www.experts-exchange.com/questions/28896823/How-do-I-upgrade-the-version-of-Hyper-V-Integration-Services-that-SCVMM-2012-R2-offers-to-VMs.html

Erst ein Case beim Microsoft Support brachte aber die Gewissheit, das es sich wirklich um einen bereits bekannten Bug handelt:

Bug 6653803:[RFH] : VM addition upgrades fail after patching hosts with Hyper-V hotfix 3063283

https://microsoft.visualstudio.com/DefaultCollection/WSSC/_workitems?id=6653803&_a=edit

Repro Details

1.  Please detail the exact steps needed to repro this problem. This includes:

· Detailed repro steps

· Hardware configuration

· Network infrastructure / configuration

· Operating system version

· SC product version (including UR upgrades)

a. VMM 2012 R2 UR8 on Windows Server 2012 R2.

b. Hyper-V host running Windows Server 2012 R2.

c. Guest VM running Windows Server 2012 R2.

d. Apply hotfix 3063283 on the host.

e. Shut down the VM.

f. In VMM Console, select the VM and click Install Virtual Guest Services.

g. In job history, wait for the „Change properties of a virtual machine“ job to complete.

h. Start and refresh the VM.

Expected:  VM Additions show as 6.1.7601.17514

Actual:  VM Additions show as 6.1.7601.17514

Bis auf die, im vorliegenden Fall neueren Versionsnummern 17831 deckte sich das Verhalten mit der Problemstellung beim Kunden.

Als Workaround empfiehlt MS die alternative Verteilung der VMAddtions z.B. mittels SCCM oder auf dem manuellen Wege über das Anhängen der VMGuest.iso an jede VM und dann geskripted oder manuelles Einloggen in die VM und Installieren der Additions auf dem Wege. Letzteres erfordert leider Login und Adminrechte in den VMs, die wir bei dem Kunden nicht auf allen VMs haben, weshalb dieser Workaround nicht praktikabel erschien.

Letztes haben wir uns für folgenden Workaround entscheiden, welche die gewünschte Funktionalität unter SCVMM wieder herstellt:

Manually copy vmbus.sys from vmguest.iso to the %windir%\System32\drivers folder on the Hyper-V hosts.

Später, bzw. ggf. auf Anfrage, gerne das Powershell skript zum Kopieren der vmbus.sys auf alle Hyper-V Hosts einer SCVMM Umgebung.

Hier nur mal die entscheidende Zeile, welche die Datei kopiert:

Copy-Item -Path \\Server\freigabe\quelldatei\vmbus.sys -Destination \\$VMHost\C$\Windows\System32\Drivers

Migration aller VMs eines Hyper-V Hosts per Powershell

Veröffentlicht in: Hyper-V, Powershell, VMM

Mit dem folgenden Powershell snipplet werden alle VMs eines Hyper-V Hosts (hier eines Clusterknotens, –HighAvailablity $true) auf einen anderen Hyper-V Host migriert.
Mittels des –RunAsyncronously attributes kann festgelegt werden, ob eine VM nach der Anderen oder so viele wie die Migrationseinstellungen der Host gleichzeitig zulassen migriert werden:

$SourceHost = Get-SCVMHost | where { $_.Name -eq „<souceHost-FQDN>“ }

$TargetHost = Get-SCVMHost | where { $_.Name -eq „<TargetHost-FQDN>“ }

# alle VMs des Sourcehost bestimmen

$VMs = Get-SCVirtualMachine -VMHost $SourceHost

#Schleife um alle VMs (asynchron) zu migrieren

ForEach($VM in $VMs)

{

Move-SCVirtualMachine -VM $VM -VMHost $TargetHost -HighlyAvailable $true -RunAsynchronously

}

Powershell: Processor Combatibility mode für Hyper-V VMs

Veröffentlicht in: Allgemein, Powershell, VMM

Die CPU Kompatibilität für virtuelle Hyper-V Maschinen kann zur Live Migration der VMs auf einen Host mit einer anderen Prozessor Generation notwendig sein.
Daher empfehle ich immer diesen Modus auf allen VMs zu aktiveren, die nicht explizit auf die erweiterten Features angewiesen sind.

 

image

 

Im aktuellen Projekt hatten wir die Herausforderung dies bei allen VMs einer Domain umzustellen, natürlich dann nicht mehr per Hand/GUI, sondern natürlich mal wieder per PowerShell! Smiley

 

Ich habe also mal schnell ein kleine Skript gebaut, welches das für alle VMs einer Domain mit integriertem System Center Virtual Maschine Manager (VMM) umsetzt:

Voraussetzung ist, das alle VMs ausgeschaltet/heruntergefahren sein müssen!

 

Clear-Host

$VMs = Get-SCVirtualMachine

ForEach ($VM in $VMs)

{

Write-Host

Write-Host „Setze LimitCPUForMigration auf ‚true‘ für VM “ $VM -ForegroundColor Yellow

# ohne Setzen von GuestOS Shutdown:

Set-SCVirtualMachine -VM $VM  -CPULimitForMigration $true

# mit Setzen von GuestOS Shutdown:

# Set-SCVirtualMachine -VM $VM -CPULimitForMigration $true -StopAction ShutdownGuestOS

}

 

Der zweite (auskommentierte Teil) der Schleife würde auf der VM auch gleich das automatische Herunterfahren der VM (standard ist hier “speichern/safe state”) bei der “Automatic Stop Action” eintragen.
Dies haben wir hier beim Kunden auch direkt mit umgesetzt.