VCSA: 503 Service Unavailable Error Fixed

Disclaimer: The procedure described below is not officially supported by VMware. Use it at your own risk.


Problema con il vCenter che a seguito di un reboot non parte più e presenta i seguenti messaggi di errore:

503 Service Unavailable (Failed to connect to endpoint: 
[N7Vmacore4Http20NamedPipeServiceSpecE:0x7f76fce961e0] _serverNamespace = / 
_isRedirect = false _pipeName=/var/run/vmware/vpxd-webserver-pipe)

vedi sotto ...

o alternativamente a seguito di un ulteriore reboot il seguente:

503 Service Unavailable (Failed to connect to endpoint: 
[N7Vmacore4Http16LocalServiceSpecE:0x7f3dc0086970] _serverNamespace = /vsphere-client 
_isRedirect = false _port = 9090)

vedi di seguito ...

Effettuando un veloce ricerca su google; tra i primi link appare "503 service unavailable" error when connecting to vSphere Web Client che corrisponde alla KB VMware 2121043

Tuttavia dopo aver verificato quanto indicato dalla KB, non ha risolto il mio problema.

Ho deciso quindi di accedere nuovamente in SSH al vCenter Server Appliance, abilitare la shell ...

... e verificare l'occupazione dello spazio disco con il comando "df -h" ...

con grande stupore mi accorgo che la directory "/" è completamente piena. 

Cerco nuovamente in google la stringa "vmware vcenter /dev/sda3 full" e come primo link ottengo la KB 2149278 (vCenter Appliance root Partition 100% full due to Audit.log files not being rotated). 

Verifico quindi, immediatamente la cartella indicata nella KB con l'intento di eliminare qualche file di log.

Come possiamo vedere dall'immagine sotto non ci sono file da eliminare ...

Anche questa KB non ha risolto il problema.

Decido quindi di investigare sotto la cartella "/var/log/" e "/var/log/vmware/" per eliminare manualmente più file possibili.

Dopo aver eliminato svariati file "*.gz" all'interno delle directory indicate ... e lanciando nuovamente il comando "df -h" per verificarne l'effetto. Mi accorgo che lo spazio non cenna a diminuire, rimane sempre con un tasso di occupazione del 100%. Effettuo un riavvio del vCenter per verificare ... ma nulla di concreto.

Verificato anche quando indicato da Anthony Spiteri in questo link ma senza successo.

Analizzando più in dettaglio nella cartella "/var/log/"

virtualcenter:~ # cd /var/log/
virtualcenter:/var/log # ls -larth

 noto che il file "dnsmasq.log" occupa 5.2G. 

SOLUZIONE:

Eliminare il file "dnsmasq.log".

eliminato il file e lanciato nuovamente "df -h" per visionare se sia stato liberato spazio mi accorgo che lo spazio occupato è ancora del 100%.

Lo step successivo è quindi quello di riavviare l'Appliance; ed al riavvio verificare se lo spazio si è liberato ...

Spazio liberato e servizi partiti correttamente...

.