iSCSI Multipath Design ESXi 6 Update 2 Patch 2

[bouncer86 5]

Hallo, 

stehe hier gerade vor einem grundlegenden Design Problem. 
Gegeben sind ein paar ESXi Hosts mit ESXi 6 Update 2 Patch 6. 2 10GB Netzwerkkarten, 2 Switchen und einem einem Storage mit 2 Controller a 2 Ports. 

Unser Dienstleister hat pro ESXi Host 2 vSwitche erstellt mit jeweils einer Nic als Uplink. 
Beide vSwitche enthalten jeweils einen vmKernel für iSCSI welcher per PortBinding an den Software iSCSI Adapter gebunden ist. 

Beide vmKernel befinden sich im gleichen Subnetz: 10.0.2.x/24 
Nic 1 ist mit Switch 1 verbunden. 
Nic 2 ist mit Switch 2 verbunden. 

Das Storage (EMC VNX) enthält 4 Ports (2 je Controller) Alle Ports sind entsprechend auf die beiden Switche per Kreuz gesteckt und haben eine IP aus dem 10.0.2.x/24 Subnetz. 

Die Switche sind nicht untereinander verbunden, so dass wir zwei getrennte "Fabrics" haben. 

Nun, grundsätzlich finde ich die Lun's vom Storage. Laut Pfad Verwaltung ist Round Robin aktiv und ich sehe auch 2 aktive Pfade. Einmal über vmbha41:C0 und einmal über vmhba41:C1 

Im vmKernel Log sehe ich allerdings regelmäßig, dass ein iSCSI Target "down" ist. Fakt ist, da ist nichts down. 
Wenn ich von der Commandline mit vmkping das Storage anpinge, erreiche ich auch nur 2 der 4 IP's vom Storage. Nutze ich vmkping -I vmk1 oder -I vmk2 erreiche ich immer die physikalisch erreichbaren IP's. Was ja idr. auch logisch ist. 

Aufgefallen sind uns die Probleme dadurch, dass die Hosts beim Booten nun über eine Stunde brauchen um die iSCSI Targets zu erreichen. Danach scheint es zu laufen. Haben allerdings noch keine Last auf der Umgebung. 
(Hierzu meinte der DL nun, es liegt am zuletzt eingespielten Patch 6, welcher die iSCSI Suche verändert) 


Die Frage die ich mir nun stelle, ist das ein supportetes Design? Also ein Subnetz, über zwei getrennte "Fabrics" ? Oder müsste ich die Fabrics mit einander verbinden, damit es sauber funktioniert? 

Oder ist es ein besseres/richtiges Design, wenn zwei getrennte IP Subnetze verwendet werden? 

Würde mich über je Art von Erfahrung, bzw. Bewertung freuen. Ich finde zwar überall in den Design Guides von EMC und vSphere das zwei Subnetze verwendet werden. Aber nie warum, und wie physikalisch die Switche/Fabrics verbunden sind. 

Vielen Dank.

 

PS: Crosspost hier: http://vmware-forum.de/viewtopic.php?t=31816

[testperson 1.707]

Hi,

 

du brauchst in dem Fall 2 unterschiedliche Storage Subnetze oder einen Link zwischen den Switchen.

 

Gruß

Jan

[magheinz 110]

Also ein vmk für ISCSi darf nur eine Nic haben. Soweit also schon mal richtig.

Wie sehen die IPs aus?

Was sind das für switche?

Wichtig ist das du zwei durchgehende unabhängige eigene Pfade hast, also z.B:

vmk1 = 172.16.5.5/24

vmk2 =172.16.60.5/24

 

EMC-controller1-nic1 = 172.16.5.6/24

EMC-controller2-nic1 = 172.16.60.6/24

EMC-controller1-nic2 = 172.16.5.7/24

EMC-controller2-nic2 = 172.16.60.7/24

 

Wenn du das so machst müsstest du zu jeder LUN am Ende zwei Pfade sehen.

[zahni 554]

Ich würde zuerst mal die  passenden Whitepaper von VMWare durchlesen, z.B.  http://www.vmware.com/content/dam/digitalmarketing/vmware/en/pdf/techpaper/vmware-multipathing-configuration-software-iscsi-port-binding-white-paper.pdf

[bouncer86 5]

Ich würde zuerst mal die  passenden Whitepaper von VMWare durchlesen, z.B.  http://www.vmware.com/content/dam/digitalmarketing/vmware/en/pdf/techpaper/vmware-multipathing-configuration-software-iscsi-port-binding-white-paper.pdf

 

Bereits passiert. Dort steht aber nicht explizit drin beschrieben, dass man zwei unterschiedliche Subnetze verwenden soll.

 

Im EMC Whitepaper wird sowohl von Single Subnet, als auch Mutli Subnet geschrieben. Leider gehen sie aber nicht auf die Switche ein, wie diese verkabelt sein müssen.

 

@testperson,@magheinz: 

Danke, das ist derzeit auch meine Vermutung. Könnt ihr das irgendwie belegen / begründen?

 

Derzeit, in der alten Umgebung wird auch iSCSI mit einem Subnetz genutzt. Allerdings kann jede vmnic auch jede Storage IP ansprechen, da die Switche voll verdrahtet sind. Der DL hat sich für die neue Umgebung auch für ein Subnet entschieden, aber die Fabrics zu trennen. Wir haben ihn explizit gefragt, ob wir durch unterschiedliche Subnetze einen Vorteil haben. Dies wurde nur verneint und als "Schmuck am Nachthemd" betitelt.

Daher bräuchte ich etwas schriftliches, quasi pro / con. Oder etwas, wo drin steht, dass das so nicht supportet ist.

Leider konnte ich bis dato nichts finden :(

[testperson 1.707]

Neben den VMWare Whitepaper sind meistens auch die Hersteller Whitepaper zu VMWare hilfreich: https://www.emc.com/collateral/hardware/technical-documentation/h8229-vnx-vmware-tb.pdf

[bouncer86 5]

Neben den VMWare Whitepaper sind meistens auch die Hersteller Whitepaper zu VMWare hilfreich: https://www.emc.com/collateral/hardware/technical-documentation/h8229-vnx-vmware-tb.pdf

 

Den habe ich auch gerade gefunden. Interessant ist Seite 47. Single und Mutliple Subnet.

 

Leider fehlt mir noch die technische Begründung...

[magheinz 110]

Die Frage ist auf welchem layer du die Redundanz abbilden willst.

vermascht du die switche musst du ja hier schon ansetzen(LACP, etc)

Machst du MPIO und alles ist vermascht musst du irgendwie steuern das auch wirklich ein Pfad immer online ist.

 

Wie soll denn die EMC oder der ESXi entscheiden über welchen Port sie ein Paket schickt wenn beide im gleichen Subnet sind und sogar jeweils alle IPs erreichbar sind?