Starnberg, 27. Febr. 2019 - FC, Non-Volatile Memory Express (NVMe) und NVMe over Fabrics (NVMeoF); wie passt das künftig zusammen?
Um was es hier geht: Nachdem in einigen früheren Blogposts bereits ausführlich über NVMe berichtet wurde, möchte ich auf die Basics dieses Protokolls deshalb hier jetzt nicht weiter eingehen. Interessant erscheint mir in diesem ersten Teil des Blogposts jetzt die Frage, wie die weitere Entwicklung von Fabric-basierten NVMe-Systemen mit klassischen Fibre Channel (FC) SAN Architekturen zusammengeht und welche Möglichkeiten sich für Unternehmens-Rechenzentren daraus ergeben.
SCSI startete (wie übrigens auch NVMe) über den PCI-Bus in einem lokalen Hostsystem. Dies war praktisch, weil Standardisiert (Disk, Tape ohne Herstellerbindung) und preiswerter als proprietäre Schnittstellentechnologien einzelner Serverhersteller. Nicht so optimal: als direct-attached storage (DAS) Architektur gibt es keine richtige Ausfallsicherheit und Speichernetzwerk (shared data storage) Optionen. Enterprise Storage Networking benötigt aber wie der Name schon sagt, latenzarme und robuste Speichernetzwerke / Protokolle, die stufenlos skalierbare Leistung, hohe Datenintegrität und sichere Übertragung bieten; zentrale Kriterien, die IP-basierte Netzwerke vor allem zu Beginn nicht liefern konnten.
Dies gab den Anstoß zum Erfolg von Fibre Channel im Rechenzentrum. Aber Ethernet hat sich natürlich weiterentwickelt und ist - nicht zuletzt durch den breiten Einsatz bei großen software-definierten Hyperscaler Datacenters - heute ein wichtiger Eckpfeiler für kosteneffizienten Data Storage Transport geworden. Non-Volatile-Memory Storage (NVM / SCM) wie SSDs und Intel Optane etc. verlangen jetzt im Verbund mit neuen Applikationen nach hochleistungsfähigen Übertragungsprotokollen und entsprechend skalierbaren low-latency Netzen. NVMe Storage über NVMeoF als neues SAN-Paradigma (über FC, InfiniBand, Ethernet) ist die explizite Antwort für höchste IOPS-Leistung beim Einsatz von shared (SAN) Solid State Storage.
NVMeoF verwendet dazu Transportprotokolle, die Remote Direct Memory Access (RDMA) verwenden, um Daten zwischen NVMe Speichersystemen zu übertragen. Die Technik basiert auf NVMe.org - Spezifikation, welche die Nachrichtenübermittlungs- und Steuerungsparameter zwischen dem NVMe-Protokoll und RDMA definiert. RDMA selbst ist ein seit langem bekanntes Protokoll, dass seinen Ursprung im High Performance Computing (HPC) hat und im Zusammenhang mit Compute Cluster Systemen verwendet wird.
Fibre Channel (FC)-NVMe beschreibt die Möglichkeit zur Datenübertragung über NVMe auf Basis des Fibre Channel-Transportprotokolls FCP, also nicht über RDMA. Das T11 Standardisierungs-Komitee hat hierzu eine neue FC-NVMe-Normenspezifikation erstellt. Der aktuelle FC NVMe-2 Standard aus T11 beschäftigt sich mit weitergehenden Performance- und Sicherheits-Optimierungen im Protokollstack (in Arbeit).
Welche Rolle kann Fibre Channel im Verbund mit NVMe spielen?
Datenintegriät, latenzarme Übertragungsleistung und Funktionen wie z.B. Buffer Flow Control ermöglichen es FC, auch anspruchsvolle Unternehmens-SLAs zu definieren und zu erfüllen. Das Protokoll eignet sich sehr gut als NVMe Transport, da es sowohl SCSI- als auch NVMe-Traffic gleichzeitig auf derselben Fabric unterstützt. Bestehende Gen5 (16G) und Gen6 (32G) FC SANs können FC-NVMe über bestehende SAN-Fabrics mit nur wenigen Änderungen betreiben, da alle Spezifikationen von NVMe erfüllt werden.
Derzeitige Entwicklungen im Ethernet-Bereich (RDMA Varianten) betreffen iWARP, InfiniBand und RoCEv2 („Rocky“); NVMe-TCP in Entwicklung. Die Erfahrung zeigt dabei, dass verschiedene Technologien meist über eine längere Zeit am Markt koexistieren, auch um radikale Brüche in der kritischen IT-Infrastruktur (betrifft dann oft Anwendungen) zu vermeiden.
Abb. 1: NVMe over Fabrics - Konfigurationsbeispiel / Demo (Quelle: SNIA SDC, Storage Developer Conference. © Brocade 2017, Curt Beckmann, All Rights Reserved).
Link > https://www.snia.org/
Ein erstes Fazit
Quality of Services (QoS) Parameter sind aus Betreibersicht zur Erfüllung von Kunden-SLAs heute unerlässlich. Es wird also entscheidend sein, dass NVMeoF Fabrics in der Lage sind, einen verlustfreien Transport sicherzustellen, so wie es bei FC der Fall ist. RDMA-Transporttechnologien erfordern die Einführung zusätzlicher Protokolle, um verlustfreie QoS Levels in der Fabric zu gewährleisten, was die Komplexität im Netzwerk (Kosten; Management / OPEX) erhöht. Fibre Channel mit seiner breiten installierten Basis im Rechenzentrum ist in Bezug auf robuste und zuverlässige Leistung technologisch gut positioniert, um mit NVMe (Storage) zusammenzuspielen, zumal weniger Konfigurationsarbeit und ein geringerer Verwaltungsoverhead notwendig werden; dies unterscheidet das bewährte Enterprise Storage Protokoll von andere Transporttechnologien (siehe Abbildung 2 unten). Eigentlich gar keine so schlechten Aussichten für Rechenzentrumsbetreiber (Stichwort Investitionsschutz). Im zweiten Teil dieses Blogposts soll dann noch etwas breiter auf die Verbindung von FC SANs und NVMeoF und den daraus resultierenden Nutzen für RZ-Betreiber eingegangen werden.