NVMe und NVMe over Fabrics - Eine Standortbestimmung

Submitted by Storage Consortium on 27 October, 2017 - 17:57

München, Starnberg, 30. Okt. 2017 - Wir haben nachgefragt...

Zum Hintergrund: Non Volatile Memory Express = NVMe stellt eine neue, zukunftsorientierte Speichertechnologie / Protokoll für Low-latency Anwendungen und Solid State Storage wie NAND Flash SSDs / Arrays und weitere nichtflüchtige Halbleiterspeicher dar. G2M Research** schätzt den NVMe Market auf rund $57 Mrd. US-Dollar im Jahre 2020 bei einer Wachstumsrate von 95% CAGR. Hintergrund der Entwicklung ist ein zunehmendes Gap zwischen schnellen latenzarmen Flashspeichern einerseits und SATA/SAS Interfaces mit ihrem relativ komplexen SCSI Protokoll-Overhead andererseits, ursprünglich ja für mechanische Laufwerke (HDDs/Tape/Opticals) entwickelt. Ziel von NVMe ist es, die Latenzen im I/O-Pfad zwischen Anwendung (Host) und Speichermedium (Flash) deutlich zu reduzieren.

Anmerkung: Die NVMe Arbeitsgruppe (NVMHCI - Non-Volatile Memory Host Controller Interface) begann vor acht Jahren mit der Entwicklung der Spezifikation und veröffentlichte am 1. März 2011 die NVMe Version 1.0. Diese umfasste die Bedienerschnittstelle, den NVM-Befehlssatz, den Verwaltungsbefehlssatz und Sicherheitsfunktionen. Aktuell ist die Version 1.3 (s.a. NVM Express revision 1.3 specification > download http://nvmexpress.org).

Eine weitere Entwicklung ist NVMeoF™ (F = Fabric ) mit RDMA über Infiniband oder Ethernet / RoCE, um skalierbaren, low-latency shared Storage ähnlich wie bei zu FC SANs zu ermöglichen. Diese NVMeoF™ Funktionalitäten sind Stand heute noch nicht in vollem Umfang Enterprise-ready (z.B. eingeschränkter Multipathing support). Speichernetzwerkseitig unterstützen aber bereits Anbieter wie Brocade NVMe in SAN-Switches parallel zu FC (siehe Whitepaperlink am Textende). Da das NVMe-Ökosystem wächst, sollten in den nächsten 12-18 Monaten deutlich robustere, im Funktionsumfang für hochverfügbare Infrastrukturen entwickelte Lösungen auf Basis NVMeoF™ zur Verfügung stehen. NVMe wird von Software Definierten Storage Infrastrukturen wie Ceph (siehe unten) bereits unterstützt.

Das Storage Consortium hat nachgefragt warum für IT-Infrastruktur-Verantwortliche jetzt ein guter Zeitpunkt ist, sich näher mit NVMe zu beschäftigen. Zu diesem Zweck haben wir Herstellerseitig mit Storageexperten von IBM und NetApp gesprochen. Nachfolgend finden Sie die Fragen & Antworten der Spezialisten (falls Sie dazu noch weitere Fragen haben, bitten wir die Kommentarfunktion des Beitrages zu verwenden, damit diese ggf. auch an den genannten Personenkreis weitergeleitet werden können. Links zu weiterem technischen Hintergrundmaterial am Textende).

Wir sprachen mit Ralf Colbus, Certified Storage Professional - WW Storage CTO Member, IBM Storage DACH sowie Christian Lorentz, Senior Product- and Marketing Manager bei NetApp zusammen mit Georg Mey, Senior Manager Solution Architects EMEA (***):

Frage 1 > Warum sollen RZ-Infrastruktur-Verantwortliche sich mit NVMe beschäftigen?

Antwort IBM > NVMe wird primär das SAS-Backend in Speichersystemen ablösen und SCSI als Protokoll hier eliminieren. Das Ziel: deutlich geringere Latency im IO-Pfad (6µsec SAS vs. 2µsec NVMe; dabei wird die CPU/IO von 19.000 Cycles auf 9.000 Cycles entlastet!). Im zweiten Schritt wird NVMeF (Over Fabric) dann die geringe Latency ins Speichernetzwerks übertragen. Mit dem richtigen Device-Treiber wird faktisch der gesamte IO-Pfad (Applikation-Betriebssystem-Infrastruktur-Speicher) extrem "schnell"!
Antwort NetApp > Bei aktuellem Flash-Speicher liegt der Flaschenhals bei den Protokollen sowie bei den internen Bus-Technologien - insbesondere beim Zugriff auf das Medium aber auch in der Protokoll-Architektur zwischen Client und Storage-System. Ignorieren Verantwortliche des Rechenzentrums NVMe und NVMe Fabric (NVMe-oF, Nonvolatile Memory Express over Fabrics), verpassen sie womöglich eine Chance, Leistungssteigerungen herbei zu führen.

Frage 2 > Welche Einsatz-Szenarien und Vorteile aus Applikationssicht sehen Sie für NVMe Storage?

Antwort IBM > Mehr IO/s bei geringerer Latenz: Datenbanken, No SQL... faktisch alle hoch-transaktionalen Systeme werden davon profitieren.
Antwort NetApp > NVMe ist in vielerlei Hinsicht sehr talentiert: Ob Big Data-Anwendung oder eine riesige Datenbank... Der Einsatz der NVMe-Technologie ist absolut universell. Grundsätzlich profitieren alle Anwendungen, die mehr die Leistung benötigen in Form von einem höheren Durchsatz sowie kürzeren Latenzzeiten.

Frage 3 > Werden NVMe Fabrics (NVMeoF™) als shared Storage künftig FC- oder iSCSI-basierende SAN- bzw. NAS-Umgebungen ersetzen?

Antwort IBM > Ersetzten nicht, aber dort - wo Performance benötigt wird - sinnvoll ergänzen! NVMeF kann darüber hinaus auch über verschiedene Netzwerk-Protokolle implementiert werden, d.h. der Investmentschutz in die Infrastruktur ist meist gegeben.
Antwort NetApp > Noch besser: NWMe Fabrics stellen vielmehr eine Erweiterung für bestehende SAN- und NAS- Netzwerke dar. Der Clou ist, dass NVMe-oF in bestehenden Hochgeschwindigkeits-Speichernetzwerken mit konventionellen Protokollen koexistieren kann.

Frage 4 > Welche weitere Strategie verfolgt ihr Unternehmen im Zusammenhang mit NVM Storage?

Antwort IBM > Wir werden die Storagesysteme die mit SAS-Backends arbeiten, noch in 2017 umstellen und 2018 dann mit einer NVMeF Implementierung beginnen. Ferner prüfen wir gerade, wie sich NMVe und verschiedene Flash-Typen sich in den Bereichen entlang des IO-Pfades verhalten (Cache, Memory, Expansion für Disk etc.).
Antwort NetApp > Für die Zukunft wird NVM, NVMe sowie NVMeoF™ ein integraler Bestandteil unserer Storage-Infrastruktur, insbesondere für den Zugriff auf SCM (Storage Class Memory) sowie klassische NAND-basierende Medien.

Frage 5 > Software Defined Data Center, Hybrid-/Multi Cloud und Storage: wo sehen Sie NVMe künftig in diesem Umfeld?

Antwort IBM > NVMe /F ist nicht vom Betriebsmodell abhängig (Cloud oder Hybrid-Cloud). Interessant wird jedoch die Kombination aus SDS und NVMe: hier können wir jetzt de-coupled Systems (Server-Storage Funktionen) aufbauen und diese Systeme mit sehr geringen Latenzen verbinden!
Antwort NetApp > NVM(e/-oF) werden sowohl als Infrastruktur-Komponente in lokalen Rechenzentren als auch in der Infrastruktur für Cloud-Services zur Anwendung kommen. Entscheidend sind die Performance-Anforderungen der Applikationen. Sie bestimmen den Einsatz dieser Technologien, nicht die Deployment-Methode für diese Anwendung. NVMe-of wird sich auch in IP-basierenden Netzwerk-Stacks wiederfinden und wäre damit sogar grundsätzlich Cross-Cloud-fähig, vorausgesetzt die Netzwerk-Latenzen machen diesen Einsatz sinnvoll.

Weiterführende Informationen

1. NetApp Technisches White Paper: New Frontiers in Solid-State Storage By Rodney DeKoning, VP and Chief Architect, and Ravi Kavuri, VP and Chief Architect, April 2017 | WP-7248 | > PDF Link

2. NetApp Community Blog > NVMe - A Step into the Future

3. IBM CTO Videolink > Does IBM FlashSystem have NVMe? (Hinweis: geht auch auf den Unterschied NVMe und Infiniband kurz ein).

Link > http://ibm.com/storage/flash

Anmerkung: Aktuelle Alternative zu NVMe > IBM Flash System 900 / Im FlashSystem 900 gibt es kein Speicherprotokoll (no software in the data path = Hardware data path only). Sobald die Daten den Interface-Controller treffen, werden diese nicht über SCSI, PCI oder NVMe angesprochen, da sie direkt auf den internen Flash Chip Set, sprich Memory Array abgelegt werden.

Open Software Defined Storage Lösungen wie Ceph von Red Hat unterstützen NVMe Storage zur Beschleunigung von Performance-intensiven Workloads. Beachten Sie hierzu bitte folgende Links: