München, Starnberg, 09. Febr. 2018 - Ziel von NVMe ist es, die Latenzen im I/O-Pfad zwischen Anwendung (Host) und Speicherebene (Flash) zu reduzieren…
Zum Hintergrund: Non Volatile Memory Express, NVMe stellt ein zukunftsorientiertes Protokoll für leistungshungrige Anwendungen im Zusammenhang mit Flashspeichern dar. G2M Research schätzt den Markt im Jahre 2020 hierzu auf rund $57 Mrd. US-Dollar bei Wachstumsraten von 95% CAGR. Hintergrund dieser Entwicklung ist eine zunehmende Performancelücke zwischen schnellen latenzarmen Flashspeichern einerseits und SATA/SAS Interfaces mit ihrem relativ umfangreichen (SCSI) Protokoll-Overhead andererseits.
In unserem Fachbeitrag vom 30. Okt. 2017 NVMe und NVMe over Fabrics - Eine Standortbestimmung haben wir dazu ausführlicher berichtet und mit einigen Speicherexperten von IBM und NetApp gesprochen. Mit Markus Grau, Principal Systems Engineer EMEA bei Pure Storage (1) erläutert im Folgenden für uns hier ein weiterer Anbieter seine Strategie im Umfeld von NVMe über Fabrics (NVMe/F):
„NVMe (Non-volatile Memory Express) und NVMe/F (NVMe over Fabrics) sind effiziente Speicherprotokolle, die eine höhere Geschwindigkeit und Parallelität als das vorhandene SAS-Speicherprotokoll bieten. Die erwarteten Vorteile bei der Verwendung sind niedrige Latenz, hoher Durchsatz und reduzierte CPU-Last. NVMe/F wurde entwickelt, um es NVMe-basierten Befehlen zu ermöglichen, Daten zwischen einem Host und einer SSD über verschiedene Netzwerkstrukturen zu übertragen.
Im Jahr 2013 stellte der All-Flash-Pionier Pure Storage fest, dass NVMe das zukünftige Flash-Protokoll sein würde, und begann schon damals damit, Systeme zu entwickeln, um die Vorteile der Technologie zu nutzen. Diese Arbeit kommt jetzt zum Tragen. Während dieser Zeit investierte Pure Storage konsequent in den Übergang zum NVMe-Protokoll und brachte es auf den Mainstream-Markt. Von Anfang an traf Pure Storage die strategische Entscheidung, NVMe für jedes Modul im FlashArray-System zu aktivieren. Als das Produkt 2015 auf den Markt kam, lieferte Pure das weltweit erste Hot-Plug-fähige NVMe-Gerät mit zwei Ports (FlashArray NVRAM). Zu dieser Zeit war ein Teil der NVMe-Infrastruktur im Chassis ungenutzt, aber dies war der Grundstein für die Integration der DirectFlash-Technologie von Pure. DirectFlash ist eine grundlegend neue Art, auf Flash zuzugreifen und es zu verwalten. Die Performance von NVMe machte es zur naheliegenden Wahl als Protokoll für die Entwicklung dieser disruptiven Technologie. Seitdem die DirectFlash-Technologie im Jahr 2017 auf den Markt kam, können bestehende Systeme unterbrechungsfrei von SAS-basierten Modulen zu NVMe-basiertem DirectFlash im selben Gehäuse aufgerüstet werden.
Im Gegensatz zu einer herkömmlichen SSD verfügt das DirectFlash-Modul über eine softwaredefinierte Architektur, die von der DirectFlash-Software unterstützt wird. Die Aufgabe des DirectFlash-Moduls besteht darin, einen großen Pool von Flash-Ressourcen über massiv parallele NVMe-Pipes mit dem Flash-Array zu verbinden. Die Software übernimmt somit die Aufgaben des SSD-Controllers wie Flash-Management, Garbage-Collection und Wear-Leveling über den gesamten Flash-Pool hinweg und bietet Enterprise-Funktionen wie Deduplizierung, Komprimierung, Snapshots, Cloning, Mirroring und mehr.
Darüber hinaus ist mit NVMe über Fabric (NVMe/F) ein weiteres neues Protokoll für wesentlich schnellere, SCSI-lose Server-zu-Speicher-Verbindungen entstanden. NVMe wird kanalisiert über RDMA-fähiges (Remote Direct Memory Access) Ethernet, Fibre Channel, Infiniband oder andere Fabrics. NVMe/F für Host-Konnektivität bietet eine Vielzahl von Optionen, z.B. neue parallele Anwendungen und als Ersatz für Direct Attached Storage.
Pure Storage bietet die Vorteile von NVMe bereits im Storage-Backend mit den DirectFlash-Modulen und zukünftig mit dem DirectFlash-Shelf. NVMe bietet viel bessere Leistung und Dichte. Dies bedeutet, dass auch mit großen Flash-Modulen eine sehr gute Performance erreicht werden kann, beispielsweise im Vergleich zu herkömmlichen 15-TB-SSDs. Vor allem ist eine höhere Parallelität möglich. Der Zugriff auf Flash erfolgt direkt, ohne SSD-Controller, woraus eine deterministische Leistung, längere Haltbarkeit und insgesamt höhere Leistung resultiert. Das DirectFlash Shelf ist vollständig NVMe-basiert und bietet bis zu 1,5 Petabyte Kapazität in einer platzsparenden 3U-Installation. Die NVMe/F-Verbindung wird über RoCE v2 mit 50 Gbit/s Ethernet hergestellt. Mit dem DirectFlash Shelf bringt Pure Storage das NVMe/F-Protokoll auch in den Mainstream-Markt.
Die nächsten Schritte bestehen darin, NVMe/F im Array-Backend und -Frontend zu aktivieren. Sobald NVMe/F eingerichtet ist, wird ein End-to-End-NVMe von Benutzeranwendungen über den gesamten Speicherstapel erreicht. Dieser Ansatz beseitigt die Verzögerung zwischen Servern und Speicher und erhöht die Effizienz und Performance der gesamten Computerumgebung.“
(1) Foto: Markus Grau, Principal Systems Engineer EMEA, Central Region (Bildquelle: Pure Storage)