KIOXIA Demo für RocksDB. Flash-Storage-Investitions- und Betriebskosten (CapEx, OpEx) mittels FDP senken und QoS verbessern.
Zum Hintergrund: Wenn Applikationen wie z.B. Datenbanken bei nur minimalen Änderungen am Anwendungs-Stack eine bessere Kontrolle über die Platzierung ihrer Daten auf SDDs erhalten, führt dies zur geringeren SSD-Schreibverstärkung und erlaubt eine effiziente Speichernutzung; dies übrigens auch unter den Aspekten Nachhaltigkeit und Green-IT. NVMe FDP (Flexible Data Placement) wurde 2022 von META und Google als NVMe Spezifikation eingebracht, um die Investitions- und Betriebskosten (CapEx, OpEx) von Hyperscale-Rechenzentren zu senken, sowie die QoS für SSD-Bereitstellungen zu verbessern. Mit der Ratifizierung durch NVMe Express stellt sich FDP als ein wichtiges Thema sowohl für Anbieter von SSD-Lösungen als große Anwender-/Cloud-Rechenzentren sowie Gremien wie der SNIA* oder auch dem Open Compute Project dar.
Gründe zur Einführung von FDP
Disaggregierte Speicherinfrastrukturen trennen die Speicher- und Rechenressourcen des Servers. Dieses Modell ist jedoch für die gleichzeitige Ausführung mehrerer Anwendungen bei verschiedensten Workloads nur suboptimal. Aus Storage-Sicht ist es deshalb ineffizient, weil unter diesen Randbedingungen ein sog. Write Amplification (WA), also das zusätzliche "zufällige" Schreiben von Daten vom Host auf die Speichermedien verursacht wird.
WA erfordert zusätzliche Speicherkapazitäten (wegen Overprovisioning) und erhöht die SSD-Abnutzung (wear-out; Zuverlässigkeit). Weiter forcieren zusätzliche Lese-/Schreibvorgänge mehr Stromverbräuche und können die Gesamtsystem-Leistung beeinträchtigen. Darüber wird der sog. Schreibverstärkungsfaktor (WAF) - das Verhältnis der zusätzlichen Daten, die jedes Mal geschrieben werden, wenn der Host weitere Daten an das Speichergerät sendet - definiert.
NVMe mit FDP Flexible Data Placement umgeht diese Problematik, indem Anwendungsseitig eine Kommunikation mit dem Host stattfindet, um die Datenplatzierung innerhalb einer SSD flexibel zu steuern. Es werden dazu Informationen ausgetauscht, wo die Daten auf dem Medium zugewiesen werden sollen. Der Host kann diese Daten neu schreiben oder auch ihre Zuweisung aufheben, bevor die SSD sie verschieben muss, was den Schreibverstärkungsfaktor deutlich reduzieren kann. Derzeit arbeiten SSD-Anbieter wie KIOXIA (1), Samsung (2) und weitere Hersteller an Einsatz-Szenarien im Applikationsumfeld und damit einer breiteren Adaption von FDP.
(1) Ankündigungsbeispiel: KIOXIA demonstriert flexible Datenplatzierung auf einer SSD mit RocksDB
KIOXIA Europe hat auf dem Open Compute Project (OCP) Global Summit, der vom 15. bis 17. Oktober in San Jose (USA) stattfand, die Vorteile einer SSD seiner XD-Serie vorgestellt, die mit FDP (Flexible Data Placement) arbeitet und auf der RocksDB als Datenbank verwendet wurde. Die RocksDB-Datenbank ist danach besonders leistungsstark bei der Suche in großen Datenmengen und der Verwaltung von Verlaufsdaten. Sie wird häufig im Kontext von GenAI- und Cloud-Anwendungen eingesetzt.
Bildquelle: NVMe Express FDP Overview.
Externer Link zum PDF > https://nvmexpress.org/wp-content/uploads/FMS-2023-Flexible-Data-Placement-FDP-Overview.pdf
FDP ist eine in der NVM-Express-Basisspezifikation (TP4161) definierte Funktion, mit der die Datenplatzierung innerhalb einer SSD flexibel gesteuert werden kann. Durch die geeignete Datenplatzierung innerhalb der SSD bei gleichzeitiger Minimierung von Änderungen an der Host-Software und den Gerätetreibern kann die FDP-Optimierung die Leistung verbessern und die Lebensdauer der SSD verlängern.
SSDs führen grundsätzlich die Anweisungen der Host-Software und der Gerätetreiber zur Datenspeicherung und -löschung aus. Da dieser Prozess wiederholt wird, kann es zu einer Neuzuweisung von Daten innerhalb der SSD kommen. Die Folge ist möglicherweise die Reduktion der Zugriffsgeschwindigkeit und somit ein unnötiger Verbrauch von Flashspeicher-Schreibzyklen. Das gilt insbesondere dann, wenn die Daten häufig neu zugewiesen werden. Der Einsatz von FDP verringert die potenzielle Neuzuweisung von Daten und steigert somit Leistung und Lebensdauer von SSDs.
(1) Im Rahmen einer Demonstration auf dem OCP Global Summit zeigte KIOXIA die FDP-Funktionalität mit seiner XD Data Center NVMe SSD mit Hilfe eines speziell entwickelten Plug-ins, durch das die FDP-Funktionalität aktiviert und mit RocksDB getestet wird. Durch Tests** durch KIOXIA konnte nach vorliegenden Angaben die Lebensdauer einer RocksDB-Anwendung auf einem FDP-fähigen System im Vergleich zu einem System mit konventionellen SSDs und herkömmlichem Dateisystem um etwa den Faktor 3 und die Leistung um etwa den Faktor 1,8 verbessert werden. Zudem plant das Unternehmen, das FDP-Kompatibilitäts-Plug-in für RocksDB als Open Source-Projekt zu veröffentlichen.
**Die Leistungsangaben basieren auf Tests in einer KIOXIA-Laborumgebung, Stand: 14. Oktober 2024.
Weitere Quellen:
Externer Link > https://europe.kioxia.com/de-de/top.html
(2) Samsung FDP Blogpost > externer Link > https://semiconductor.samsung.com/news-events/tech-blog/flexible-data-placement/
* Externer Link > https://www.sniadeveloper.org/events/agenda/session/698
Querverweis:
Unser Beitrag > Bessere KI-Ergebnisse mit Graphdatenbank-Technologien?
Unser Beitrag > Micron 9400 NVMe SSD: Neue Hochleistungs-Drives für mixed Workloads in Rechenzentren