Starnberg, 8. April 2016 - Höchste Parallel-Filesystemleistung mit 536 Intel SSD Cards und Cray DataWarp; 3 x Durchsatz von bis zu 1.66 TB/s (Reads) im Vergleich zu Lustre...
Zum Hintergrund: Bei Supercomputern besteht eine Performance-Diskrepanz zwischen Computing-Komponenten, die für die Geschwindigkeit sorgen, und Storage-Komponenten, die weniger auf Leistung als auf Speicherkapazität ausgelegt sind (I/O-Gap). Schnelle Datenbewegungen sind aber Voraussetzung für hohe Leistung und genaue Rechenergebnisse, gerade bei datenintensiven Anwendungen. Dabei ist die Optimierung oft komplex und langwierig und Nutzer müssen ihre Codes je nach Anwendung neu schreiben, vorallem wenn Daten viel schneller generiert werden, als sie das Storage-System verarbeiten kann.
Vor Kurzem stellten nun Experten an der saudi-arabischen King Abdullah University of Science and Technology KAUST zusammen mit Spezialisten des Supercomputer-Herstellers Cray für ihren Shaheen II („Wanderfalke“) einen neuen Rekord auf:
Mit dem "Wanderfalken", der es im vergangenen Sommer als Neueinsteiger direkt in die Top-10 der schnellsten Supercomputer schaffte, erreichten sie einen Dateidurchsatz von 1.54 TB pro Sekunde beim Schreiben und 1.66 TB pro Sekunde beim Lesen - laut Cray drei Mal so schnell wie bei einem Lustre-System und damit die höchsten IOR-Performance-Werte, die jemals auf einem parallelen Dateisystem erreicht wurden.
IOR steht für „InterleavedOrRandom“ und wurde entwickelt, um die E/A-Performance sowohl für die POSIX als auch MPI-IO-Ebene zu messen. Das Programm führt Schreib- und Lese-Befehle zu oder von Dateien unter verschiedenen Bedingungen aus und meldet die resultierenden Durchsatzraten.
Realisiert wurde dieses Ergebnis durch die Installation einer schnellen mittleren Storage-Schicht bestehend aus 268 Beschleunigungsknoten mit Cray DataWarp-Technologie, in denen 536 Intel SSD Karten untergebracht sind. Die Shaheen-Nutzer registrieren laut Angaben von Cray bereits jetzt Performance-Steigerungen von über 30 % ohne die Anwendungen wie seismische Applikationen dafür speziell anpassen zu müssen.
Anwenderzitat (Originaltext): “The Shaheen supercomputer brought a new life to my group,” said Gerard Schuster, a KAUST professor of Earth Science and Engineering. “For example, we were able to perform elastic least squares natural migration of seismic data recorded over several months in Long Beach, California, by a 3D recording array. The migration results confirmed the presence of known faults in this area, and revealed the existence of unknown faults that did not break the surface. I believe this will not only lead to revisions in the earthquake hazard assessment of the Long Beach area, but his technique will also be adopted by the general earthquake community. Imaging of the entire Long Beach data would not have been practical without the computational power of Shaheen and the I/O performance improvements.”
Weitere Information hierzu finden Sie im Cray-Blog warp-speed for io
Abb. 1 & 2: Bildquelle Cray, Ergebnis durch den Einsatz von IO-Acceleration / IOR Messung