Optimierte Datenstrukturen und Langzeitarchivierung von Forschungsdaten in der Praxis

München, Starnberg, 05. Juli 2022 - Anwenderbericht: Universität Rostock (ITMZ) sichert im S3-Format erzeugte Daten in einem neutralen Format (LTFS) auf Tape-Medien...

Zum Beitrag: Im Jahr 1419 gegründet, ist die Universität Rostock nach vorliegenden Informationen die älteste Universität im Ostseeraum und die drittälteste Hochschule Deutschlands. Gemeinsame Forschungsprojekte mit anderen Hochschulen im In- und Ausland dienen der Vernetzung und ermöglichen eine Erweiterung des Experten- und Expertisenportfolios der Universität Rostock. Überregional werden durch vertraglich formell geregelte Kooperationen mit außeruniversitären Forschungseinrichtungen wie Max-Planck-Gesellschaft, Helmholtz-Gemeinschaft, Fraunhofer-Gesellschaft, Leibniz-Gemeinschaft, Bundes-und Landesforschungsanstalten und der Wirtschaft gemeinsame Forschungskonzepte realisiert.

Das IT- und Medienzentrum (ITMZ) der Universität Rostock hat einen stetig wachsenden Bedarf an digitaler Langzeitarchivierung von Forschungs- und Bibliotheksdaten zu verzeichnen. Dazu kommen immer neue Anforderungen der verschiedenen Einrichtungen an die Datenhaltungs- und Archivierungsprozesse wie eine Optimierung des Datenflusses, eine erhöhte Sicherheit und Effizienz sowie ein verbesserter Zugriff.  In Zukunft könnte danach für bestimmte Archive nicht nur ein Medienbruch, sondern sogar eine externe Offline-Archivierung (Cloud oder Colocation) von Speichermedien erforderlich sein.


Anwenderbericht: Wie die Universität die genannten Anforderungen mithilfe einer Datenmanagement- und Archivierungslösung von Nodeum und Quantum erfüllen konnte. Den Praxisbericht "Archivierung am ITMZ" hier als on-demand webcast unter quantum.com abrufen > Link zur Webinar-Aufzeichung


Das Team des ITMZ hat in enger Zusammenarbeit mit seinen Partnern die infrastrukturelle Basis für die Sicherheit der Universitätsdaten geschaffen. Der sichere Datentransfer und die formatneutrale Langzeitarchivierung wurden organisiert. Das Ziel, die von der Hochschule im S3-Format erzeugten Daten in einem neutralen Format (LTFS) auf einer anderen Technologie (Tape) zu sichern und damit die Datenhaltung hersteller- und technologieunabhängig durchzuführen und zu optimieren, wurde realisiert.

Kopien werden für die Datenwiederherstellung im Falle eines Datenverlustes vorgehalten. Weitere Anwendungsszenarien für den Data Mover** zeichnen sich nach vorliegenden Angaben bereits in den kommenden Jahren ab. Mit der Data-Mover-Software NODEUM wurde laut ITMZ eine Lösung gefunden, die nahezu alle denkbaren Arbeitsweisen und Bedürfnisse der Archivnutzer abdecken kann und gleichzeitig mit dem S3-Protokoll eine transparente Zugriffsschicht für den Nutzer bereitstellt. Bisher nicht umsetzbare Workflows können nun realisiert werden.

LTFS (Linear Tape File System) ermöglicht den direkten Zugriff auf die Daten eines Tapedrives ohne eigenständige Backup-Software aus jeder gängigen Applikation heraus (Filesystem-Ansatz) und erschließt damit Bandlaufwerken neue Anwendungsfelder. Mehr dazu hier > https://storageconsortium.de/content/content/linear-tape-file-system-format-ltfs-snia-spezifikation-als-isoiec-standard-%C3%BCbernommen

**Nodeum ist eine Software zur Verwaltung von Datenspeichern, die mit Objektspeicherdateien (einschließlich CEPH) und LTFS-Bändern kompatibel ist. In weniger als einer Stunde soll die Lösung laut Entwicklerangabe installiert und mit den Plattformen verbunden sein. Nodeum verfügt über APIs, um eine einheitliche Umgebung zu schaffen und die Arbeitsabläufe von Data-Ingestion bis zur Archivierung je nach Anforderung zu automatisieren. Neben der bestehenden Recherche-Bibliothek stellt Nodeum automatisch einen Katalog aller Dateien zur Verfügung, der mit spezifischen Metadaten erweitert wird. Jeder (IT, Forscher, Endbenutzer) kann danach jederzeit auf alle Daten zugreifen, auf allen Plattformen, über ein zentrales Monitoring. Die gewünschte(n) Datei(en) lassen sich dabei abrufen, ohne vorher unnötige Inhalte verschieben zu müssen.

 

Bildquelle: Nodeum

Querverweis:

In unserem Tech-Podcast nachgefragt > Moderne Speicherverwaltung unter Einbeziehung von Storageklassen und Cold Data

Unser Beitrag > Samsung und Western Digital kooperieren bei der Standardisierung von Speichertechnologien