Erweitertes File Management mit Quantum StorNext V.4.3 adressiert Big Data Anforderungen

München, Starnberg, 19. Juli 2012 – Neue Quantum StorNext V.4.3 integriert leistungsfähige Datenbank und unterstützt bis zur einer Milliarde Files... 

Zum Hintergrund: Die Skalierbarkeit und Leistung der neuen StorNext Data Management Plattform (Software oder Appliance) wurde mit V.4.3 vor allem durch die Integration einer neuen Datenbank nachhaltig erhöht; damit wird es möglich, Tiered Storage auch über dutzende von Petabytes zu realisieren. StorNext 4.3 erhöht damit laut Herstller sehr deutlich seine bisherige Filesystem- und Archivierungsperformance. Die Version 4.3 der StorNext-Software beinhaltet zudem neue Funktionen wie die direkte Archivierung bei der Dateneinspeisung, automatisierte Auslagerung von Archivbändern (Active Vaulting) und projektbasiertes Kapazitätsmanagement.

StorNext 4.3 ermöglicht einfache Hardware Upgrades und ein unkompliziertes Disaster Recovery. Durch die Software profitieren Betreiber auch von neuen Laufwerkskapazitäten  und Technologien, da File System Metadaten, die auf dem Metadaten Controller gespeichert sind, auf eine andere Disk-Geometrie übertragen werden können. 

Alle Neuerungen wurden nach Anbieterinformation konzipiert um das Volumen, die Geschwindigkeit und die Komplexität der Menge an unstrukturierten Daten effektiver zu verwalten und Storage- bzw. Data-Management-seitig einen möglichst hohen Mehrwert aus Big Data zu ziehen. Anwendungsfälle betreffen z.B. die Produktion von digitalen Medieninhalten, Genomforschung, Videoüberwachung oder Auswertungen bei der Erforschung von Bodenschätzen.

http://www.quantum.com/products/software/stornext/index.aspx

Nachfolgend eine kurze Übersicht zu den wesentlichen Neuerungen:

  • Verwaltung der Datenmengen: Tape-Management mittels automatisierter Auslagerung von Bändern (Active Vaulting) 

Unternehmen speichern riesige Mengen an Daten für die potentielle Verwendung, auch wenn in der Zukunft von diesen Daten nur ein sehr kleiner Teil benötigt wird. Eine Vorhersage, um welche Daten es sich genau handelt, scheint jedoch unmöglich. Um diese Daten langfristig kosteneffizient vorzuhalten, unterstützt StorNext 4.3  Active Vault, eine separat verwaltete Partition innerhalb der Tape Liberary. Diese verursacht wesentlich weniger Kosten als die für StorNext lizensierten, aktiven Stellplätze. Vom Benutzer definierbare standortspezifische Richtlinien schlagen automatisch Tapes für das Active Vault vor, verwalten deren Standort und überwachen kontinuierlich die Datenintegrität. Werden die Daten wieder benötigt, veranlasst ein Operator, dass das Tape vom Roboter aus dem Active Vault in einen aktiven Slot der Tape Library zurückgebracht wird.

  • Verwaltung der Geschwindigkeit über direkte Archivierung bei der Dateneinspeisung: Die primäre Kopie großer Datenmengen von Sensoren, Kameras oder anderen Erfassungsgeräten muss aus ökonomischen Gründen auf Tape gespeichert werden. Mit der neuen Datenbank basierend auf MySQL sichert StorNext 4.3 Big Data automatisch und bietet schnellere Datei-Truncation-Geschwindigkeiten (bis zu 1,5x schneller bei einer Million Files), die eine effiziente Archivierung direkt während der Dateneinspeisung ermöglichen. Wird eine Datei in ein solches von StorNext verwaltetes Disk-Speichersystem geschrieben, kann die Software die Datei umgehend in einer großen Tape Library archivieren und auf der Festplatte lediglich einen Verweis in Form eines Stub Files ablegen. Die Ingest-Raten werden dadurch nur minimal beeinflusst.

Der hohe Rechenaufwand bei Analyseanwendungen, wie Genom-Sequenzierung und Video-Transkodierung, erfordert einen High Speed File-Zugang; SAN-Geschwindigkeiten werden jedoch nicht benötigt. Ein Distributed LAN Client (DLC) Protokoll nutzt Ethernet, um Zugangsraten zu ermöglichen, die bis zu 50 Prozent schneller sind als CIFS und NFS. Mit der Version 4.3 ist eine Steigerung des maximalen Durchsatzes für StorNext DLC Windows Nutzer um 360 Prozent bei 10 GbE und 60 Prozent bei 1 GbE möglich.

  • Höhere Fexibilität bei Verwaltung von Big Data auf projektbezogener Basis: Nutzer, die auf Big Data Inhalte zugreifen und diese verwalten – wie Redakteure und Wissenschaftler – arbeiten oft an Projekten mit unterschiedlichen Arbeitsgruppen. Die neueste Version von StorNext ermöglicht das Definieren von Nutzungsgrenzen (Quota) auf Verzeichnisebene und verfügt damit über die Flexibilität  und Intelligenz, die für eine Verwaltung der Speicherkapazitäten auf projektbezogener Basis benötigt werden. StorNext verbessert zudem die Archivierungsleistung kleiner Dateien, die oftmals zusammen mit großen Dateien archiviert werden. Für Files, die kleiner als 1 MB sind, ist die Schreibperformance bis zu 40 Prozent höher.
  • Die Verwaltung von Multi-File Big Data-Formaten: Viele Formate nutzen zur Speicherung von Big Data eine Serie von multiplen Files statt einer einzelnen großen Datei. Um die Streaming-Lese-Performance zu verbessern, bietet StorNext 4.3  eine Funktion, die Dateien wieder in diesem Multi-File Format anordnet, sodass diese fortlaufend auf Disk gespeichert werden können, nachdem sie aus dem Archiv wiederhergestellt wurden. StorNext 4.3 verkürzt außerdem die Zeit, die zur Erstellung von Files benötigt wird, um 50 Prozent. Dadurch kann die gesamte Schreib-Performance für Multi-File Formate, wie DPX, gesteigert werden. Zusätzliche StorNext-Erweiterungen: Für StorNext File System-Umgebungen, die nur auf Mac OS X basieren, unterstützt StorNext 4.3 jetzt Named Streams.

Verfügbarkeit: StorNext 4.3 ist als reine Software-Lösung oder integriert in StorNext-Appliances verfügbar. StorNext 4.3 als Software kann laut Quantum über ein vereinfachtes Preismodell für StorNext File System-Kunden und ein neues Slot-basiertes Angebot für den StorNext Storage Manager, welches in StorNext AEL Archiven und LTO-Library-Lösungen von Drittanbietern eingesetzt sind, erworben werden.

http://www.quantum.com/products/BigDataManagement/index.aspx

> http://www.storageconsortium.de/content/node/1261