Software Defined (Cloud) Storage für NextGen Workloads

Starnberg, 08. Sept. 2017 - File- und Object Lösungen für die bi-modale IT. Hinweis SDS-Infotag am 21. Sept. in Düsseldorf...

Zum Hintergrund: Entwickler und Anwender sehen sich auf Grund des raschen geschäftlichen Wachstums oftmals mit IT-Silos konfrontiert, obwohl mehr Flexibilität dringend gefordert wird. Fast jede Branche ist davon berührt, was mit einer zunehmenden Anzahl von verschiedenen neuen Apps, Datenformaten sowie Benutzern und deren sich schnell ändernden Anforderungen aus aktuellen Themen wie IoT, Hybrid Clouds oder Data Analytics (Stichwort: Digitale Transformation) einhergeht. Um Speichersysteme unabhängig von anderen Ressourcen zu skalieren – bei einer steigenden Zahl von Anwendungen - steigt beim scale-up auch die Anzahl der Storage-Systeme (Controller) im Rechenzentrum. Dies wiederum kann zu höheren Kosten (OPEX, CAPEX) sowie einer Zunahme der Komplexität bzw. Fehlerpotentiale führen (Ausfallsicherheit).

Mit dem Anwachsen von semi- und unstrukturierten Datensätzen im Petabyte-Bereich kommt das klassische Array-Modell mit NAS- und Block Storage zunehmend an Grenzen: dies betrifft für viele Kunden die Kostenseite beim weiteren Kapazitätsausbau in Verbindung mit der erforderlichen Datenverfügbarkeit (n-Site-Umgebungen, Data-Replikation, Rebuild / RAID 6, begrenzte Scale-out-Fähigkeiten, Lizenzkosten etc.).

Alternative: Object- und Cloud Storage?

Anders als Transaktions-orientierte Datenbank-Apps. mit ihren spezifischen Anforderungen an Leistung (Latenz) und Datenkonsistenz bei n-Site-Konfigurationen sind Objektspeichersysteme auf massive Skalierbarkeit hin entwickelt worden und bieten eine entsprechend hohe Datenverfügbarkeit bei Hardware-Ausfällen. Bei Swift z.B. werden Objekte durch das Speichern mehrerer Kopien von Daten so abgesichert, dass bei Ausfall eines Knotens die Daten von einem anderen Knoten abgerufen werden können. Diese Architektur ist damit besonders für stark verteilte Infrastrukturen mit vielen unstrukturierten Daten an weltweiten Standorten geeignet


Hinweis: Laut IDC (Worldwide File- and Object-Based Storage Forecast, 2016-2020 #USC41685816, Sept. 2016), wird erwartet, dass die objektbasierte Speicherkapazität bei einer jährlichen Wachstumsrate von 30,7% von 2016 bis 2020 auf 293,7EB im Jahr 2020 ansteigen wird.

Anmerkung: Die Objektdaten-Speicherung ist charakterisiert durch den Zugriff über RESTful-Schnittstellen über ein Standard-Internetprotokoll (IP) wie z. B. HTTP, die eine granulare Sicherheit auf Objektebene und umfangreiche Metadaten besitzen und mit Tags versehen werden können. Objektspeicherprodukte sind als virtuelle Appliances, Managed Hosting-Lösungen, eigens entwickelte Hardware-Appliances oder Software verfügbar, die auf Standard-Servern installiert werden. Die Lösungen sind in der Lage, sehr hohe Kapazität zu unterstützen (>10PB). Sie eignen sich speziell für Workloads, die hohe Bandbreiten benötigen, aber weniger für transaktionsorientierte Workloads, wo hohe IOPS und niedrige Latenzen erforderlich sind.


Software Defined Storage (SDS) für Object und File Data

Das explosionsartige Wachstum bei Bildern, Videos, E-Mails, technischen Dokumenten oder IoT-Sensordaten stellt die IT vor erhebliche Herausforderungen. Bis zu 90 Prozent der anfallenden Datenmengen gehören in die Kategorie der wenig oder semi-strukturierten Daten. Klassische Storage-Systeme sind dafür dann aber meist zu teuer oder nicht optimal geeignet (Block-optimiert). Software-Defined-Storage oder Appliances für Object- und File Storage hingegen bieten effizientere Methoden an, um auch sehr große Datenmengen (> 10 PB) kosteneffizient und  unabhängig von der Hardware in einer verteilten Server-Architektur als gemeinsam zugänglichen Speicherpool zu verwalten.

  • SDS ist im strategischen Sinn zudem ideal dafür geeignet aufzuzeigen, dass bei der bi-modalen IT immer zwei Ziele immer im Auge behalten werden sollten: a) Beweglichkeit und b) Elastizität des Storage-Layers im laufenden Betrieb. Sie brauchen mehr Kapazität? Sie fügen diese einfach hinzu, im laufenden Betrieb. Sie brauchen mehr Kapazität und haben keine Hardware mehr zur Verfügung oder keinen Raum für weitere Hardware? Sie nutzen weitere Ressourcen in der Public Cloud, im laufenden Betrieb. Damit können Unternehmen jederzeit auf sich verändernde Anforderungen reagieren.

Leistungsmerkmale von SDS-Lösungen mit Objekt und File-support:

  • Skalierbarkeit: Die Skalierbarkeit bezieht sich auf Kapazität und Leistung, d.h. den Durchsatz (X-rate), Filegröße und Umfang, und zwar für jeden Paramenter unabhängig voneinander (nextgen Workloads).

  • Automatisiertes Data Life-Cycle Management (DLM): Richtliniengesteuerte ILM-Funktionen zur Verwaltung, Löschung und Reparatur (self healing) von Daten steigern die Effizienz bei der Verwaltung von Petabytes an Daten. Anwenderorientiertes Datenmanagement und Reporting über eine benutzerfreundliche Oberfläche, die ein detailliertes Reporting über die Daten ermöglicht.

  • Kapazitätsoptimierung: Datenreduktionstechnologien wie Dedupe, intelligente Kompression oder Replikation als Technologien zur Datenoptimierung, die automatisiertes Tiering auf HDDs, SSDs, Tape und Cloud-Storage (public) einschließen.

  • Datenresilienz: Policies-driven Funktionen wie Replikation- und Löschcodierung auf Benutzer-, Container- oder Objektebene.


Folgt man den Analysen von Gartner und IDC (Quelle s.u.), sind IBM Cloud Storage (ex Cleversafe) und Scality Ring derzeit die führenden Anbieter im Bereich von Object Storage, laut IDC gefolgt von HDS, DellEMC und DDN (IDC veröffentlichte dazu seinen 2016 IDC MarketScape Report for Object Storage / siehe unten). Wie in den letzten zwei Berichten davor ist Scality Ring darin neben IBM (Cleversafe) oben in der Leader’s Kategorie angesiedelt.

Weitere kommerzielle Object-Storage Hersteller (Software / teilweise Appliances / Services): Nexenta (Edge), NetApp (Storage GRID), Quantum (Lattus), Dell, HP, Lustre (HPC), EMC Atmos, IBM (SoftLayer), Hitachi (HCP), Red Hat Object Storage (Swift / Ceph), Cloudian, Fujitsu ETERNUS CD10000 (OpenStack), DataDirekt Networks (WOS), Amplidata (WDC/ HGST), Exablox, Huawei etc..


Hinweis & weitere Ressourcen:


(1) Quellen:

  • Gartner, Critical Capabilities for Object Storage, 31 March 2016 | ID:G00271719. Analyst(s):  Arun Chandrasekaran, Raj Bala, Garth Landers.

  • IDC MarketScape, Worldwide Object-Based Storage, Dec. 2016 | IDC Doc#US41918416, Vendor Assessment: Amita Potnis.