In-Memory Digital Integration Hubs: IMDG Einführung mit Hazelcast v 4.1 IMC Data Grid

San Mateo (CA), Starnberg, 01. Okt. 2020 - IMC Open-Source-Plattform jetzt mit SQL-Support, Objektspeicherung im RAM und optimierter Cluster-Erkennung in der Cloud...

Zum Hintergrund: Hazelcast - Open-Source-Plattform für In-Memory-Computing (IMC) - hat eine neue Hauptfunktion und eine Reihe von Verbesserungen ihres In-Memory Data Grid Hazelcast IMDG vorgestellt. Die Konstellation, dass auf der einen Seite die Unternehmensführung maßgeschneiderte Datenansichten benötigt, und auf der anderen Seite die Anzahl an Datenquellen kontinuierlich wächst, führt zu einer Belastung veralteter Architekturen und Infrastrukturen. Eine sich abzeichnende Antwort auf diese Herausforderungen ist eine neue Architektur der digitalen Integrationsknotenpunkte (Hubs), also eine Datenarchitektur mit einem einheitlichen, zentralen Zugangspunkt und einer standardisierter API, die von unterschiedlichen Anwendungen aufgerufen werden kann.

Diese Hubs werden meist implementiert, um die Arbeitslast von Backend-Systemen zu reduzieren, den Zugriff auf die in Backend-Datenbanken und Mainframes gehosteten Daten zu beschleunigen, und um eine gemeinsame API für eine Vielzahl von Datenquellen bereitzustellen, damit neue Technologien in bestehende Architekturen integriert werden können. Hazelcast ermöglicht In-Memory Digital Integration Hubs, indem es Objektspeicherung im RAM, Write-Through-Caching, verteilte Verarbeitung und vordefinierte Verbindungen für viele gängige Datenquellen bereitstellt. Die Beta-Version von Hazelcast IMDG 4.1 ist laut Anbieter ab sofort verfügbar. Die Verfügbarkeit der Endversion (GA) wird im Laufe dieses Jahres erwartet.

  • Zu den jetzt angekündigten Aktualisierungen gehören laut Entwickler die Vorschau-Unterstützung für die Verwaltung verteilter Daten mithilfe von SQL, Out-of-the-box-Unterstützung für Kerberos, zusätzliche Tuning-Optionen für Intel® Optane™ DC Persistent Memory Modules und ein schnellerer Cluster-Ausgleich. Mit der neuesten Version von Hazelcast IMDG erhalten Anwendungsfälle, wie beispielsweise Digital Integration Hubs eine Verbesserung im Hinblick auf Leistung, Skalierbarkeit und Ausfallsicherheit.

Die Konstellation, dass auf der einen Seite die Unternehmensführung maßgeschneiderte Datenansichten benötigt, und auf der anderen Seite die Anzahl an Datenquellen kontinuierlich wächst, führt zu einer Belastung veralteter Architekturen und Infrastrukturen. Eine sich abzeichnende Antwort auf diese Herausforderungen ist eine neue Architektur der digitalen Integrationsknotenpunkte (Hubs), also eine Datenarchitektur mit einem einheitlichen, zentralen Zugangspunkt und einer standardisierter API, die von unterschiedlichen Anwendungen aufgerufen werden kann.

  • Diese Hubs werden meist implementiert, um die Arbeitslast von Backend-Systemen zu reduzieren, den Zugriff auf die in Backend-Datenbanken und Mainframes gehosteten Daten zu beschleunigen, und um eine gemeinsame API für eine Vielzahl von Datenquellen bereitzustellen, damit neue Technologien in bestehende Architekturen integriert werden können. Hazelcast ermöglicht In-Memory Digital Integration Hubs, indem es Objektspeicherung im RAM, Write-Through-Caching, verteilte Verarbeitung und vordefinierte Verbindungen für viele gängige Datenquellen bereitstellt.

Zur Ergänzung der bestehenden APIs für Sprachen wie Java, .NET, Node.js, Python, C++ und Go bietet Hazelcast IMDG jetzt auch SQL-Unterstützung an. Durch diese neue Funktion in Hazelcast IMDG können Digital Integration Hubs jetzt auch Daten über eine gemeinsame und bekannte API abrufen. Die Verwendung von Indizes für schnellere Abfragen sowie die Möglichkeit, Ergebnisse nach Attributen zu filtern, erweitern die bisher beschränkte Schlüssel-Abfragefunktion (query-by-key) der zugrundeliegenden schlüsselbasierten Datenspeicherung von Hazelcast IMDG. Diese vertraute Vorgehensweise vereinfacht auch die Entwicklung und senkt die Implementierungskosten. In dieser Version ist die SQL-Unterstützung für „ausgewählte“ Abfragen auf bereits mit Daten gefüllten Hazelcast-IMDG-Maps vorgesehen. Zusätzliche Funktionen wie Verknüpfung, Aggregation und Sortierung sind für zukünftige Versionen geplant.

Schnellerer Cluster-Ausgleich und verbesserte Erkennung von Netzwerkausfällen

Da ein Digital Integration Hub der primäre Zugangspunkt für geschäftskritische Anwendungen ist, kann jede Ausfallzeit erhebliche Nachteile mit sich bringen, einschließlich potenzieller Umsatz- und/oder Kundenverluste. Sollte es zu einem Hardwarefehler wie z. B. einem Computerabsturz kommen, muss der Cluster die verlorenen Daten sofort aus den Backups der verlorenen Partitionen wiederherstellen. Bei der Wiederherstellung müssen jedoch nach wie vor die Partitionen im gesamten Cluster ausgeglichen werden.

  • In dieser Version führt Hazelcast parallele Partitionsmigration ein. Dies beschleunigt den Cluster-Ausgleich und verkürzt die Zeit des suboptimalen Zustands um ca. den Faktor Zehn. Wenn zum Beispiel ein Netzwerk einen Knoten in einem 10-Knoten-Cluster abtrennt, der vier Terabyte Daten speichert, kann Hazelcast IMDG den Partitionsausgleich in etwa 2 Minuten abschließen, während vorher dafür mindestens 33 Minuten erforderlich gewesen wären.

Zur weiteren Senkung von Ausfallzeiten verbessert Hazelcast IMDG die Erkennung partieller Netzwerkfehler durch die Implementierung des Bron-Kerbosch-Algorithmus. Dies verbessert die Hochverfügbarkeit in Szenarien, in denen ein Hazelcast-IMDG-Cluster nach schwer zu erkennenden Szenarien von Netzwerkfehlern wiederhergestellt werden muss.

Abb. 1: Hazelcast Cluster Topology, Architekturübersicht (Bildquelle: Hazelcast IMDG).


Out-of-the-box Kerberos-Authentifizierung

Hazelcast bietet jetzt auch eine sofort einsatzbereite Unterstützung für das häufig genutzte Authentifizierungsprotokoll Kerberos. Die Integration der Kerberos-Unterstützung in Hazelcast IMDG verringert die mit manueller Integration verbundene Zeit sowie die Risiken beträchtlich. Das Kerberos-Protokoll ergänzt die Sicherheitsfunktionen von Hazelcast IMDG Enterprise.

Kosteneffiziente Daten und Cloud-freundliche Aktualisierungen

Durch die ständige Entwicklungskooperation mit Intel optimiert Hazelcast seine Plattform kontinuierlich weiter und nutzt die Vorteile der Optane-DC-Persistent-Memory-Module von Intel aus. Diese Version bietet die Möglichkeit der Nutzung aller in einem System installierten Intel-Optane-Persistent-Memory-Module, wodurch Unternehmen kosteneffiziente In-Memory-Implementierungen im Terabyte-Bereich aufbauen können. Außerdem hat Hazelcast Optionen zur Leistungsoptimierung hinzugefügt, mit denen der Durchsatz des Systems um 50 % erhöht werden kann. In ausgewählten Anwendungsfällen lassen sich so für die Hälfte der Kosten nahezu RAM-ähnliche Geschwindigkeiten erreichen.

Abb. 2: In-Memory Data Grid Diagram (Bildquelle: Hazelcast IMDG).


Die neueste Version erleichtert es, Hazelcast IMDG zur Anwendungsmodernisierung in bestehende Architekturen zu integrieren. Hazelcast IMDG bietet jetzt laut Anbieter insbesondere die folgende Möglichkeiten:

  • Erstellen eines Cloud-Clusters mit einer einzigen Konfigurationszeile, was die Einrichtungszeit auf Sekunden verkürzt
  • Anpassen der Konfiguration ohne Bearbeitung der Konfigurationsdateien, was den DevOps-Aufwand verteilter Systeme wie bei Kubernetes verringert.

„Die Weiterentwicklung veralteter Legacy-Architekturen, insbesondere mit heterogenen Backends, hin zu neuen Datenkanälen stellt eine technologische Herausforderung dar. Dabei gilt es, alle Teile zusammenzufügen und gleichzeitig die Gesamtkomplexität beherrschbar zu halten. Digital Integration Hubs bieten einen zentralen Zugangspunkt zu solchen Backend-Datenquellen, auf die mehrere Anwendungen einheitlich zugreifen können“, erläutert Kelly Herrell, CEO von Hazelcast.

Querverweis:

Unser Beitrag > GridGain In-Memory-Computing kündigt In-Memory Cache-as-a-Service in der Cloud an

Unser Beitrag > Auch in der SAP-Welt stehen die Weichen auf Hybride Cloud