München, Starnberg, 06. Febr. 2020 - Mit den Daten wächst auch die Anzahl von Lösungen für neue Anforderungen; folgen Sie der Diskussion im Gastbeitrag von DataStax….
Zum Hintergrund: Folgt man z.B. den Verlautbarungen von Gartner, planen 66 Prozent der dort befragten Unternehmen, 5G bis 2020 etabliert zu haben. Immerhin 59 Prozent wollen mit dem Einsatz des neuen Netzes auch Use Cases im Bereich Internet of Things (IoT) angehen. Der neue Kommunikationsstandard ebnet den Weg dafür, massiv von den Daten zu profitieren, die neue Technologien generieren. Smartphones, Smart Cities, Smart Homes und Smart Cars gestalten unsere digitale Welt neu und schaffen eine massive Infrastruktur aus sensorischen Daten. Und diese Masse an Daten wird mit dem Einsatz neuer Technologien weiter steigen – auf 175 Zettabytes in fünf Jahren, wie es IDC in einer Studie (sponsored by Seagate) voraussagt (1).
Andererseits machen wir nach Ansicht von Experten und Lösungsanbietern wie z.B. DataStax auch kontinuierlich Fortschritte, was die Nutzung dieser Daten angeht. So stehen nicht zuletzt mit Hilfe von 5G, Mittel dazu zur Verfügung, die noch vor fünf Jahren unvorstellbar gewesen wären. Vier solcher Schlüsseltechnologien, die ein leistungsfähiges Management von IoT-Daten in skalierbarer Form ermöglichen, werden wir mit Karsten Stöhr** - Data Architect bei DataStax - im Folgenden für Sie deshalb genauer beleuchten. Zum Beitrag:
1. Zeitreihen-Datenbanken
"Zeitreihendaten machen in IoT-Projekten einen großen Teil der anfallenden Daten aus. Betrachtet man Produktionsergebnisse im Laufe der Zeit, lassen sich Aussagen über den Einfluss bestimmter Parameter treffen, Trends bewerten oder Muster in den Daten identifizieren. So könnten beispielsweise Temperaturschwankungen eines Brennofens die Qualität des Endprodukts beeinflussen. Die Einsichten entstehen hier aus der Analyse von Zeitreihendaten, also dem Abgleich von Werten über eine bestimmte Zeit hinweg. Datenbanken für das Management solcher Daten müssen meist eine große Menge an Schreibvorgängen unterstützen. Auch wenn die einzelnen Datensätze klein sein mögen, ergibt sich die Herausforderung durch die hohe Anzahl an Datensätzen, die über einen Zeitraum anfällt.
Der Ansatz, Zeitreihendaten zu verwalten, unterscheidet sich daher stark vom bekannteren relationalen Datenmodellierungsansatz. In einem Zeitreihen-Datenmodell speichert der Anwender Daten in Spalten und nicht in einem traditionellen zeilenbasierten Modell. Dies ermöglicht es der Datenbank, Daten effizient auf den Speicher zu schreiben und für Analysezwecke zu lesen. Zudem wird die Zeit bis zur Rückgabe einer Anfrage verkürzt. Weitere Vorteile von Zeitreihen-Datenbanken sind Nutzerfreundlichkeit und Skalierbarkeit sowie Features wie Komprimierung, Data-Lifecycle-Management und Datenverdichtung.
2. Echtzeit-Analyse dank Stream-Architektur
IoT-basierte Anwendungen verarbeiten in der Regel Millionen oder sogar Milliarden Datenpunkte am Tag. Einige davon erfordern eine umgehende Reaktion. Das gelingt nur, indem Unternehmen ein System zur Datenstromverarbeitung einsetzen. Denn Lösungen wie beispielsweise Apache Kafka leiten die Daten ab dem Zeitpunkt des Entstehens direkt in das Analysesystem. Im Gegensatz zu einer Batch-Verarbeitung, bei der Informationen über einen längeren Zeitraum gesammelt und dann gemeinsam analysiert werden, stehen die Einsichten aus den generierten Daten in Stream-basierten Architekturen in Echtzeit zur Verfügung. Dabei kann eine solche Architektur große Datenmengen nicht nur aus einer, sondern aus mehreren Quellen verarbeiten.
Das macht sie beispielsweise sehr effektiv für die Verwaltung von Clickstream-Analysen, also dem Sammeln von Besucherdaten auf Websites und deren Auswertung. In einem E-Commerce-Shop können anhand dieser Einsichten dann Angebote oder Produktempfehlungen für den Kunden im Handumdrehen personalisiert werden. Daher ist Echtzeit-Streaming ein unglaublich leistungsfähiges Werkzeug zur IoT-Datenverwaltung auf Unternehmensebene.
3. Data Tiering
Je nach Anwendungsfall, bieten sich für die Ablage von Daten verschiedene Speicherstufen wie Flash-Speicher, traditionelle SAN/NAS-Speicher-Arrays, Objektspeicher oder die Cloud an. Data Tiering sorgt dafür, dass die Daten zwischen den Speicherstufen verschoben werden können, ohne dass wichtige Informationen verloren gehen oder sich die Kosten erhöhen. So werden immer die richtigen Anforderungen in Bezug auf Speicherplatz, Geschwindigkeit und Kosten erfüllt.
In IoT-Projekten haben es Unternehmen häufig mit unstrukturierten Daten zu tun. Um hier ein ausgewogenes Data Tiering zu erreichen, eignen sich besonders Hybrid-Cloud-Strukturen. Denn sie kombinieren die Vorteile von traditionellem Cloud- und Edge-Computing: Sie bieten eine schnelle, aber sicherere Datenverarbeitung, die zudem näher an der Quelle und bei Bedarf auch in einem zentralen Repository stattfindet. Dies ermöglicht mehr Flexibilität beim Verschieben von Daten, beispielsweise in Public Clouds – die Kontrolle über die Daten bleibt jedoch beim Unternehmen. Zudem werden so Nachteile der alleinigen Nutzung der Public Cloud umgangen, wie hohe Bandbreitenkosten, Sicherheitsrisiken, Zugriffsmuster oder Performance-Probleme.
4. Erweiterte Replikation
Wird das Skalieren einer Datenbank nötig, ermöglicht Replikation den Aufbau einer verteilten Datenbank. Indem Daten aus einer Datenbank auf einem Computer oder Server in eine Datenbank auf einem anderen Rechner kopiert werden, lässt sich von zwei oder mehr Standorten simultan auf die gleichen Daten zugreifen. Das Wichtige: Der Informationsstand ist für alle Benutzer der gleiche. Er kann zudem beliebig oft kopiert werden, um neue Analysemodelle aufzusetzen. Anwendungen zur Datenreplikation werden daher für Analysen von IoT-Daten immer wichtiger. Denn sie erlauben die Analyse großer Datenmengen in komplexen, verteilten Umgebungen. Nur durch diese Analyseergebnisse können aber Unternehmen Nutzungsmuster leichter erkennen oder Schwachstellen in angeschlossenen Geräten identifizieren — was letztlich zur Entwicklung verbesserter vernetzter Produkte beiträgt.
Erweiterte Replikationsstrategien umgehen sogar weite räumliche Distanzen. In einem Hub-and-Spoke-Modell beispielsweise können Daten von entfernten Standorten zu einem zentralen Hub repliziert werden. Auf diese Weise werden im zentralen Hub alle entfernten Standorte nachgebildet, jeder Standort muss sich aber nur um seine eigenen Daten kümmern und keine Gedanken über die Übertragung machen. Gerade mit der Weiterentwicklung von Edge- und Near-Edge-Computing gewinnt dieses Modell stark an Bedeutung. Auch in IoT-Umgebungen wird diese erweiterte Datenreplikation künftig eine wichtige Rolle spielen. Denn so lässt sich eine konsistente Kopie der Daten über alle Knoten hinweg bereitstellen, was die Datenverfügbarkeit erhöht und die Verfügbarkeit sicherstellt.“
** Das Foto zeigt Karsten Stöhr, Data Architect bei DataStax (Bildquelle: DataStax).
(1) Link mit Querverweis:
-
Unser Beitrag > Intelligentes Datenmanagement, Daten-DNA, Container und weitere Trends für 2020
-
Link zur IDC/Seagate Studie > https://www.seagate.com/de/de/our-story/data-age-2025/