Berlin, Starnberg, 13. März 2019 - Datenverarbeitung als Flaschenhals im industriellen Internet der Dinge (IIoT); laut Ververica ist Stream Processing in "near realtime" nötig...
Zum Hintergrund: Auf dem Mobile World Congress war 5G ein großes Thema im Consumer- und Business-Umfeld. Auch auf der Hannover Messe 2019 wird 5G im Fokus stehen, nicht zuletzt, weil das industrielle Internet der Dinge und Industrie 4.0 in Deutschland immer größere Resonanz finden. 5G gilt als ein Hoffnungsträger, wird aber für erfolgreiche IoT-Projekte alleine nicht ausreichen, denn es geht um mehr als "nur" Übertragungsbandbreite. Ververica (vormals Data Artisans), gegründet von den ursprünglichen Entwicklern des Open Source Frameworks Apache Flink, sieht jedenfalls die Wertschöpfung aus IoT-Daten nur dann gegeben, wenn deren Auswertung nahezu in Echtzeit möglich ist. Dies soll Stream Processing ermöglichen, eine moderne Datenverarbeitungstechnologie, die für den Durchbruch des IIoT und das Vorantreiben von Industrie 4.0 maßgebliche Impulse liefern wird.
Unternehmen erzeugen kontinuierlich immer größere Datenmengen, insbesondere Sensordaten der vernetzten Industrie 4.0. An dieser Stelle kommt Stream Processing ins Spiel, eine Big Data - Technologie, die für einen neuen Ansatz in der Datenverarbeitung steht. Dieser unterscheidet sich fundamental von dem bisher verwendeten Batch-Processing, also der Stapelverarbeitung. Auf diese Weise ist die Bewältigung kontinuierlich zufließender Datenströme – etwa von Finanztransaktionen, beim eCommerce, aber auch von IoT-Sensoren – möglich. Dies wiederum ist die Voraussetzung, damit Unternehmen unmittelbar auf Ereignisse reagieren können.
Wandel in der Datenverarbeitung vorantreiben
Diesen Wandel in der Datenverarbeitung voranzutreiben, hat sich nach eigenen Angaben Ververica zum Ziel gesetzt. Apache Flink Stream Processing wird mittlerweile von globalen Unternehmen wie Alibaba, ING, Netflix und Uber eingesetzt. Typische Anwendungsfälle sind Datenanalyse, maschinelles Lernen, Such- und Content-Ranking, sowie Betrugserkennung in Echtzeit. Der Medienriese Netflix verarbeitet mit Flink mehr als fünf Billionen Ereignisse pro Tag, also mehr als 50 Millionen pro Sekunde, auf Tausenden von Prozessorkernen. Ebenso wie bei diesen Anwendungsbeispielen aus der Praxis sind industrielle IoT-Anwendungen auf Echtzeitdatenangewiesen, um gegebenenfalls sofortige Maßnahmen einzuleiten. Ein Beispiel wäre das Management bei der Erzeugung regenerativer Energien je nach Wetterlage und Strombedarf.
Abb.: Vergleich "Before stream processing: a data-at-rest infrastructure versus Stateful Computations over Data Streams / stream processing infrastructure" (Bildquellen: Ververica / Apache Flink®)
Kommentar von Aljoscha Krettek, Software Engineer bei Ververica: „Während herkömmliche Datenbanken die Daten zunächst abspeichern müssen, um sie zu verarbeiten, ist dies mit dem heutigen Datenvolumen und der erwarteten Geschwindigkeit oft gar nicht möglich. Mittels Stream Processing durch Apache Flink, können die Daten jedoch unmittelbar „in Bewegung“ als Datenstrom nahezu in Echtzeit verarbeitet werden… Die Verarbeitung von Echtzeit-Datenströmen anstelle von periodisch übertragenen Datensätzen ermöglicht es, Berechnungen sofort bei der Verfügbarkeit von Daten durchzuführen, zeitnahe Warnungen auszulösen oder Ereignismuster kontinuierlich zu erkennen“.