Redwood City (CA), Starnberg, 11. März 2019 - TDWI-Umfrage im Auftrag von Talend zu Cloud Data Warehouse-Investitionen; mehr als „nur Storage“ ist gefordert...

Zum Hintergrund: Nach einer Umfrage des TDWI "The Data Warehousing Institute" im Auftrag von Talend bieten neue Cloud Data Warehouse-Lösungen (CDW) noch umfassendere Datenfunktionen, eine bessere Leistung und mehr Flexibilität als herkömmliche lokale Datenbanken. Die Umfrage ergab jedoch auch, dass ein CDW zwar oft ein erster wichtiger Schritt bei der digitalen Transformation ist, aber die Unternehmen gewisse Best Practices befolgen sollten, um die Herausforderungen bei der Implementierung zu meistern und die Investitionsrentabilität zu erhöhen. Kommentar Philip Russom, Senior Research Director of Data Management beim TDWI: „Die Cloud ermöglicht dem Data Warehouse für die heutigen Anforderungen die nötige Flexibilität, unabhängige Speicherung, mandantenfähigen Zugriff und volle Kostenkontrolle. Das Cloud Data Warehouse sollte allerdings durch eine umfangreiche Data-Integration-Infrastruktur ergänzt werden, denn nur so lassen sich die zahlreichen Elemente eines Data Warehouses mit all den verfügbaren Datenquellen und -zielen sinnvoll zusammenführen.“ (1)

Ein Beispiel ist die Decision Resources Group (DRG): Die Organisation verwaltet umfassende Datenspeicher für mehr als 90 Prozent des US-amerikanischen Gesundheitswesens, hatte aber Schwierigkeiten, die unterschiedlichen Datenquellen zu kombinieren und zu organisieren. Gesundheitsdaten werden in strukturierter Form gespeichert, weswegen die DRG Millionen von Datensätzen bereinigen und normalisieren muss, um die Bedürfnisse der Patienten und die Marktbedingungen beurteilen zu können.

Mit der Implementierung von Talend und des Snowflake Cloud Data Warehouse als Grundlage der neuen Real World Data Platform hat die DRG erfolgreich eine Cloud-First-Strategie umgesetzt. So konnte die Produktivität des Unternehmens ohne Kostensteigerungen um 150 Prozent erhöht werden und in nur drei Monaten wurden 100 Terabyte Daten integriert. Dadurch kannn das Unternehmen nun aussagekräftigere Daten bereitstellen, mit denen Ärzte verschiedene Patientenpopulationen und Anbietermärkte verstehen und so besser mit ihnen interagieren können.

Zwar stellten viele Teilnehmer der Umfrage übereinstimmend fest, dass die Einführung von CDWs entscheidend für eine schnellere Leistung und niedrigere Kosten war und die Cloud-Funktionen ihnen einige Vorteile bietet, war im Zusammenhang mit der CDW-Implementierung auch von einer Reihe von Herausforderungen die Rede. Über 50 Prozent der Befragten nannten Data Governance als größte Herausforderung, dicht gefolgt von der Integration von Daten aus mehreren Quellen mit etwas über 40 Prozent und der Migration der Daten in das Data Warehouse mit rund 38 Prozent.

Die Anforderungen der Unternehmen an die Datenanalyse in einem CDW werden immer komplexer. Mehr als 35 Prozent der Befragten gaben an, sie benötigen eine In-Memory-Verarbeitung, Unterstützung strukturierter und unstrukturierter Daten sowie eine Integration mit Analysetools von Drittanbietern. Folglich müssen CDWs eine große Anzahl heterogener Daten aufnehmen und gleichzeitig eine breite Palette technischer Anwendungsfälle abdecken können.

Abb. 1: Organizations want more than just storage from their CDWs (Bildquelle: Cloud Data Warehouse Trends 2019)

Es äußerten sich 62 Prozent derjenigen, die sich mit der Implementierung eines CDW befassen den Wunsch, diese für Analytikzwecke mit einem Data Lake zu ergänzen. Alle Befragten interessierten sich für Funktionen wie Datenqualität, Metadatenmanagement sowie der Verarbeitung und Transformation von Daten sowohl vor als auch nach dem Laden der Daten in ein CDW. Da diese Anforderungen nicht allein durch CDW-Technologien erfüllt werden können, legen die Antworten nahe, dass es einen Bedarf an Integrationslösungen zur Ergänzung der Infrastruktur gibt. CDWs müssen in die Lage sein, unterschiedliche Anwendungsfälle, vom geschäftlichen bis hin zum technischen Bereich, abzudecken zu können. Gleichzeitig müssen sie Zunahmen bei Geschwindigkeit und Skalierbarkeit bewältigen und aktuelle wie auch künftige Anforderungen erfüllen können.

Fazit: Wer ein Cloud Data Warehouse aufbaut, sollte weitere Architektur- und Datenintegrationsanforderungen nicht ignorieren. Dazu auch Ashley Stirrup, Chief Marketing Officer bei Talend: „Mit einem Cloud Data Warehouse können Unternehmen datengesteuerte Anwendungsfälle erstellen und Datencluster dynamisch implementieren. Um jedoch wirklich erfolgreich zu sein, müssen Unternehmen ihre eigenen Anforderungen vollständig verstehen. Die meisten Unternehmen, die sich für ein CDW entschieden haben, gehen davon aus, dass diese erst einmal in der Lage sein müssen, alle Daten unterzubringen; der Rest würde sich dann schon ergeben. Allerdings sollten Data Architects, die nicht nur Kosten senken, sondern den vollen Nutzen erzielen wollen, sich darüber im Klaren sein, wie die einzelnen Geschäftsbereiche Daten verwenden, und den Schwerpunkt vor allem auf die Integration legen.“

(1) Quelle: Talend TDWI Benchmark Report - Cloud Data Warehouse Trends 2019 

Die Ergebnisse der Umfrage, mit Aussagen von >200 Datenarchitekten sowie Führungskräften aus den Bereichen IT und Analytics stehen (Hinweis: Registrierung bei Talend erforderlich) hier zum Download bereit.