Nürnberg, Starnberg, 5. Okt. 2012 – Platz 3 beim Big Data Award für EXASOL mit In-Memory-Computing, spaltenorientierter Datenbank und xplosion interactive...
Zum Hintergrund: Das Projekt „Dynamisch von Hadoop zum Re-targeting mit EXASolution“ wurde beim Big Data Award 2012 der Computerwoche in Offenbach letzte Woche mit dem dritten Platz ausgezeichnet. Die EXASOL AG (mit Sitz in Nürnberg) entwickelt und vertreibt die auf In-Memory-Technologie basierende Hochleistungsdatenbank EXASolution, die speziell für Enterprise-Warehouse-Anwendungen und Business-Intelligence-Lösungen konzipiert wurde.
Zum Projekt: Die Kombination aus In-Memory-Datenbank und Re-targeting ermöglicht es Werbetreibenden und E-Commerce-Betreibern, ihre Online-Werbung gezielter und kosteneffektiver einzusetzen. Mit der neuen xData Platform lassen sich auch sehr grosse Datenmengen zur Steuerung von Angeboten auf Webseiten intelligent verarbeiten und nutzbar machen. Die Lösung bietet Online-Händlern folgenden Mehrwert: Produktangebote können mehrstufig selektiert werden, um potenziellen Kunden möglichst für sie optimale Produktempfehlungen geben zu können. Durch die gezielte Steuerung der Werbeauslieferung (Frequency Cap) wird dem Nutzer in begrenzter Anzahl dabei nur die Werbung eingeblendet, die für ihn auch interessant ist. Conversion-basierte Abrechnungsformen wie pro Bestellung bzw. pro abgeschlossenes Abonnement (Cost per Order) sind ein weiterer Vorteil dieser Lösung. Durch komplexe Data-Science-Methoden werden Interessensfelder und Affinitäten analysiert und ermittelt. Diese steigern die Qualität und Relevanz der in Echtzeit generierten Werbemittel.
Zur Datenbank: Die spaltenorientierte Datenbank EXASolution speichert als zentrales Data Warehouse sämtliche Informationen aus Web-Logdaten der Retargeting-Anwendung. Zentraler Kern neben dem Data Warehouse ist darüber hinaus die Anbindung der polystrukturierten Daten an das Hadoop Framework. Der Aufbau dieses Rohdatenspeichers stellt in der Gesamtarchitektur den Single Point of Truth dar. Dieser verwaltet und steuert alle angeschlossenen dispositiven Systeme wie z.B. das Data Warehouse oder die Operative Data Unit. Die Daten, die das aktuelle Verhalten der Nutzer auf Webseiten widerspiegeln, können somit mit Daten des historischen Kaufverhaltens des Kunden zusammengeführt und analysiert werden.
Die neue Herausforderung: Polystrukturierte Daten in Form bringen...
Zitat: „Mehr als 60 unserer Kunden, darunter SportScheck, Baur oder opodo.de, setzen auf xplosion und generieren damit mehr als 2 Milliarden Datenpunkte pro Monat. Dabei steigt die Menge an Rohdaten monatlich um 0,5 TB an, insgesamt werden über 8 TB an Daten für Analysen verwendet“, sagt Nils Grabbert, Director Data Science bei xplosion.
Diese riesigen heterogenen Datenberge zu verarbeiten und intelligent zu nutzen, war die Herausforderung, der sich xplosion interactive und EXASOL stellten. Mit der dynamisch skalierbaren xData-Platform-Lösung, die als zentrales Datenlager für Realtime-Data-Mining-Systeme und Reportings fungiert, ist man in der Lage, polystrukturierte Daten aus unterschiedlichsten Quellen zu verarbeiten. Unter „Polystruktur“ fallen dabei sämtliche Daten, die in Unternehmen bereits strukturiert z.B. in Form von Kennzahlen, aber auch semi-strukturiert z.B. als XML-Datei oder unstrukturiert in Form von Blog-Einträgen oder Kommentaren vorliegen.
Das Spezifische an der neuen Plattform ist, dass sie im ersten Schritt alle polystrukturierten Daten permanent über das Messaging-System Apache Kafka in das Hadoop Distributed File System (HDFS) zieht. Dort werden sie in ihrer ursprünglichen Form als Rohdaten gespeichert. Metadaten extrahieren daraufhin die Daten heraus, die tatsächlich zur weiteren Analyse verwendet werden sollen: Aus ursprünglich unstrukturierten Daten werden semi-strukturierte Daten, die letztendlich in eine strukturierte Form gebracht werden, um Analysen in Echtzeit zu ermöglichen. Die dynamische Metadaten-Verwaltung vereinfacht dabei die komplexen Abläufe, da neue Felder in den Metadaten hinzugefügt werden können; einmal eingefügt automatisieren sich die Einträge über das ganze System hinweg selbstständig.
Zitat: „Die Herausforderung in Zeiten von Big Data ist, Daten in unterschiedlichen, auch vorab nicht bekannten Strukturen für die Analyse nutzbar zu machen“, sagt Steffen Weissbarth, CEO der EXASOL AG. „Mit xplosion interactive ist es uns gelungen, eine dynamisch skalierbare Lösung zu entwickeln, die aus verschiedensten Quellen polystrukturierte Daten in Echtzeit auswertet. Die Kunden von xplosion können so ihre Retargeting-Kampagnen stetig optimieren, ihre Umsätze deutlich steigern und insgesamt ihr E-Business erfolgreicher gestalten…“