Ratingen, Starnberg, 2. Juli 2012 - DMExpress von Syncsort vereinfacht die Nutzung von Apache Hadoop in Verbindung mit Big Data Lösungen…
Zum Hintergrund: Die auf Apache Hadoop basierende Hortonworks Data Platform, HDP ist eine optimierte Open-Source-Plattform für die Speicherung, Verarbeitung und Analyse großer Datenvolumen. Durch den Einsatz von DMExpress werden die Integration und der Austausch großer Datenmengen zwischen Unternehmenssystemen und dem Hadoop Distributed File System (HDFS) beschleunigt. Die Zertifizierung von Syncsort DMExpress auf HDP (Ankündigung erfolgte Ende Juni 12) erweitert die Hortonworks-Distribution um entsprechend optimierte Datenintegrationstechniken. DMExpress von Syncsort wurde ebenfalls für das schnelle Laden der Greenplum-Datenbank (UAP) zertifiziert. Greenplum als eigener Unternehmensbereich von EMC ermöglicht die Analyse von Daten mittels seiner hochleistungsfähigen MPP-Datenbank (Massive Parallel Processing), die skalierbar bis zu Petabyte an Daten speichern und analysieren kann.
> http://www.syncsort.de/Anwenderberichte/Datenintegration.aspx
> http://www.greenplum.com/products/greenplum-uap
In dieser Kombination lassen sich die Daten aus fast jeder Quelle extrahieren und in die Greenplum-Datenbank hochladen; manuelle Optimierungen oder die Erstellung eigener Programme sollen dafür nicht erforderlich sein. Syncsort DMExpress kann dabei in Verbindung mit dem Greenplum Data Integration Accelerator (DIA) Module die Ladezeiten für große Datenmengen stark verkürzen: Bei kürzlich durchgeführten Benchmark-Tests wurde laut Hersteller mit vier ETL-Servern ein Ladedurchsatz von mehr als zwölf Terabyte pro Stunde erzielt.
Anwenderzitat: „Für die Unterstützung und den Ausbau eines datenintensiven Unternehmens wie comScore sind wir auf innovative Technik angewiesen, die höchste Performance, extrem effiziente Ressourcennutzung und lineare Skalierbarkeit bietet“, so Mike Brown, Chief Technology Officer von comScore. „Als zufriedener Kunde sowohl von Syncsort als auch von Greenplum profitieren wir von der Integration ihrer Produkte erheblich und können jetzt unsere Greenplum-Datenbank unter Verwendung von DMExpress dreimal schneller als mit unserer früheren Lösung laden. Hierdurch können wir unseren Analysten aktuellere Daten bereitstellen, was den Wert unserer Angebote steigert. Zudem können wir doppelt so viele Daten mit derselben Hardware verarbeiten. Dies ermöglicht uns erhebliche Kosteneinsparungen bei exponentiell wachsenden Datenmengen.“
Als Mitglied im Greenplum Catalyst Developer Program wird Syncsort nach eigenen Angaben die Software DMExpress mit der Greenplum Unified Analytics Platform (UAP) verzahnen. Im Rahmen dieses Programms ist es geplant, das Laden und Extrahieren von Daten im Hadoop Distributed File System (HDFS) zu vereinfachen und zu beschleunigen und darüber hinaus die Komplexität und den Kostenaufwand für die Entwicklung und Ausführung von MapReduce-Tasks zu verringern.