München, Starnberg, 21. Febr. 2013 – YARN Ressourcenverwaltung- und Scheduling-Funktionen ermöglicht Hadoop-Anwendungen das CPU-Resource-Sharing im Cluster…
Zum Hintergrund: MapR Technologies <http://www.mapr.com/> stellte vergangene Woche eine auf Apache Hadoop 2.2 mit YARN (Yet Another Resource Negotiator) beruhende neue Version seiner MapR-Distribution vor. YARN verwaltet im Cluster verfügbare Ressourcen und teilt diese Anwendungen anforderungsgerecht zu. Durch den Einsatz der nächsten Version der MapR-Datenplattform profitieren Anwender von der Verlässlichkeit und den Echtzeitfunktionen der MapR-Distribution. Die MapR-Distribution mit Apache Hadoop Yarn ist nach Angaben Anbieters von Apache Hadoop-Technologien für Big-Data-Anwendungen im März 2014 erhältlich. Informationen zum Beta-Programm können unter der E-Mail-Adresse yarn-beta@mapr.com angefordert werden.
YARN verbessert die Gesamteffizienz und Auslastung von Clustern – eine kurze Übersicht:
Mit Hilfe Ressourcenverwaltung- und Scheduling-Funktionen von YARN können sich Hadoop-Anwendungen die im Cluster verfügbaren Rechenressourcen teilen. Dies wirkt sich positiv auf dessen Gesamteffizienz aus und verbessert die Auslastung. Der kombinierte Einsatz von YARN mit der zu 100 Prozent POSIX-kompatiblen Datenplattform von MapR, die wahlfreie Lese-Schreib-Operationen unterstützt, bietet weitere Vorteile.
Neben der Ausführung von YARN-Anwendungen in einem Hadoop-Cluster und der gemeinsamen Nutzung der Rechenressourcen lassen sich Daten von dem zugrundeliegenden verteilten Dateisystem und den Datenbanktabellen lesen, auf diese schreiben und aktualisieren. Daraus resultierend können Unternehmen ein breiteres Spektrum an Hadoop-Anwendungen für die Verarbeitung großer Datenmengen entwickeln und einsetzen.
Abwärtskompatibilität bei Wechsel auf YARN
Die neue Version der MapR-Distribution ist abwärtskompatibel, daher lassen sich Hadoop MapReduce 1x- und YARN-Scheduler simultan auf den gleichen Knoten in einem Cluster ausführen. Unternehmen, die bislang MapReduce 1x einsetzen, können somit einfach und risikolos das Upgrade auf den neuen Hadoop-Scheduler vornehmen. Darüber hinaus bietet bislang nur MapR die Möglichkeit, selbst nicht mit YARN kompatible Services von Drittanbietern auf demselben Cluster auszuführen.
Auf MapR ausgeführte YARN-Anwendungen machen sich die Leistungsmerkmale der MapR-Distribution wie eine hohe Verfügbarkeit, vollen Datenschutz, umfassende Disaster-Recovery-Funktionen, Sicherheit und Leistungsstärke zu eigen. Außerdem verbessert sich ihre Echtzeitverarbeitungsfähigkeit, da das MapR-Dateisystem das Schreiben im Streaming-Modus ermöglicht. Dadurch können YARN-Anwendungen direkt auf die aktuellsten betrieblichen Daten zugreifen.
MapR-Distribution unterstützt breites Spektrum an Open-Source-Projekten
Mit der neuen Version unterstützt MapR derzeit mit das breiteste Spektrum an Open-Source-Projekten. Apache Hive, Pig, Solr, Oozie, Flume, Sqoop, HBase und ZooKeeper aber auch für Apache lizensierte freie Software wie Multitool, Hue, Impala und Cascading sind darunter.
Anwenderzitate
„YARN öffnet Hadoop für über MapReduce hinausgehende Verarbeitungsmodelle. Die Hadoop-Distribution von MapR erweitert die Möglichkeiten von YARN, da sie neben HDFS eine komplette und auf offenen Standards beruhende NFS-Schnittstelle bereitstellt. Dadurch können nun auch zahlreiche Anwendungen außer MapReduce den Cluster-Speicher optimal nutzen.“ Evan Quinn, Research Director, Enterprise Management Associates
“comScore führt jeden Tag über 20.000 Jobs auf seinem MapR-Produktivcluster aus. Wir freuen uns, dass MapR nun auch Hadoop 2.0 anbietet und durch die gleichzeitige Unterstützung von MapReduce 1x sowie YARN auf demselben Cluster einen lückenlosen Upgrade-Pfad realisiert.“ Michael Brown, Chief Technology Officer, comScore