München, Starnberg, 22. Okt. 2018 - Verfügbare Deep-Learning-Frameworks für die Anwendbarkeit der parallelen GPU-Unterstützung auf PRIMEFLEX for Hadoop...
Zum Hintergrund: PRIMEFLEX for Hadoop ist eine Plattform zur Analyse großer Datenmengen mit hoher Geschwindigkeit. Sie kombiniert die Vorteile vorkonfigurierter und vorgetesteter Hardware auf Basis von Industriestandardkomponenten mit Open-Source-Software von Cloudera, Hortonworks und MapR sowie Big Data Analytics Self-Service-Software und von Datameer. PRIMEFLEX for Hadoop wird als betriebsbereites integriertes System sowie als Referenzarchitektur angeboten und ermöglicht es so vereinfacht, relevante Informationen aus großen Datenmengen abzurufen.
Um das Potenzial von Big Data in PRIMEFLEX for Hadoop zu erweitern, können Deep Learning Frameworks zusätzliche Erkenntnisse liefern. Parallel laufende Berechnungen auf mehreren GPUs machen die Ergebnisse schneller verfügbar. Worauf sollten Sie bei der Integration eines Deep Learning Frameworks achten? Was sind die Anforderungen an den Architekturrahmen?
Das Whitepaper FUJITSU Integriertes System - PRIMEFLEX® für Hadoop veranschaulicht dazu die wichtigsten Aspekte aus Sicht des Anbieters. Es enthält einen kurzen Framework-Vergleich und gibt Hinweise zu ausgewählten Frameworks.
PRIMEFLEX für Hadoop Software Stack und GPUs
Die Komponenten von Fujitsu PRIMEFLEX for Hadoop, das derzeit auf RHEL7 basiert, unterstützt Cloudera, Hortonworks und MapR Hadoop Distributionen. Alle drei Distributionen enthalten YARN als cluster-weites Dependency-Management und MapReduce und Spark als Ausführungsrahmen. Das folgende Diagramm zeigt die Leistungssteigerung von CPU zu GPU, die mit den verschiedenen Arten von neuronalen Netzen und Trainingseingangs-Datensätzen erreicht wurde.
Abb. 1: Performance increase from CPU to GPU. White paper Fujitsu Integrated System - PRIMEFLEX for Hadoop (Bildquelle: Fujitsu). Weitere Details finden Sie auf Seite 9 und 10 im Whitepaper.
Quellen / Querverweise / Bloglinks
- Link > http://www.fujitsu.com/fts/products/computing/integrated-systems/
- Technischer Bloglink von NVIDIA > https://devblogs.nvidia.com/tensorrt-integration-speeds-tensorflow-inference/
Mehr zum Thema auf dieser Webseite:
- Künstliche Intelligenz ist laut Umfrage in deutschen Unternehmen Chefsache
- Künstliche Intelligenz in Deutschland: appliedAI-Initiative appelliert an Bundesregierung
- Gestiegene Speicheranforderungen im Zuge der Entwicklung von KI-Anwendungen
| Anhang | Größe |
|---|---|
 wp-pf4hadoop-dlonGPUs-en.pdf | 463.97 KB |