S3 Data Lake-basierte Observability-Plattform auf Basis Cribl (Stream) und Cloudian HyperStore®

San Francisco/Mateo (CA), Starnberg, 24. Okt. 2022 – Partnerschaft ermöglicht Verarbeitung- & Analyse großer Datenmengen lokal (vor Ort) im eigenen Rechenzentrum...

Zur Ankündigung: Cribl und Cloudian haben eine moderne Datenanalyselösung vorgestellt, die mit Cribl Stream und Cloudian HyperStore® Objektspeicher beide Anbieterlösungen kombiniert, um eine Zitat „universelle Lösung zur Verarbeitung von Logs in einem lokalen, S3-kompatiblen Data Lake zu schaffen.“ Die gemeinsame Lösung soll es Betreiben erlauben, große Datenmengen direkt zu erfassen, zu analysieren, umzustrukturieren und anzureichern, damit sie die richtigen Daten in den richtigen Formaten erhalten - das alles sicher hinter ihrer Firewall.

Zum Nutzen einer Observability-Plattform

Überwachungslösungen allein helfen Unternehmen nur bei der Beantwortung bekannter Fragen über ihre Infrastruktur und Umgebung. Um neue Signale oder Chancen zu erkennen, brauchen sie eine Observability-Plattform, die in der Lage ist, Daten aus verschiedenen Quellen in höchster Qualität zu erfassen und zu speichern und die relevanten Daten in verschiedene Analysetools einzuspeisen, ohne dass eine neue Infrastruktur und neue Agenten erforderlich sind. So können IT-Teams fortschrittliche Analysen durchführen und erhalten vollständige Transparenz und Einblicke in ihre Umgebung, von den Anwendungen bis zur Infrastruktur.

Cribl und Cloudian - Lösung

Cribl Stream ist eine Observability-Pipeline, die Daten aus beliebigen Quellen sammelt und an einen Cloudian HyperStore S3-kompatiblen Data Lake senden und wiedergeben kann. Die Daten werden laut Entwickler in HyperStore mit voller Wiedergabetreue gespeichert und sind jederzeit für die Suche und Analyse verfügbar. HyperStore kann auf Tausende von Knoten in mehreren Rechenzentren skaliert werden und unterstützt Millionen von Nutzern und Hunderte von Petabytes an Daten (Anmerkung: Cribl wurde 2017 gegründet und ist ein Remote-First-Unternehmen mit Sitz in San Francisco, Kalifornien).

 

Abb.: Stream - Visualized (Bildquelle: Cribl)

Link > https://cribl.io/stream/

 

Weitere Vorteile der Lösung betreffen:

  1. Unbegrenzte Skalierbarkeit für langfristige Compliance – Die Daten können über einen Pre-Parser neu formatiert werden und helfen den Nutzern, sie zu maskieren, zu reduzieren oder umzustrukturieren und an verschiedene Ziele weiterzuleiten, z. B. an kostengünstigen Cloud-Speicher für die langfristige Speicherung.

  2. Daten wiedergeben – Kunden können verschiedene Datenformate, die im Data Lake gespeichert sind auf gängigen Analyse- und Suchplattformen wiedergeben.

  3. Hybrid Cloud-ready – Die Nutzer können richtlinienbasierte Tools einsetzen, um Daten auf AWS, GCP, Azure oder einem anderen Cloudian HyperStore-Cluster für Offsite-DR, Kapazitätserweiterung oder Datenanalyse in der Cloud zu replizieren oder zu schichten, wodurch eine kostengünstige Speicherung in verschiedenen Umgebungen ermöglicht wird, die gleichzeitig als ein gemeinsamer Pool verwaltet wird.

  4. Sicherheit und Schutz vor Ransomware - laut Anbieter auf Militär-Niveau – Zu den Funktionen gehören die serverseitige AES-256-Verschlüsselung für gespeicherte Daten, SSL für Daten bei der Übertragung (HTTPS), rollenbasierte Zugriffskontrollen mit festgelegten Zugriffsebenen, Protokollierung von Prüfpfaden und Unveränderbarkeit der Daten zum Schutz vor Ransomware.

  5. Ausfallsicherheit der Daten – Die Lösung bietet laut Anbieter eine Ausfallsicherheit von bis 99,999999999999 % und unterstützt vom Administrator wählbare Speicherrichtlinien auf der Grundlage von Replikation oder Erasure Coding sowie eine feinkörnige Kontrolle der Datenplatzierung in den Rechenzentren.

Kommentarauszug Zac Kilpatrick, Vice President, Global Channels & Alliances, Cribl: „Wenn unsere Kunden Cloudian und Cribl zusammen nutzen, können sie mit Cribl Stream die größten Datenmengen in jedem beliebigen Format sammeln und mit Cloudian HyperStore Daten in voller Qualität speichern und wiedergeben, was Kosten spart und die Leistung optimiert.“

 

Querverweis:

Unser Beitrag > Anforderungen an Automatisierungstools für next.gen. Data-Warehouse-Architekturen

Unser Beitrag > Welche Vorteile ergeben sich beim Einsatz von Datenvirtualisierung im Unternehmen?