Aus den Daten Vom Chaos zur Kontrolle in 3 Monaten: Wie ein wachsendes 3PL-Unternehmen den Wert seiner Daten maximierte mit Big-Data-Analytik Lösung

Das Yalantis-Team entwickelte eine maßgeschneiderte Big-Data-Analyseplattform für die effiziente Auswertung von Geschäftsdaten und unterstützte verschiedene Führungskräfte des 3PL-Unternehmens dabei, ihre Kompetenzen auf folgende Weise zu erweitern

Im Jahr 2021 arbeitete das Yalantis-Team mit einem in den USA ansässigen Third-Party-Logistics-Unternehmen (3PL) zusammen, das seinen Kunden effiziente Dienstleistungen anbietet:

Bei der Erbringung dieser Dienstleistungen stellt das Unternehmen die Bedürfnisse seiner Kunden in den Vordergrund und ist bestrebt, die Erwartungen zu übertreffen, um die Kundenbindung zu stärken, Marktanteile zu gewinnen und seine Marke auszubauen. Es legt besonderen Wert auf Transparenz bei Versand und Auftragsabwicklung und strebt nach einer kontinuierlichen Optimierung seiner täglichen Abläufe, um erstklassige Logistikdienstleistungen zu erbringen.

Das 3PL-Unternehmen benötigte eine effiziente Datenanalyselösung, um Rohdaten aus verschiedenen Quellen – wie Kundenprotokollen, Lieferkettensystemen, RFID-Tags und IoT-Geräten – in wertvolle Informationen zur Unterstützung der Entscheidungsfindung umzuwandeln. Dabei standen sie vor mehreren Herausforderungen:

• Unvollständige Daten da es an einem effizienten Verfahren zur Echtzeit-Zusammenführung von Daten aus verschiedenen Quellen mangelt

• Unwirksame Analyse große Mengen unstrukturierter Daten aufgrund des Fehlens eines fortschrittlichen Datenanalysesystems
• Schlechte Barrierefreiheit zu den in verschiedenen Abteilungen isoliert vorhandenen Lieferkettendaten

Um die Herausforderungen unseres Partners effizient anzugehen, begann unser Team mit der Arbeit an einer maßgeschneiderte Big-Data-Analyseplattform.

Big-Data-Lösung für 3PL: Implementierung 4 Kernkomponenten

Das Yalantis-Team hat die folgenden Big-Data-Analyse-Komponenten integriert:

Entwurf eines flexible Lösungsarchitektur: 6 Ebenen zur Strukturierung verzerrter, großvolumiger Daten

Wir haben eine geschichtete Architektur um die Trennung der Anliegen, die Entkopplung von Aufgaben und Flexibilität zu gewährleisten. Die Architektur bestand aus sechs logische Schichten, das im Folgenden ausführlich beschrieben wird.

Überblick über die Architektur auf hoher Ebene

#1 Ingestion-Schicht für eine reibungslose Datenaggregation

Zuständig für die Extraktion von Daten aus internen und externen Quellen in das Big-Data-Analysesystem. Es basiert auf:

• AWS Data Exchange, das Daten aus Drittanbieterdiensten in das System überträgt
• Kinesis Data Firehose, das Datenströme von IoT-Geräten direkt in AWS-Produkte zur Verarbeitung überträgt.

#2-Speicherschicht zur Abschätzung von Datensilos

Speichert strukturierte und unstrukturierte Daten, damit diese in allen anderen Ebenen problemlos genutzt werden können. Wir haben Amazon S3 um eine unbegrenzte und kostengünstige Skalierbarkeit für den serverlosen Data Lake des Kunden zu gewährleisten. Die Speicherschicht besteht aus drei Zonen:

• Rohzone mit Daten, die gerade von der Erfassungsschicht empfangen wurden
• Gereinigter Bereich mit Daten nach grundlegenden Qualitätsprüfungen
• Ausgewählter Bereich mit Daten, die in der Verbrauchsschicht einsatzbereit sind

#3 Katalogisierungs- und Rechercheebene für eine effiziente Nachverfolgung von Datensätzen

Hat einen zentralen Datenkatalog zur Verwaltung und Speicherung von Metadaten für alle Datensätze im Data Lake über das AWS Lake Formation-Tool. AWS Glue, Amazon EMR und Amazon Athena können nativ mit Lake Formation integriert werden und den Prozess der Erkennung und Registrierung von Datenset-Metadaten im Lake Formation-Katalog automatisieren.

#4 Verarbeitungsstufe als Vorbereitung für eine effiziente Datenanalyse

Verwendet Validierung, Reinigung und Normalisierungsprozesse, um die Daten für die Nutzung zu bereiten. Wir haben Folgendes verwendet: AWS Glue Um ETL-Jobs (Extract, Transform, Load) zu erstellen und zu betreiben, die in Python geschrieben sind.

#5 Verbrauchsebene für wertvolle Erkenntnisse

Ermöglicht die Datenvisualisierung, die Analyse von Business Intelligence (BI) und die Verwendung von ML-Algorithmen. Amazon QuickSight bietet eine skalierbare und serverlose BI-Lösung für die Datenvisualisierung an, und Amazon SageMaker ermöglicht maschinelles Lernen für prädiktive Analysen auf großvolumigen Daten.

#6 Sicherheits- und Governance-Schichten zur Sicherung von Unternehmens- und Kundendaten

Schützt Daten in allen anderen Ebenen. Wir haben die Datensicherheit und die Datenverwaltung mithilfe von Amazon Identity und Zugriff Management, AWS Key Management Service, und Amazon Virtual Private Cloud.