Big Data Architekt

7/2019 – 10/2019

Im Kundenworkshop wurde die Einführung eines Data Lakes als
Datenplattform und zur Analyse von abteilungs- und
datenbankübergreifenden Daten erarbeitet. Als Ergebnis wurde ein
Konzept zum Einsatz eines Data Lakes auf Basis des Hadoop Ökosystems
mit Integration in die vorhandene BI-Landschaft erarbeitet. Fokus war die
Dimensionierung des Data Lakes, die Auswahl des Toolsets (HDFS, Hive,
Spark, Nifi,...), die Datenorganisation zur performanten Verarbeitung und
einen kostenoptimierten Einsatz der vorhandene Infrastruktur für einen
PoC.
Ziel des Workshops war die Erarbeitung eines Konzepts zur Einführung
eines konzernweiten Data Lakes und die Einbettung in die vorhandenen
BI Landschaft und Infrastruktur unter Beachtung der Security-Richtlinien.
Der Fokus des Workshops lag hierbei auf Architektur, Toolauswahl,
Infrastruktur und Dimensionierung eines Data Lakes, die Verarbeitung
von der Daten, die Backup- und Redundanzmöglichkeiten.
Die im Workshop erarbeiteten Ergebnis wurden dann zum Aufbau des
standortübergreifenden On-Premise Data Lake auf Hadoop Technologie
(Spark, HDFS, Hive, HBase) verwendet. Dieser Aufbau des Hadoop
Ökosystems wurde ebenfalls von uns begleitet. Während des Aufbaus
wurde dem Kunden zusätzlich Data Lake orientierte Datenverarbeitung
mit Python und Scala vermittelt.

Apache Hadoop, Apache Spark, Cloud (allg.), Maschinelles Lernen

11/2018 – 12/2020

Ziel des Projektes ist die Einführung eines Data Lakes als zentrale
Datenplattform zur Datenanalyse. Hierbei sollen Daten zentral verarbeitet
und miteinander in Relation gesetzt werden. Durch den Einsatz eines
Hadoop Ökosystems (Hive, Spark, HDFS,..) mit Predictive Analytics und
Machine Learning Komponenten, werden Tools und Know-How zur
explorativen Big Data Analyse dem Fachbereich zur Verfügung gestellt.
Durch die Datenverarbeitung mittels ETL-Tools, Sparkshell und Spark-
Applikationen ermöglichen wir den Fachbereichen neue Potentiale in ihren
Geschäftsfeldern zu erschließen. Das Festlegen von Prozessierung- und
Datenstandards auf Basis des Data Lakes wird ein Near-Time-Monitoring
und Langzeitreporting aufgesetzt, das die Fachbereiche in ihren
Betriebsaufläufen unterstützt.
Weiter wird eine Migration von Hortonworks Distribution in ein Amazon
EMR Cluster durchgeführt.
Als Business Analyst und Data Scientist analysiere ich diverse Use-Cases
und setzte die gegebene Use-Cases explorativ in Spark und Python um.
Aus dieser Umsetzung ergeben sich Testdaten, welche für ein fachliches
Monitoring und fachlicher Validierung verwendet werden können.
Das Projektmanagement und Projektverantwortliche unterstütze ich in
Architekturfragen und Architekturentscheidungen in Big Data relevanten
Themen.
Weiter wird der Fachbereich bereits mit Teildaten versorgt. Diese werden
für Visualisierungen in R-Studio und Tableau und weitere Analysen
verwendet. Zusätzlich untersütze ich in Data-Governance Prozessen
inklusive Data Catalog.

Apache Spark, Big Data, Cloud (allg.), Maschinelles Lernen, Python

1/2016 – 4/2018

In einem Data Lake mit Hadoop-Technologie (HDFS, Hive, Spark), soll
eine einheitliche Datengrundlage für die Big Data Analyse von
Videonutzungsdaten unterschiedlicher Rundfunkanstalten und
Streamingdienste aufgebaut werden. Weiter sollen Daten von
Drittanbietern dafür verwendet werden, um Erkenntnisse über das
Verhalten von Nutzern zu gewinnen. Die aufbereiteten Daten sollen den
jeweiligen Urhebern wieder zur Verfügung gestellt werden.
Vorliegende Videonutzungsdaten sollen um zeitabhängige Informationen
aus anderen externen Quellen ergänzt werden. Dabei gilt: Wenn ein
Nutzer zum Zeitpunkt t_0 einen Nutzungsvorgang startet und nach x
Minuten beendet, so werden andere Zusatzinformationen hinzugefügt, als
bei einer Nutzung zum Zeitpunkt t_1 mit Länge x Minuten, wobei t_0
ungleich t_1 ist.
Die Datenqualität der zusätzlich eingebundenen Fremddaten lässt zu
wünschen übrig. Es kommt immer wieder zu fehlenden Daten oder
falschen Auswertungen. Es gilt, die Daten zu prüfen und soweit möglich
automatisch zu korrigieren. Zusätzlich soll die Performance des Systems
verbessert werden.
Als Business Analyst analysiere ich die Geschäftslogik zur Verwendung
von zeitabhängigen Informationen, entwerfe ein geeignetes
kundenunabhängiges aggregiertes Datenmodel und bereite meine
Analysen auf und präsentiere diese in Terminen bei Kunden vor Ort.
In der Rolle Entwickler baue ich die ETL-Strecken zur Überführung der
Videonutzungsdaten in das aggregierte Datenmodell auf. Weiter
implementiere ich die Normalisierung der Videonutzungsdaten im Zuge
des ETL-Prozesses und binde zusätzliche Fremddaten (online und offline)
zur späteren Ergänzung der Videonutzungsdaten an und reichere
Videonutzungsdaten mit zeitunabhängigen Informationen aus Fremddaten
an. Die Qualität der Fremddaten ist sehr unterschiedlich, wofür ich eine
automatische Prüfungen hinsichtlich Datenqualität und -plausibilität
entwickelte. Fehlende Daten wurden hierbei durch Heuristiken ergänzt.
Den Export der großen Daten erfolgte dateibasiert.
Als Architekt erarbeite ich Lösungen zur Laufzeitoptimierung und
Skalierbarkeit der wachsenden Datenmengen und setze diese um.
Zusätzlich entwerfe ich ein geeignetes kundenunabhängiges aggregiertes
Datenmodell, um Skalierbarkeit über diverse Kunden zu erreichen.
In der Rolle als Analyst entwickle ich Methoden, um spezifisches
Nutzungsverhalten in den Videonutzungsdaten zu erkennen.
Hierzu analysiere ich die komplexen Datenstrukturen der
Videonutzungsdaten je Kunde.

Apache Hadoop, Apache Spark, Maschinelles Lernen, Microsoft Power BI