Data Platform Architect & Data Engineer

1/2025 – 2/2025

Für ein Handelsunternehmen wurde ein umfassendes Audit der gesamten Systemlandschaft durchgeführt. Der Schwerpunkt lag auf der Untersuchung und Bewertung der Qualität sowie der eingesetzten Technologien im Bereich der Schnittstellen. Ergänzend wurden Aspekte der Datenqualität analysiert und in einen branchenüblichen Kontext eingeordnet, um Verbesserungspotenziale transparent darzustellen.

Aufgaben:
Durchführung von Interviews mit relevanten Stakeholdern
Analyse der System- und Schnittstellenlandschaft sowie Aufbereitung der Ergebnisse

Kundenberater

11/2022 – 12/2024

Ein weltweit tätiger Lebensmitteleinzelhändler mit über 135.000 Mitarbeitern und mehr als 5.900 Filialen und Niederlassungen in zwölf Ländern verfolgte das Ziel, seine Daten- und Analyseplattform grundlegend zu modernisieren. Im skaliert-agilen Vorgehensmodell wurde eine cloudbasierte, enterprise-fähige und hochautomatisierte Data Lake- und Analytics-Plattform entwickelt. Die Lösung ermöglicht es, nach dem Prinzip von Data Mesh auf Knopfdruck Infrastruktur-as-a-Service für Data-Science- und Analytics-Use-Cases bereitzustellen. Damit erhielt der Kunde eine skalierbare Grundlage, um die digitale Transformation voranzutreiben und datengetriebene Entscheidungen unternehmensweit zu fördern.
Im ersten Schritt wurde eine umfassende Ist-Analyse der bestehenden Architekturlandschaft, eingesetzten Tools und relevanten Anwendungsfälle durchgeführt.

Aufgaben:
Konzeption und Entwicklung einer umfassenden Data-Mesh-Architektur (Terraform und Terragrunt)
Entwicklung und Implementierung von CI/CD-Prozessen mittels GitLab-Pipelines
Abstimmung mit internen Architektur- und Security-Teams zur Einhaltung unternehmensweiter Richtlinien
Planung und Umsetzung von Maßnahmen auf Basis von Penetration-Test-Ergebnissen
Steuerung und Koordination interner sowie externer Entwicklungsteams
Konzeption und Implementierung von Netzwerk- und Sicherheitsanforderungen
Aufnahme von Anforderungen sowie Gestaltung von Lösungsperspektiven in enger Zusammenarbeit mit dem Kunden

Kundenberater

10/2022 – 2/2023

Im Rahmen eines internen Entwicklungsprojekts wurde eine Data-Warehouse-Automatisierungslösung mit Open-Source-Charakter konzipiert. Ziel war es, eine flexible und plattformagnostische Architektur bereitzustellen, die sowohl On-Premises als auch in der Cloud eingesetzt werden kann. Die Lösung berücksichtigt unterschiedliche Anforderungen hinsichtlich Skalierung und unterstützter Anwendungsfälle und legt besonderen Fokus auf die Erweiterbarkeit durch eine Entwickler-Community.

Aufgaben:
Entwicklung eines Code-Generators zur Einbettung in das Tool (Python-CLI-Anwendung)
Erstellung von Jinja2-Templates zur Generierung von PySpark-Code

Kundenberater

7/2022 – 11/2022

Im Zuge der strategischen Transformation hin zu einer Data-Driven Company wurde im Rahmen eines Leuchtturmprojekts ein modernes Data Warehouse (MDWH) auf Azure implementiert. Neben einem fachlichen Use Case aus dem Produktionsprozess entstand ein Realtime-Showcase, in dem OPC-Daten in den Data Lake gestreamt und in einem Power BI Realtime Dashboard visualisiert wurden. Um einen nachhaltigen Know-how-Transfer auf unterschiedlichen technologischen Ebenen sicherzustellen, wurde das Projekt in gemischten Teams aus internen und externen Experten durchgeführt.

Aufgaben:
Aufnahme und Analyse der fachlichen Anforderungen
Entwicklung eines metadatengetriebenen Automatisierungsframeworks mit Azure Synapse (PySpark)
Training und Enablement der Kundenmitarbeiter
Aufbau Datenmodell inklusive Berechtigungssystems

Kundenberater

5/2022 – 10/2022

Projekt: Optimierung und Erweiterung eines bestehenden Azure MDWH
Auf Basis eines zuvor entwickelten Azure Modern Data Warehouse (MDWH) wurde die bestehende Lösung weiter optimiert und ausgebaut. Neben der Aufnahme neuer Anforderungen wurden zusätzliche Quellsysteme integriert und erweiterte Reporting-Anforderungen umgesetzt. Der Fokus lag auf der Verbesserung von Performance und Stabilität sowie auf der Erweiterung der Reporting-Funktionalitäten, um die Fachbereiche noch gezielter bei der Datenanalyse und Entscheidungsfindung zu unterstützen.

Aufgaben:
Optimierung von Performance und Stabilität des MDWH
Entwicklung eines tabularen Datenmodells zur Auswertung von Maschinendaten in Power BI
Umsetzung relevanter KPIs (DAX im Frontend, PySpark mit Synapse im Backend)
Aufnahme und Umsetzung fachlicher Anforderungen
Erstellung von Power BI-Berichten für die Fachbereiche

Kundenberater

2/2022 – 4/2022

Projekt: Migration einer bestehenden DWH- und Reporting-Lösung in die Cloud
Ein bestehendes, MS SQL Server-basiertes On-Premises Data Warehouse samt Reporting-Lösung wurde modernisiert und in eine zukunftsorientierte Cloud-Architektur überführt. Im ersten Schritt entstand ein Azure-basiertes Modern Data Warehouse (MDWH), das die aktuellen Anforderungen an Stabilität, Performance und Kosteneffizienz erfüllte. Im Anschluss wurden Daten und Businesslogik aus der bisherigen Lösung migriert. Statische Webberichte wurden durch moderne, interaktive Power BI Reports ersetzt, sodass die Fachbereiche Fragestellungen schneller beantworten und das Tagesgeschäft effizienter steuern konnten. Darüber hinaus wurde der Betrieb durch den Wegfall von Serverwartungen, verbesserte Monitoring-Instrumente und optimierte Deployment-Prozesse erheblich vereinfacht.

Aufgaben:
Aufnahme und Analyse der fachlichen Anforderungen
Entwicklung eines metadatengetriebenen Frameworks für das MDWH (Azure Synapse mit PySpark)
Entwicklung von Synapse- und Data Factory-Pipelines zur Orchestrierung von Ladeprozessen
Implementierung von CI/CD-Pipelines in Azure DevOps für stabile Deployment-Prozesse
Aufbau der erforderlichen Azure-Ressourcen sowie Implementierung der Berechtigungsstrukturen
Durchführung von Soll-Ist-Vergleichen in Form automatisierter CSV-Reports
Implementierung eines geeigneten ETL-Monitorings

Kundenberater

8/2021 – 12/2021

Die bestehende Datenplattform wurde weiterentwickelt, um Daten aus einem Data Lake zu laden und zu kuratieren. Im Mittelpunkt stand die Modernisierung auf Azure Synapse sowie die Implementierung eines metadatengetriebenen Ansatzes für das Laden in das moderne Data Warehouse (MDWH). Dadurch konnten Prozesse automatisiert, Skalierbarkeit erhöht und die Effizienz der Datenbereitstellung gesteigert werden.

Aufgaben:
Entwicklung eines metadatengetriebenen Frameworks auf Basis von JSON und PySpark in Verbindung mit Azure Synapse
Implementierung von Data Pipelines mit Synapse und Azure Data Factory
Aufbau stabiler Deploymentprozesse durch CI/CD-Pipelines in Azure DevOps

Kundenberater

9/2019 – 6/2021

Zur Ablösung der bestehenden TM1-Lösung wurde eine moderne Reportinglandschaft entwickelt. Die neue Architektur basiert auf SAP BW als vorgelagertem System sowie einem nachgelagerten SQL-Server-basierten Data Warehouse. Im Reporting-Layer entstand ein umfassendes und komplexes Datenmodell, das sämtliche Unternehmensdaten abdeckt. Besondere Schwerpunkte lagen auf der vollständigen Historisierung relevanter Daten und der Implementierung eines fein granularen Berechtigungssystems, das den Anforderungen des Unternehmens gerecht wurde.

Aufgaben:
Entwicklung von ETL-Strecken mit SQL Server Integration Services (SSIS)
Implementierung und Optimierung des Berechtigungssystems
Aufbau des tabularen Modells
Definition und Implementierung von KPIs mittels DAX
Entwicklung einer Exportfunktion über VBA zur einfachen Weiterverarbeitung durch Fachanwender

IT-Mitarbeiter

1/2019 – 8/2019

Für die jährliche Umsatzplanung wurde ein umfangreiches VBA-basiertes Planungstool in Excel entwickelt, das konzernweit im Unternehmen eingesetzt wird. Das Tool unterstützt die strukturierte Erfassung, Berechnung und Auswertung von Planungsdaten und stellt gleichzeitig eine sichere Rechteverwaltung sicher.

Aufgaben:
Aufnahme und Analyse der fachlichen Anforderungen
Konzeption und Design der Planungsmasken
Entwicklung und Implementierung des Berechtigungssystems
Umsetzung der Kernfunktionalitäten des Planungstools
Implementierung von Reporting-Funktionalitäten

IT-Mitarbeiter