Senior Data Engineer | Microsoft Fabric | Azure Databricks

10/2023 – 2/2026

Leitung und Management der Migration von SAS DI/EG/VA zu Azure Databricks für ein kritisches Projekt im Wert von über 1 Mio. Euro im Versorgungssektor. Koordination mehrerer paralleler Migrationen und Ausphasung aller SAS-Lizenzen bis zum Projektende. Entwicklung benutzerdefinierter PySpark-Parser und einer KI-gestützten Code-Migrationsfabrik (Azure OpenAI) zur Automatisierung der Code-Refaktorierung und funktionalen Validierung. Einführung eines benutzerdefinierten Data Quality Frameworks (DQX), das im gesamten Unternehmen für die neue Datenplattform ausgebaut wurde. Integration von Metadaten aus SAP BW, HANA und BODS-Quellen, Automatisierung von Validierungsregeln über 9+ Quellsysteme.

Databricks, SAS-Programmierer, Microsoft Azure, Data Vault, Continuous Integration, Agile Methodologie

10/2023 – offen

Entwicklung von Schulungscurricula zu Python, DevOps und Azure-Architektur. Mentoring von Beratern durch Capstone Data Science-Projekte. Technischer Lead für das SAS-zu-Azure-Migrationsangebot. Definition von Standardmethoden und Benchmarking von Tools (Dataiku vs. Custom PySpark). Aufbau interner PoCs mit Azure OpenAI und LangChain; Entwicklung des 'Evaluator-Optimizer'-agentischen Workflows für die automatisierte Legacy-Code-Übersetzung. Unterstützung von Verkaufszyklen mit hochrangigen Architektur-Blueprints und technischen Reifegradbewertungen.

Large Language Models, Microsoft Azure, Python

5/2023 – 9/2023

Übernahme eines gestoppten, hochriskanten Datenmigrationsprojekts (Agile). Durchführung eines erfolgreichen Turnaround-Plans durch Team-Workshops und Identifizierung von Blockaden. Gestaltung einer hochsicheren Cloud-Migrationsarchitektur für sensible Regierungsdaten unter Verwendung von Zero Trust-Prinzipien, Customer Managed Keys (CMK) und Managed Identities. Navigation durch DPIA-Prozesse und Freigabe der Entwicklung durch Gestaltung eines isolierten, sicheren Cloud-Sandbox. Verwaltung der Ressourcenplanung, Sprint-Backlogs und Kommunikation über mehrere Regierungsabteilungen hinweg.

Salesforce.Com, Microsoft Azure, Agile Methodologie, Architektur, Aufseher

11/2022 – 10/2023

Migration der Organisation von Legacy Excel-basierten Workflows zu einem zentralisierten Azure Synapse Serverless SQL Data Lakehouse, um die Datenintegrität bei geringen Betriebskosten zu verbessern. Optimierung der Abfragegeschwindigkeiten durch Nutzung von partitionierten Views über großen CSV-Datensätzen. Gestaltung und Implementierung von dynamischer Zeilenebenen-Sicherheit (RLS) über SQL-Views und Power BI-Datensätzen.

Azure Synapse Analytics, Power Bi, Microsoft Azure

7/2021 – 10/2023

Aufbau eines wiederverwendbaren Cloud Analytics Accelerators für die automatisierte Bereitstellung einer vollständigen Datenplattform (KeyVault, Storage, Synapse, Azure SQL, metadatengetriebene Pipelines). Entwicklung eines Data Governance Accelerators, der GPT zur automatischen Generierung von Geschäftsglossaren aus technischen Metadaten integriert. Fachmann für Datensicherheit und DevOps; Beratung von Teams zu Private Endpoints, Managed Identities. Haupttrainer für die Junior Data Academy, Führung neuer Mitarbeiter durch End-to-End-Azure-Implementierungen.

Azure Synapse Analytics, DevOps, Architektur

7/2021 – 10/2022

Refaktorisierung von Legacy SSIS-Workloads in Azure Data Factory-Orchestrierung über Synapse Serverless Views, Erzielung einer 75%igen Kosten- und Laufzeitreduzierung. Aufbau eines zentralen Lakehouse zur Konsolidierung von Daten aus Navision ERP, M365 und isolierten Quellen über 30+ internationale Einheiten während einer schrittweisen Fusion. Entwicklung benutzerdefinierter PowerShell-Skripte für die automatisierte Bereitstellung aller SQL-Objekte; Einrichtung von CI/CD-Pipelines in Azure DevOps. Gestaltung von 'Serverless-first'-Pipelines zur Minimierung der Kosten während Leerlaufzeiten. Implementierung von Überwachung und Warnmeldungen über Azure Monitor und Log Analytics.

Azure Synapse Analytics, Windows Powershell, Continuous Integration, Microsoft Azure, Microsoft Dynamics Nav, Power Bi

4/2020 – 6/2021

Gestaltung und Aufbau eines End-to-End-automatisierten Datenerfassungssystems für ESA-Parabelflug-Experimente unter Verwendung von Kafka für Hochdurchsatz-Streaming und Kibana für Live-Visualisierung. Entwicklung von Computer Vision und Zeitreihen-Vorhersagemodellen in Python und Matlab. Technische Koordination zwischen dem universitären Forschungsteam und ESA-Partnern.

Python, Apache Kafka, Labview, Computer Vision

8/2015 – 4/2020

Entwicklung neuartiger mathematischer Modelle für komplexe physikalische Phänomene, Erzielung der ersten quantitativen Validierung theoretischer Modelle gegenüber experimentellen Daten. Gestaltung vollständig automatisierter Datenerfassungs- und Steuerungssysteme für Mikrogravitationsexperimente (Parabelflüge) mit Echtzeit-Sensorintegration. Unterricht in mathematischer Modellierung und Transportphänomenen für Master-Studierende der Ingenieurwissenschaften. Betreuung von Graduierten. Zusammenarbeit mit Imperial College London, KU Leuven und IMFT Toulouse. Veröffentlichung in hochrangigen Fachzeitschriften.

Python, Labview, Well Engineer