Senior Data Engineer

7/2023 – 10/2025

- Einsatz im Rahmen der Arbeitnehmerüberlassung. Nach 1,5 Jahren planmäßig ausgeschieden (01/2025) aufgrund gesetzlicher Begrenzung. Seit 07/2025 wieder im Einsatz bei MBTI - Wiedereinstellung durch Kundenseite.
- Senior/Lead Data Engineer
- Betrieb und Weiterentwicklung einer unternehmensweiten Azure Data Plattform auf Basis von Databricks und Lakehouse-Architektur (Bronze, Silver, Gold Layer, Delta Lake)
- End-to-End-Datenintegration und -analyse von Rohdaten bis zu KPI- und Event-Tabellen
- Orchestrierung und Automatisierung von ETL-Prozessen mit Azure Data Factory (ADF), inkl. Housekeeping, Monitoring und Alerting
- Entwicklung und Deployment von Python- und PySpark-Modulen, Verwaltung von Abhängigkeiten und virtuellen Umgebungen
Nutzung und Pflege mehrerer spezialisierter Repositories mit komplexen Abhängigkeiten, Build & Deployment in Databricks-Clustern
- Erfahrung mit großen Datenmengen und komplexen Datenstrukturen (ORC, Delta Tables, Parquet, Timeseries, KPI/Event-Aggregationen)
- Containerisierung mit Docker für lokale Entwicklung und Testing, lokale Entwicklung mit Databricks über Spark-Connect
- Implementierung und Betrieb von CI/CD-Pipelines mit Azure DevOps, inkl. automatisierter Tests (Pytest: Unit- und Integrationstests), Pre-Commit-Hooks, Security-Scans (BlackDuck), Secrets-Management (Azure Key Vault) und Dokumentations-Deployment (MkDocs)
- Entwicklung und Pflege wiederverwendbarer DevOps-Pipeline-Templates (YAML), inkl. parametrisierten Jobs und Stages
- Nutzung von Shell-Skripten in DevOps und Databricks SDK für automatisiertes Deployment
- Multi-Environment-Management (DEV, INT, PROD) mit strikten Approval- und Sicherheitsmechanismen sowie rollenbasierter Zugriffskontrolle
- Implementierung von Monitoring, Alerting und automatisierten Benachrichtigungen (z. B. Teams Webhooks, Azure Monitoring)
- Integration von Security- und Compliance-Tools (BlackDuck, Secret Scanner)
- Dokumentation und Wissensmanagement mit MkDocs und automatisiertem Deployment
- Zusammenarbeit mit internationalen Entwicklerteams (Indien, Spanien) und interdisziplinären Fachbereichen
- Erfahrung mit modernen Softwareentwicklungsprozessen (Code Reviews, Branch Protection, GitHub Workflows)
- Fokus auf Codequalität, Testabdeckung und technische Schulden (Refactoring, Coverage Checks, Pre-Commit)
- Azure Data Lake Storage, Databricks, Delta Lake, Azure Data Factory, Azure Key Vault, Azure DevOps, GitHub, Python, PySpark, SQL, Poetry, Docker, Spark-Connect, Pytest, Pre-Commit, Shell, CI/CD

Apache Spark, Data Engineer, Data Warehousing, Databricks, DevOps, ETL, Git, Microsoft Azure, Python, SQL

10/2022 – 7/2023

- Durchführung mehrerer Data-Engineering-Projekte für mittelständische Unternehmen
- Entwicklung von Datenpipelines mit Python/PySpark in Azure Synapse
- Einsatz von MS Azure Services (Data Lake Storage, Synapse, Data Factory, SQL Database, DevOps) sowie PowerBI
- Aufbau von IaaS-Infrastruktur mit Terraform und Implementierung von CI/CD-Pipelines in Azure DevOps
- Konzeption und Umsetzung von Frameworks für Data Warehouses und deren ETL-Prozesse auf SQL-
Datenbanken (Stored Procedures, Azure Synapse Pipelines)
- Entwicklung eines Frameworks zur Beladung eines Data-Vault-Warehouses mit Databricks
- Fachliche Betreuung und Anleitung von Werkstudenten (Onboarding, Aufgabenkoordination, Code Reviews)

Apache Spark, Azure Synapse Analytics, Data Engineer, Data Vault, Data Warehousing, Databricks, DevOps, ETL, Git, Microsoft Azure, Microsoft SQL-Server (MS SQL), Power Bi, Python, SQL

6/2021 – 7/2022

- Mitarbeit am Aufbau und Betrieb einer unternehmensweiten Datenplattform für das Auswärtige Amt
- Integration unterschiedlichster Datenquellen (strukturierte und unstrukturierte Daten) in eine zentrale Plattform
- Datenintegration und -verarbeitung mit Python, Docker, Kubernetes, Apache Airflow und SAP HANA
- Entwicklung und Orchestrierung von ETL-Pipelines
- Implementierung von Monitoring- und Logging-Lösungen zur Sicherstellung von Stabilität und Compliance
- Zusammenarbeit mit interdisziplinären Teams und externen Partnern in einem hochsicherheitsrelevanten
Umfeld

Apache Spark, Data Engineer, Data Warehousing, DevOps, Docker, ETL, Git, Kubernetes, Pandas, Python, SQL