Senior Data Engineer | Microsoft Azure & Databricks
- Verfügbarkeit einsehen
- 0 Referenzen
- auf Anfrage
- 51103 Köln
- Weltweit
- de | en | ru
- 14.10.2026
Kurzvorstellung
Geschäftsdaten
Qualifikationen
Projekt‐ & Berufserfahrung
2/2026 – offen
Tätigkeitsbeschreibung
Mitwirkung im Kernteam an der weltweiten Migration der RWEST-Databricks-Plattform auf Unity Catalog über alle RWE-Standorte hinweg, darunter London, USA, Singapur und Australien. Konzeption und Umsetzung einer auditierbaren Migrationsplattform für mehrere tausend Jobs. Der standardisierte Rollout reduziert manuellen Aufwand, Migrationsrisiken und betriebliche Ausfallzeiten und beschleunigt die weltweite Einführung. Automatisierung der Migration von Jobs und Notebooks einschließlich Code- und Pfadtransformationen, Libraries, Cluster Policies, ACLs, External Tables, Row Filters, Dry Runs und PDF-Diffs. Stärkung von Data Governance, Security, Lineage und zuverlässigem Betrieb über alle Regionen hinweg.
Technologie-Stack: Azure Databricks Runtime 16.x, PySpark, Python, SQL, Unity Catalog, YAML, Git, Databricks SDK, Azure DevOps, AWS S3, Workflows, UC Volumes, Row Filters, CI/CD
Databricks, DevOps, Python, SQL
6/2024 – 12/2025
Tätigkeitsbeschreibung
Architektur und Betrieb von Datenprodukten für erneuerbare Energien mit Windturbinen-, Netzzähler- und Wetterdaten. Aufbau skalierbarer ETL/ELT-Pipelines in Azure Databricks mit Delta Lake und Bronze-/Silver-/Gold-Schichten zur Verarbeitung verschiedener strukturierter und semi-strukturierter Datenformate. Mitwirkung an einem Data-Quality-Framework für Tabellen- und Spaltendokumentation, Ausreißererkennung und Vollständigkeitsmetriken über alle Datensätze eines Datenprodukts hinweg. Entwicklung eines DORA-KPI-Dashboards in Databricks für sämtliche Datenprodukte. Optimierung der CI/CD-Prozesse in Azure DevOps für reibungslose Deployments in Entwicklungs-, Test- und Produktionsumgebungen.
Technologie-Stack:
Azure Databricks, PySpark, SQL, Delta Lake, Unity Catalog, Azure Data Lake, APIs, Dremio, Azure DevOps, YAML, Git, Databricks Workflows, Application Insights, Terraform
Databricks, DevOps, ETL, Microsoft Azure
1/2024 – 6/2024
Tätigkeitsbeschreibung
Konzeption und Implementierung eines Proof of Concept (PoC) Data Warehouse zur Automatisierung des Finanzreportings. Aufbau der Azure-Infrastruktur, Aufnahme der fachlichen Anforderungen und Entwicklung von ETL-Pipelines in Databricks. Implementierung von Datenqualitätsprüfungen und Ausreißererkennung an der Quelle zur Sicherstellung von Genauigkeit und Konsistenz. Entwicklung eines performanten tabellarischen Modells, Ableitung relevanter KPIs und Erstellung aussagekräftiger Power-BI-Dashboards.
Technologie-Stack: Databricks (PySpark), Unity Catalog, Python, SQL, Azure SQL Server, Azure Data Lake, Delta Lake, Azure Data Factory, SSAS (Tabular), Microsoft Power BI, Git.
Databricks, DevOps, Power Bi, Python, SQL
4/2023 – 12/2023
Tätigkeitsbeschreibung
Konzeption und Entwicklung von Datenprodukten auf Basis von Microsoft Azure für interne Stakeholder der Lufthansa Group. Aufbau einer einheitlichen Datenplattform zum Betrieb von Produkten innerhalb eines Data-Mesh-Ansatzes und Unterstützung der Fachbereiche bei der Umsetzung ihrer Anwendungsfälle. Optimierung der Datenverfügbarkeit und Datennutzung über die Organisation hinweg.
Technologie-Stack: Azure Synapse, Python, SSAS (Tabular), Apache Airflow, Microsoft Power BI, SQL, Azure SQL Server, Delta Lake, Python Dash, Azure Event Hub, Azure Data Lake, Terraform, Azure Data Factory, Azure DevOps, Git.
Azure Synapse Analytics, Data Warehousing, Databricks, Microsoft Azure
1/2023 – 3/2023
Tätigkeitsbeschreibung
Entwicklung einer skalierbaren Lösung für die Migration von Daten aus der bestehenden Cloud-Umgebung des Kunden in eine neue Cloud. Sicherstellung der transaktionalen Übertragung von mehr als drei Petabyte sowie Konzeption einer robusten Backup-Strategie für dauerhafte Verfügbarkeit und Schutz der Daten.
Technologie-Stack: Azure Databricks, Python, Azure Functions, SQL, Azure SQL Server, Azure Data Lake, Delta Lake, Azure Data Factory, Azure DevOps, Git, Azure Log Analytics, Azure Monitor, Terraform.
Softwareentwicklung (allg.)
3/2022 – 3/2022
Tätigkeitsbeschreibung
Durchführung des offiziellen Microsoft-Kurses Analyzing Data with Power BI. Vermittlung des vollständigen Datenanalyse-Lebenszyklus von der Datenaufbereitung und Modellierung über die DAX-Entwicklung bis zur Erstellung wirkungsvoller interaktiver Reports.
• Datenaufbereitung mit Power Query
• Best-Practice-Datenmodellierung mit Sternschema, Beziehungen und DAX-Patterns
• Entwicklung robuster DAX Measures
• Konzeption benutzerorientierter Dashboards und visueller Analysen
• Verwaltung, Absicherung und Veröffentlichung in Power BI Service
• End-to-End-Projektaufbau anhand realer Business-Anwendungsfälle
Business Intelligence (BI), Power Bi
7/2021 – 12/2022
Tätigkeitsbeschreibung
Aufbau einer zentralen Fahrzeugdatenplattform für Automotive Engineers zur Bewertung von Baureihen und Analyse der Performance von Prototypen. Konsolidierung von Sensor- und Telemetriedaten, Implementierung von Validierungs- und Datenqualitätsprüfungen sowie Unterstützung bei der frühzeitigen Identifikation von Performance-Problemen, dem Vergleich von Modellen und der Optimierung von Prototypen.
Technologie-Stack: Azure Databricks, Python, Azure Functions, SQL, SSAS (Tabular), Microsoft Power BI, Azure SQL Server, Delta Lake, Azure Data Lake, Azure Data Factory, Azure DevOps, Git.
Data Warehousing, Software engineering / -technik
6/2021 – offen
TätigkeitsbeschreibungKonzeption, Entwicklung und Betrieb skalierbarer datengetriebener Lösungen auf Basis von Microsoft Azure.
Eingesetzte QualifikationenData Warehousing, Python, Microsoft Azure
4/2018 – 4/2022
Tätigkeitsbeschreibung
• Grundlagen von Data Engineering und Data Warehousing
• Grundlagen von SQL
• Grundlagen von Data Science
• Grundlagen von Cloud Computing
Data Warehousing, SQL
3/2016 – 6/2021
Tätigkeitsbeschreibung
• Development Lead für Data-Warehouse- und Big-Data-Architekturen
• Aufbau von ETL/ELT-Datenplattformen in Microsoft Azure für strukturierte und semi-strukturierte Daten
• Verarbeitung von Data-Lake-Workloads mit mehr als 100 Millionen Datensätzen pro Tag
• Aufbau performanter SSAS-Tabular-Modelle mit Power-BI-Integration
• Dimensional Modeling und Sternschemata nach Ralph Kimball
• Verarbeitung von Echtzeit-Streaming-Daten in Microsoft Azure
• Ableitung von KPIs und tabellarischen Modellen aus fachlichen Anforderungen
• Bereitstellung und Absicherung der Azure-Infrastruktur mit ARM und Terraform
• Automatisierte Deployments über CI/CD-Pipelines
• Prozessanalyse und Projektmanagement
• Implementierung von Datenqualitätsprüfungen für Vollständigkeit, Genauigkeit und Konsistenz
Apache Spark, Business Intelligence (BI), Data Mining, Databricks, Microsoft Azure, Microsoft SQL Server Analysis Services (SSAS), Microsoft SQL Server Integration Services (SSIS), Power Bi, SQL
3/2014 – 10/2015
Tätigkeitsbeschreibung
• Prozessoptimierung in Accounting, Finance und Business Intelligence
• Erstellung und Auswertung von Monatsberichten
Controlling, Finanzbuchhaltung
2/2013 – 7/2013
Tätigkeitsbeschreibung
• Abwicklung von Wertpapiertransaktionen für nationale und internationale Kunden
• Klärung von Handelsabweichungen, fehlgeschlagenen Abwicklungen und Kontendifferenzen
Wertpapiere
Zertifikate
Microsoft
Microsoft
Microsoft
Microsoft
Microsoft
Über mich
• Skalierbare Data-Warehouse- und Big-Data-Architekturen konzipieren und umsetzen.
• Azure-Datenplattformen mit ETL/ELT für strukturierte und semi-strukturierte Daten aufbauen und betreiben.
• Mehr als 100 Millionen Datensätze pro Tag zuverlässig verarbeiten.
• Datenqualität, Governance und Sicherheit durch Validierung, Zugriffskontrollen und Compliance gewährleisten.
• Fachanforderungen in Power-BI-Dashboards und analytische Modelle übersetzen.
Weitere Kenntnisse
Sprachen: Python, SQL, T-SQL, PySpark, Apache Spark, Spark SQL.
Architektur: Data Warehousing, Lakehouse, ETL/ELT, Dimensional Modeling (Kimball), Star Schema, Medallion Architecture (Bronze/Silver/Gold), SCD.
Plattformen: Microsoft Azure, Azure Databricks, Azure Data Factory, ADLS Gen2, Azure SQL, SQL Server, Azure Synapse Analytics, Azure Functions, Event Hubs, AWS S3, Dremio.
Databricks: Delta Lake, Auto Loader, Structured Streaming, Databricks SQL, SQL Warehouses, Lakeflow Jobs (Databricks Workflows), Lakeflow Pipelines (ehem. DLT).
Datenverarbeitung: Change Data Capture (CDC), MERGE/Upserts, Schema Evolution, Time Travel, Liquid Clustering, Spark Performance Tuning.
APIs: REST-API-Integration und Datenabruf, API-Design und -Entwicklung, Azure API Management, OAuth 2.0, inkrementelle Datenladungen.
BI: SSIS, SSAS Tabular, Power BI, semantische Modelle, DAX, Power Query/M, Row-Level Security (RLS).
Infrastruktur & DevOps: Terraform, Infrastructure as Code, ARM, Azure DevOps Pipelines, Git, YAML, CI/CD, Docker, Declarative Automation Bundles (ehem. Databricks Asset Bundles), Databricks SDK/CLI.
Governance: Unity Catalog Management, Data Governance, Data Lineage, Metadatenmanagement, Datenkatalogisierung, Data Quality Management.
Security: Identity & Access Management (IAM), RBAC, ABAC, Row-Level Security, Column Masking, Audit Logging, Azure Key Vault.
Persönliche Daten
- Deutsch (Muttersprache)
- Englisch (Fließend)
- Russisch (Grundkenntnisse)
- Europäische Union
Kontaktdaten
Nur registrierte PREMIUM-Mitglieder von freelance.de können Kontaktdaten einsehen.
Jetzt Mitglied werden