freiberufler Data Engineer & Data Infrastructure Engineer (Azure) auf freelance.de

Data Engineer & Data Infrastructure Engineer (Azure)

zuletzt online vor 5 Tagen
  • 100€/Stunde
  • Hamburg
  • auf Anfrage
  • de  |  en
  • 23.03.2024

Kurzvorstellung

My focus is on Data Infrastructure Engineering and Data Engineering.
My portfolio ranges from Cloud Infrastructure (Azure, Terraform) to CI/CD Pipelines and Orchestration to Data Lakehouse (Databricks, Synapse, Python, SQL).

Qualifikationen

  • Azure Databricks
  • Azure Synapse Analytics
  • Data Lakehouse
  • Data Mesh
  • ETL
  • Kontinuierliche Integration (CI)
  • Microsoft Azure
  • PaaS (Platform as a Service)
  • PySpark
  • Python
  • SQL
  • Terraform

Projekt‐ & Berufserfahrung

Data Engineer
Energieversorgungsunternehmen, Remote
7/2023 – offen (9 Monate)
Versorgungswirtschaft
Tätigkeitszeitraum

7/2023 – offen

Tätigkeitsbeschreibung

Conception and realization of Data Lakehouse with Azure Databricks and Power BI
- Configuration of Databricks workspace
- Setup of CI/CD pipelines for Databricks
- Realization of ETL processes with SCD2
- Setup Auto Loader for event based triggering
- Data exploration to design and validate the data model
- Conception and realization of Delta Live Tables
- Realization of Power BI datasets and reports

Eingesetzte Qualifikationen

ETL, SQL, Python

Data Engineer
Automobil, Remote
5/2023 – 12/2023 (8 Monate)
Automobilindustrie
Tätigkeitszeitraum

5/2023 – 12/2023

Tätigkeitsbeschreibung

Conception and realization of Data Lakehouse with Azure Databricks and Power BI
- Business requirements engineering to validate the scope and define the KPIs
- Data exploration to design and validate the data model
- Support for offsite development team

Eingesetzte Qualifikationen

SQL, Python

Data Engineer
IT-Consulting, Remote
2/2023 – 9/2023 (8 Monate)
IT & Entwicklung
Tätigkeitszeitraum

2/2023 – 9/2023

Tätigkeitsbeschreibung

Realization of Data Lakehouse with Azure Synapse and Power BI
- Setup an Azure Synapse landscape as Data Lakehouse
- Setup CI/CD pipelines for Azure Synapse (develop and production)
- Realization of ETL processes with SCD2
- Conception and realization of SQL views
- Realization of Power BI datasets and reports

Eingesetzte Qualifikationen

ETL, SQL, Azure Synapse Analytics

Data Engineer (Festanstellung)
Digitaldienstleister für VNB und MSB, Hamburg
7/2022 – 12/2022 (6 Monate)
Versorgungswirtschaft
Tätigkeitszeitraum

7/2022 – 12/2022

Tätigkeitsbeschreibung

Proof of concept and realization for Data Lakehouse with Delta Lake and Azure Synapse
- Data wrangling with Data Flow & Python notebook
- Serverless SQL pool as source for Power BI datasets
- Delta load processes with Delta tables

Eingesetzte Qualifikationen

Azure Synapse Analytics, ETL, SQL

Data Engineer (Festanstellung)
Digitaldienstleister für VNB und MSB, Hamburg
1/2020 – 12/2022 (3 Jahre)
Versorgungswirtschaft
Tätigkeitszeitraum

1/2020 – 12/2022

Tätigkeitsbeschreibung

Conception and realization of ETL processes with Azure Data Factory and Synapse
- Data wrangling with Data Flow & Python notebook
- Self-hosted integration runtime on Windows VMs
- Serverless SQL pool as source for Power BI datasets

Eingesetzte Qualifikationen

Azure Synapse Analytics, ETL, SQL

Data Infrastructure Engineer (Festanstellung)
Digitaldienstleister für VNB und MSB, Hamburg
3/2019 – 5/2023 (4 Jahre, 3 Monate)
Versorgungswirtschaft
Tätigkeitszeitraum

3/2019 – 5/2023

Tätigkeitsbeschreibung

Set-up and operation of a multi-client and multi-stage advanced analytics platform on Azure
- Azure Databricks & Azure ML
- Azure App Services
- Azure Data Factory & Azure Synapse
- Azure Application Gateway
- Azure SQL Database & Azure Storage Account
Set-up and operation of CI/CD pipelines for DevOps and ML Ops on Azure DevOps
- Code security with bandit, safety and SonarCube within build pipeline
- CI/CD flow for Azure Data Factory & Azure Synapse
Infrastructure as Code with Terraform

Eingesetzte Qualifikationen

Kontinuierliche Integration (CI), Microsoft Azure, PaaS (Platform as a Service)

Zertifikate

Azure Administrator Associate
2022

Ausbildung

Process Management & Resource Efficiency, extra-occupational
Master of Business Administration & Engineering
2015
Landshut University of Applied Sciences – Faculty

Weitere Kenntnisse

Azure, Data Lakehouse, ETL, Docker, Packer, Databricks, Data Factory, Synapse, Function Apps, CI/CD, PowerShell, SQL, Python, DevOps, Terraform, Delta Lake, PySpark, Data Mesh

Persönliche Daten

Sprache
  • Deutsch (Muttersprache)
  • Englisch (Fließend)
Reisebereitschaft
auf Anfrage
Arbeitserlaubnis
  • Europäische Union
Home-Office
unbedingt
Profilaufrufe
929
Berufserfahrung
12 Jahre und 5 Monate (seit 10/2011)
Projektleitung
5 Jahre

Kontaktdaten

Nur registrierte PREMIUM-Mitglieder von freelance.de können Kontaktdaten einsehen.

Jetzt Mitglied werden