Azure Data Engineer
- Verfügbarkeit einsehen
- 0 Referenzen
- auf Anfrage
- 60486 Frankfurt am Main
- auf Anfrage
- bg | de | en
- 14.04.2023
Kurzvorstellung
Qualifikationen
Projekt‐ & Berufserfahrung
3/2022 – offen
Tätigkeitsbeschreibung
Design and development of scalable data ingestion pipelines to transform wide variety of Big Data datasets using Azure Synapse in the Enterprise Data Lake
Data analysis and transformation using Pyspark and Notebooks in Azure Synapse
Working with Big Data in parquet and delta formats
Design distributed tables using dedicated SQL pool in Azure Synapse Analytics
CI/CD in Azure DevOps
Research, analyze and implement technical approaches
Technologies: Big Data, Azure Synapse, Azure Databricks, Azure DevOps, T-SQL, Pyspark, Parquet, SQL Pool, Delta Tables, Azure Data Studio, Azure Data Lake, Enterprise Data Lake, Delta Lake, Visual Studio, Kanban
Big Data
1/2021 – 2/2022
Tätigkeitsbeschreibung
Verantwortlich für die Datenmigration
zwischen zwei Systemen (On-Premise in die
Cloud)
Tägliche Migration von Daten in
verschiedenen Formaten, die über Rest-API
oder über sftp-Server importiert sind
Zuständig für das Design und die
Entwicklung der ETL-Lösung für effiziente
und skalierbare Datentransformationen
(Azure Data Factory)
Teilnahme an Besprechungen zu Aufklärung
von Geschäftsanforderungen und
funktionalen Anforderungen
Entwurf und Implementierung hochwertiger
Azure Data Factory-Pipelines und
Datenflüsse in einem dynamischen SprintRelease-Zyklus
Qualitätsvollständigkeit, Datenschutz und
Datenintegrität Analyse und Sicherstellung
Erstellung von technischen Spezifikationen
Fehleranalyse und Behebung von
technischen Problemen bei der
Datenmigration und -transformation mit
Azure Data Factory
Implementierung eines DatentestFrameworks mit Python
Technologien: Azure Data Factory, Azure
Functions, Azure DevOps, Azure Logic Apps,
Microsoft SQL, Python 3, Rest API Git,
Soap, XML, JSON, Jira, Confluence, Scrum
Microsoft Azure
9/2020 – 12/2020
Tätigkeitsbeschreibung
Funktionale und technische Bewertung und
Spezifikation der DataBench Toolbox - ein
Framework zur Integration von
geschäftlichen und technischen3
Benchmarking-Ansätzen für Big DataTechnologien
Entwurf und Entwicklung von Methodologie
zur funktionalen und technischen
Bewertung der Toolbox
Festlegung von Metriken, mit denen das
DataBench-Framework in Bezug auf
Nutzung, Auslastung, Effizienz,
Zuverlässigkeit, Kompatibilität und
Sicherheit bewertet werden kann
Sicherstellen, dass alle
Systemanforderungen wie angegeben
implementiert sind
Qualitätssicherung
Spezifikation von Vorschlägen für
Verbesserungen und features
Technologien: Qualitätsstandard für ISO /
IEC-Systeme und Software
Datenanalyse
4/2018 – 6/2019
Tätigkeitsbeschreibung
Entwicklung, Wartung und Unterstützung
von SQL Server Integration ServicesPaketen (SSIS) im Zusammenhang mit dem
Extraktions-, Transformations- und
Ladeprozess (ETL-Prozess) mit Microsoft
SQL Server 2012
Datenanalyse und Erstellung von
Analysewürfeln mit SSAS
Solide T-SQL-Entwicklung und
Implementierung komplexer SQL-Abfragen
in Performance Tuning & Optimierung
Entwurf und Implementierung eines
Prototyps zur Migration der bestehenden
On-Premise-Lösung in die Microsoft Azure
Cloud unter Verwendung von Azure Data
Factory V2, DevOps, Logic Apps, Azure
Functions
Visualisierung von Datenanalyseergebnissen
mit Python
Erfahrung in der Arbeit mit großen
relationalen Datenbanken in SQL Serve
Entwurf, Erstellung oder Änderung von
Datenbanktabellen, Ansichten,
gespeicherten Vorfahren und Funktionen
Fehlerdiagnose und -behebung
Eng zusammenarbeiten und aktives Mitglied
eines Scrum-Teams sein
Technologien: MS SQL Server, SSIS, SSRS,
SSAS, T-SQL, Azure, Azure Data Factory
V2, Azure Logic Apps, Azure Functions,
Azure DevOps, Python 3, SCRUM, Jira
Datenmodellierung
11/2017 – 3/2018
Tätigkeitsbeschreibung
DWH Entwurf und Entwicklung
Datenmodellierung, Datenprofilierung,
Datenqualitätsanalyse
Datenintegration aus verschiedenen Quellen
mit Microsoft SQL Server Integration
Services (SSIS) und Azure Data Factory
Entwicklung von Transformationen,
Mappings, Sitzungen, Datenflüssen und
Workflows in Microsoft SQL Server
Integration Services (SSIS) und Azure Data
Factory
Datenanalyse, Erstellung von
Analysewürfeln und Berichten mit SSAS und
SSRS
Einführung in die ETL-Optimierung und Best
Practices
Implementierung von SQL-Abfragen und
Berichten
Technologien: Azure, Azure Data Factory
V1, Azure Logic Apps, Azure Functions,
Azure DevOps, MS SQL Server, SSIS,
SSRS, SSAS, T-SQ
Datenmodellierung
11/2015 – 11/2016
Tätigkeitsbeschreibung
Datenprofilierung von internen und
externen Datenquellen
Analyse und Optimierung bestehender
Datenflüsse
Datenbankentwicklung und -optimierung
Implementierung verschiedener
gespeicherter PL / SQL-Prozeduren
Entwurf und Dokumentation von
benutzerdefinierten Schnittstellen und
Erweiterungen
Design und Dokumentation von
benutzerdefinierten Schnittstellen und
Erweiterungen
Technische Spezifikation und Entwicklung
neuer Funktionalitäten
Kundenkommunikation und -beratung
Regelmäßige interne SCRUMKurzbesprechungen
Technologien: Oracle, Eclipse, JEE 6/7,
Spring, Hibernate, Maven, Ant, Tomcat,
Jenkins, JIRA, Confluence, SCRUM
Datenbankentwicklung
Ausbildung
JOHANN WOLFGANGGOETHE-UNIVERSITÄT FRANKFURT AM MAI
Persönliche Daten
- Bulgarisch (Muttersprache)
- Deutsch (Fließend)
- Englisch (Fließend)
- Europäische Union
Kontaktdaten
Nur registrierte PREMIUM-Mitglieder von freelance.de können Kontaktdaten einsehen.
Jetzt Mitglied werden