freiberufler Senior Data Engineer | Datenbankmigration auf freelance.de

Senior Data Engineer | Datenbankmigration

zuletzt online vor wenigen Tagen
  • auf Anfrage
  • 1303 København K
  • Nähe des Wohnortes
  • de  |  en  |  da
  • 12.03.2024

Kurzvorstellung

Umfangreiche Kenntnisse in den folgenden Gebieten: Datenbankmigration für Oracle DB und PostgreSQL, ETL- und DWH-Entwicklung, Geodaten-Erfahrung, Projektmanagement-Unterstützung für Datenbank-Projekte.

Auszug Referenzen (2)

"H. hat unser Dataservice Team über einen langen Zeitraum beim Aufbau, Wartung und Weiterentwicklung unserer Datenversorgung wertvoll unterstützt."
Senior Data Engineer (Festanstellung)
Markus Wiesinger
Tätigkeitszeitraum

2/2015 – 12/2019

Tätigkeitsbeschreibung

Meine Tätigkeit umfasste die technische Unterstützung des ETL-Teams eines großen deutschen E-Commerce-Anbieters für Elektronikartikel; die ETL-Infrastruktur bestand aus 300 bis 400 ETL-Jobs. Dabei war ich zum einen für die Erstellung, Änderung und Optimierung von ETL-Jobs mittels Talend Studio DI und zum anderen bei der Planung der ETL-Prozesse und der Priorisierung der Aufgaben für ein Team bis zu 5 Mitarbeitern zuständig. In den 5 Jahren im Projekt wurden drei verschiedene Talend-Versionen (5.3.1, 6.2.1, 7.0.1) benutzt. Beim Upgrade der Talend Studio-Versionen inkl. der dazugehörigen Infrastrukturkomponenten (Talend Administration Center, Nexus, git/SVN) übernahm ich die technische Koordination der notwendigen Schritte in Abstimmung mit internen und externen Mitarbeitern. Zur Zusammenführung der Daten aus verschiedenen Quellsystemen wurde eine zentrale Datenbank mit einer Größe von circa 2 TB benutzt; bis 2017 war diese eine Oracle Datenbank in der Version 11g R2, danach erfolgte unter meiner Koordination die Migration der Datenbank auf PostgreSQL 9.6 und die Überführung der ETL-Infrastruktur in die Cloud (Google Cloud Platform unter Benutzung von "Cloud SQL" für die Datenbank und VMs für die Infrastrukturkomponenten).

Eingesetzte Qualifikationen

ETL, Oracle Database, PostgreSQL, Projektmanagement (IT), Google Cloud, Migration

"H. verfügt über sehr gut fundiertes Fachwissen u. a. in den Bereichen Datenbanken, ETL, Migration und Projektmanagement. Professionelles Auftreten."
Data Engineer (Festanstellung)
Thomas Köhler
Tätigkeitszeitraum

2/2009 – 12/2014

Tätigkeitsbeschreibung

Meine Aufgabe war die Projektkoordination und Umsetzung von ca. 80 Geodaten-Migrationen für Versorgungsnetzwerke (Abwasser, Strom, Gas) für einen schweizer GIS-Anbieter, der die GIS-Aufgaben für ungefähr 50 schweizer Gemeinden/Orte wahrnimmt. Die Migrationen erfolgten von der Oracle Datenbank 9 auf Oracle Datenbank 11g R2. Zusätzlich führte ich verschiedene Anpassungsprogrammierungen für Autodesk Topobase mittels VB.NET für den Kunden durch.

Eingesetzte Qualifikationen

Oracle Database, C#, Visual Basic, Migration

Qualifikationen

  • Amazon Web Services (AWS)
  • Apache Spark
  • Business Intelligence (BI)
  • Datawarehouse / DWH
  • Datenbankadministration
  • Datenbankentwicklung
  • Docker
  • ETL
  • Google Cloud
  • IaaS (Infrastructure as a Service)
  • Jira
  • MariaDB
  • MongoDB
  • mySQL
  • Oracle Database
  • Pandas DataFrame
  • PostgreSQL
  • Python
  • snowflake

Projekt‐ & Berufserfahrung

Senior Data Engineer, Requirements Engineer
Kundenname anonymisiert, Remote
8/2021 – offen (2 Jahre, 8 Monate)
High-Tech- und Elektroindustrie
Tätigkeitszeitraum

8/2021 – offen

Tätigkeitsbeschreibung

Mit einem Projektteam eines Projektdienstleisters bin ich für einen großen internationalen Konzern tätig. Meine Projektaufgabe in der ersten Phase des Projekts war die Implementierung von komplexen KPI-Berechnungen mittels Pandas und Jupyter Notebooks. Das Ziel war zu entscheiden, ob die bestehende Infrastruktur für die KPI-Berechnungen durch eine modernere Infrastruktur mit Einsatz von AWS und Snowflake abgelöst werden kann. In der nachfolgenden Projektphase konzentrierten wir uns auf die PoC-Implementierung der Datenpipelines für einen KPI mit AWS, Snowflake und AWS Glue. Die jetzige Projektphase umfasst die Produktivimplementierung der Datenpipelines für das gesamte Produkt.

Eingesetzte Qualifikationen

Amazon Web Services (AWS), Apache Spark, Business Intelligence (BI), Pandas DataFrame, Python, snowflake

Data Analyst & Data Engineer
Kundenname anonymisiert, Remote
5/2021 – 8/2021 (4 Monate)
High-Tech- und Elektroindustrie
Tätigkeitszeitraum

5/2021 – 8/2021

Tätigkeitsbeschreibung

Mit einem Projektteam eines Projektdienstleisters war ich für einen großen internationalen Konzern tätig. Meine Projektaufgabe war die Erstellung von Datenbankabfragen für den Data Lake in Snowflake. Zusätzlich erarbeitete ich die technischen Anforderungen in Abstimmung mit dem Frontend- und dem Business-Team.

Eingesetzte Qualifikationen

Datenanalyse, snowflake

Database Engineer
Kundenname anonymisiert, Remote
1/2021 – 4/2021 (4 Monate)
High-Tech- und Elektroindustrie
Tätigkeitszeitraum

1/2021 – 4/2021

Tätigkeitsbeschreibung

Mit einem Projektteam eines Projektdienstleisters war ich für einen großen internationalen Konzern tätig. Meine Projektaufgabe war die datenbankseitige Unterstützung für Oracle DB 12.2 zur Überprüfung, ob eine Replikation von ERP-Daten über eine Oracle-Datenbank in AWS RDS (Amazon Web Services - Relational Database Service) nach Snowflake realisiert werden kann. Das zu überprüfende Replikationsvolumen beträgt ungefähr eine Milliarde Transaktionen pro Tag für einen Quelldatenbestand von 50+ ERP-Datenbanken mit einer Größe von ca. 42 TB.

Eingesetzte Qualifikationen

Amazon Web Services (AWS), Datawarehouse / DWH, Datenbankentwicklung, Oracle Database

Senior Data Engineer
Ubitricity - Gesellschaft für verteilte Energiesys, Remote
4/2020 – offen (4 Jahre)
High-Tech- und Elektroindustrie
Tätigkeitszeitraum

4/2020 – offen

Tätigkeitsbeschreibung

Das Unternehmen ist ein Anbieter von Ladelösungen und -infrastruktur für elektrische Fahrzeuge mit Sitz in Berlin, Deutschland. Meine ursprüngliche Projektaufgabe war die Erstellung eines neuen Data Warehouse unter Nutzung von Cloud-Technologien, um eine aggregierte und einheitliche Sicht auf die Daten aus verschiedenen Quellsysteme zu ermöglichen. Die jetzigen Tätigkeit umfasst den Betrieb und die Erweiterung des Data Warehouse. Die Umsetzung erfolgt unter Nutzung von Google Cloud BigQuery als Data Warehouse-Lösung, Terraform zur Erstellung von Infrastructure-As-Code, des ELT-Ansatzes mit DataVault-Modellierung zur Beladung des Data Warehouse und Tableau als Visualisierungstool. Die Extraktion der Quelldaten von ca. 10 GB erfolgte vorrangig aus MariaDB und MongoDB. Im Projekt ist es meine Aufgabe, den gesamten Prozess für die Erstellung der Data Warehouse-Infrastruktur und Beladungsprozesse zu planen, zu betreiben und umzusetzen. Unterstützt werde ich von inhaltlicher Seite von ProductOwnern und Mitarbeitern des BusinessIntelligence-Teams.

Eingesetzte Qualifikationen

Datawarehouse / DWH, ETL, Google Cloud, IaaS (Infrastructure as a Service), Jira, MariaDB, MongoDB

Senior Data Engineer (Festanstellung)
Avantgarde Labs GmbH, Dresden
2/2015 – 12/2019 (4 Jahre, 11 Monate)
Handel
Tätigkeitszeitraum

2/2015 – 12/2019

Tätigkeitsbeschreibung

Meine Tätigkeit umfasste die technische Unterstützung des ETL-Teams eines großen deutschen E-Commerce-Anbieters für Elektronikartikel; die ETL-Infrastruktur bestand aus 300 bis 400 ETL-Jobs. Dabei war ich zum einen für die Erstellung, Änderung und Optimierung von ETL-Jobs mittels Talend Studio DI und zum anderen bei der Planung der ETL-Prozesse und der Priorisierung der Aufgaben für ein Team bis zu 5 Mitarbeitern zuständig. In den 5 Jahren im Projekt wurden drei verschiedene Talend-Versionen (5.3.1, 6.2.1, 7.0.1) benutzt. Beim Upgrade der Talend Studio-Versionen inkl. der dazugehörigen Infrastrukturkomponenten (Talend Administration Center, Nexus, git/SVN) übernahm ich die technische Koordination der notwendigen Schritte in Abstimmung mit internen und externen Mitarbeitern. Zur Zusammenführung der Daten aus verschiedenen Quellsystemen wurde eine zentrale Datenbank mit einer Größe von circa 2 TB benutzt; bis 2017 war diese eine Oracle Datenbank in der Version 11g R2, danach erfolgte unter meiner Koordination die Migration der Datenbank auf PostgreSQL 9.6 und die Überführung der ETL-Infrastruktur in die Cloud (Google Cloud Platform unter Benutzung von "Cloud SQL" für die Datenbank und VMs für die Infrastrukturkomponenten).

Eingesetzte Qualifikationen

ETL, Oracle Database, PostgreSQL, Projektmanagement (IT), Google Cloud, Migration

Data Engineer (Festanstellung)
Tele-Kabel-Ingenieurgesellschaft mbH, Chemnitz
2/2009 – 12/2014 (5 Jahre, 11 Monate)
Telekommunikation
Tätigkeitszeitraum

2/2009 – 12/2014

Tätigkeitsbeschreibung

Meine Aufgabe war die Projektkoordination und Umsetzung von ca. 80 Geodaten-Migrationen für Versorgungsnetzwerke (Abwasser, Strom, Gas) für einen schweizer GIS-Anbieter, der die GIS-Aufgaben für ungefähr 50 schweizer Gemeinden/Orte wahrnimmt. Die Migrationen erfolgten von der Oracle Datenbank 9 auf Oracle Datenbank 11g R2. Zusätzlich führte ich verschiedene Anpassungsprogrammierungen für Autodesk Topobase mittels VB.NET für den Kunden durch.

Eingesetzte Qualifikationen

Oracle Database, C#, Visual Basic, Migration

Zertifikate

Oracle Database 12c Administrator Certified Associate
2016

Ausbildung

Wirtschaftspädagogik
Diplom-Handelslehrer
2008
Dresden
Bankkaufmann
Ausbildung
2002
Meißen

Über mich

Verfügbarkeit
- täglicher Remote-Einsatz

Weitere Kenntnisse

Schwerpunkte:
- Durchführung von Entwicklungsaufgaben im Bereich Data Warehouse (DWH), ETL und Big Data mit Geodaten-Erfahrung
- Ablösung/Migration von relationalen Datenbanken (insb. Oracle und PostgreSQL)
- Unterstützung bei der Überführung Ihrer Datenbank in die Cloud (AWS, GCP)
- Projektmanagementunterstützung
- Datenbank-Performance-Optimierung

Datenbanken:
- BigQuery
- Oracle-Database
- PostgreSQL
- MariaDB
- MySQL
- MongoDB

Cloud:
- Amazon Web Services (AWS)
- Google Cloud Platform (GCP)

Tools:
- Bash
- Data Vault
- Docker
- git
- Linux
- Python
- Talend Studio
- Terraform

Persönliche Daten

Sprache
  • Deutsch (Muttersprache)
  • Englisch (Fließend)
  • Dänisch (Gut)
Reisebereitschaft
Nähe des Wohnortes
Arbeitserlaubnis
  • Europäische Union
Home-Office
unbedingt
Profilaufrufe
2757
Berufserfahrung
15 Jahre und 1 Monat (seit 02/2009)
Projektleitung
3 Jahre

Kontaktdaten

Nur registrierte PREMIUM-Mitglieder von freelance.de können Kontaktdaten einsehen.

Jetzt Mitglied werden