freiberufler Senior Data Engineer and Data Warehouse Consultant auf freelance.de

Senior Data Engineer and Data Warehouse Consultant

zuletzt online vor wenigen Tagen
  • auf Anfrage
  • 53819 Neunkirchen-Seelscheid
  • National
  • de  |  en
  • 17.01.2024

Kurzvorstellung

Ich biete
- Design and model database systems, especially for reporting, Data Warehouse and BI
- concept and development ("Data Engineering") of ETL/ETL processe with a broad variety of tools
- training and coaching
- system analysis

Qualifikationen

  • Architektur (allg.)
  • Bash (Shell)
  • Big Data
  • Datawarehouse / DWH
  • Datenbankentwicklung
  • Datenmodellierung
  • ETL
  • Informix
  • Infrastrukturarchitektur
  • Linux Einführung
  • mySQL
  • Pentaho Open-Source-BI-Suite
  • Reporting
  • Software Architektur / Modellierung
  • SQL

Projekt‐ & Berufserfahrung

Data Engineer
Bela, Kiel
11/2022 – offen (1 Jahr, 5 Monate)
Großhandel
Tätigkeitszeitraum

11/2022 – offen

Tätigkeitsbeschreibung

Wartung einer Pentaho basierten DWH Umgebung

Eingesetzte Qualifikationen

Datawarehouse / DWH, ETL, mySQL, Pentaho Open-Source-BI-Suite, SQL

Architect
Brandora, 53819
11/2022 – offen (1 Jahr, 5 Monate)
Medienbranche
Tätigkeitszeitraum

11/2022 – offen

Tätigkeitsbeschreibung

Aufbau und Modernisierung der Unternehmenssoftware
- Konzeptionierung
- Auswahl und Aufbau der Infrastruktur ( On-Prem, Docker, AWS )
- Datenbank und -integrationssoftware Auswahl, Installation, Modellierung ( Postgres )
- Aufbau Frontends ( jam.py )
- Aufbau REST Schnittstellen ( Postgrest )
- Datenmigrationen ( Apache Hop )

Eingesetzte Qualifikationen

Datenmodellierung, Architektur (allg.), Datenbankentwicklung, ETL, Infrastrukturarchitektur, Linux Einführung

Data Engineer
NewWork SE, Hamburg
10/2022 – 5/2023 (8 Monate)
Medienbranche
Tätigkeitszeitraum

10/2022 – 5/2023

Tätigkeitsbeschreibung

Migrate the sources of a Talend and Exasol based DWH Implementation from MapR to HDP. Implement new adapters to AWS S3
( Talend, Hadoop, Hive, HDFS, ETL, SQL, Data Migration )

Eingesetzte Qualifikationen

Amazon Web Services (AWS), Big Data, ETL, Exasol, Python

Airhop
edict egaming, Remote / Hamburg
5/2022 – 7/2022 (3 Monate)
IT & Entwicklung
Tätigkeitszeitraum

5/2022 – 7/2022

Tätigkeitsbeschreibung

Erstellung einer OpenSource Datenintegrations - Infrastruktur, basierend auf
* Apache Airflow bzw. Argo Workflows
* Apache Hop
* Kubernetes
Ermittlung eines Migrationsfahrplans von Pentaho PDI zu Apache Hop

Eingesetzte Qualifikationen

Docker, ETL, Kubernetes, Linux Entwicklung

Koordination DWH Launch
Toyota FS, Remote/Köln
1/2022 – 9/2022 (9 Monate)
Finanzdienstleister
Tätigkeitszeitraum

1/2022 – 9/2022

Tätigkeitsbeschreibung

- Unterstützung bei der technischen Prozessgestaltung, Architektur
- Konzeptionierung und Implementierung eines Qualitätsframeworks
- Koordination von Tests und der Inbetriebnahme einer DWH Neuimplementierung auf Snowflake Basis

Eingesetzte Qualifikationen

Confluence (Atlassian), Datenbankentwicklung, ETL, Informix, Projektmanagement (IT), snowflake, SQL

Data Architect
Kundenname anonymisiert, Remote
3/2021 – 9/2021 (7 Monate)
Medienbranche
Tätigkeitszeitraum

3/2021 – 9/2021

Tätigkeitsbeschreibung

Analyse Bestandssystem, Datenarchitektur Data Vault

Eingesetzte Qualifikationen

Big Data, Data Vault, Datenanalyse, Datenmodellierung, SQL

Senior DWH Consultant
Greenpeace AT, Remote
6/2020 – 12/2021 (1 Jahr, 7 Monate)
Umweltverbände
Tätigkeitszeitraum

6/2020 – 12/2021

Tätigkeitsbeschreibung

- Analyse bestehendes Reportingsystem
- Konzeption / Architektur für ein neues DWH
- Datenmodellierung nach Kimball
- Implementierungsunterstützung Backend + Frontend

Eingesetzte Qualifikationen

Datenanalyse, Datenmodellierung, ETL, MariaDB, Reporting

Data Engineering
edict egaming, Hamburg
1/2020 – 5/2020 (5 Monate)
IT & Entwicklung
Tätigkeitszeitraum

1/2020 – 5/2020

Tätigkeitsbeschreibung

Evaluierung und PoC Implementierungen von/mit Hilfe Stream Processing Engines ( Apache Beam, Apache Spark, Apache Flink, Apache Nifi ) in Kombination mit Kafka und relationalen Datenbanken.

Eingesetzte Qualifikationen

PostgreSQL, Apache Spark, Bash (Shell), Docker, Python, Kubernetes

Data Engineer
Kühne & Nagel, Hamburg
10/2019 – 10/2021 (2 Jahre, 1 Monat)
Logistikdienstleister
Tätigkeitszeitraum

10/2019 – 10/2021

Tätigkeitsbeschreibung

Neuaufbau einer zentralen Postgres basierten Datenplattform für Reporting und Schnittstellen. Erstellung des Datenmodells, Implementierung der Bewirtschaftung, Beschaffung der Infrastruktur. Erstellung von Reports

Eingesetzte Qualifikationen

Git, Jenkins, Pentaho Open-Source-BI-Suite, PostgreSQL, Python, Tableau

Data Engineering
DBUSS, remote
10/2019 – 11/2019 (2 Monate)
IT & Entwicklung
Tätigkeitszeitraum

10/2019 – 11/2019

Tätigkeitsbeschreibung

Reportingplattform "Postcontainer"

Implementierung von Docker Images für eine Reportingumgebung basierend auf Postgres und Grafana. Anbindung von Quellsystemen über DB2 + Oracle Postgres Foreign Data Wrappers.

Eingesetzte Qualifikationen

Oracle (allg.), PostgreSQL, Bash (Shell), Docker, Git

Business Intelligence Consultant
edict egaming, Hamburg
10/2018 – 3/2019 (6 Monate)
IT & Entwicklung
Tätigkeitszeitraum

10/2018 – 3/2019

Tätigkeitsbeschreibung

K-Dashian

Erstellung von Real-Time Dashboards mit Grafana / Pentaho CDE auf Basis von Daten aus Kafka Topics.
Unterstützung bei der Umstellung des DWH von Oracle zu Postgres (Un-Oracle)

Eingesetzte Qualifikationen

Digitale Kunst, Oracle Business Intelligence (BI), Pentaho Open-Source-BI-Suite, Docker

Consultant Big Data Solutions
esailors, Hamburg
1/2018 – 9/2019 (1 Jahr, 9 Monate)
Medienbranche
Tätigkeitszeitraum

1/2018 – 9/2019

Tätigkeitsbeschreibung

- Aufbau einer BigData / hadoop Infrastruktur auf Basis von Hortonworks HDP mit den Komponenten Ambari, HBase ( NoSQL storage, HDFS ( file storage ), Kafka ( streaming engine ), zookeeper
- Aufbau einer eventbasierten Staging Platform für ein DWH mit Hilfe von Kafka und HBase
- Infrastruktur für die Personalisierung in einer großen Webanwendung mit Hilfe von Kafka und REST
- Aufbau einer SQL on anything Infrastruktur auf HDFS und HBase, z.b. für Webtracking Daten mit Hilfe von Apache Drill
- Implementierung von Datenintegrationen innerhalb der neuen Plattform. Evaluierung der Datenintegrations-Software ( Apache Nifi, Pentaho PDI, Python )
- Evaluierung der Architektur in der AWS Cloud
- Automatisierung des Infrastruktur Setups mit Ansible
- Definition eines Deployment - und Entwicklungsworkflow mit Git
- Aufsetzen einer Schedulung Plattform mit Jenkins
- Aufwandschätzungen & Projektplanung

Eingesetzte Qualifikationen

Big Data, Pentaho Open-Source-BI-Suite, ETL, Oracle (allg.), SQL, Confluence (Atlassian), Software Architektur / Modellierung, Bash (Shell), Git, Jenkins, Jira

Senior Consultant Data Warehouse
edict egaming, Hamburg
8/2016 – 12/2017 (1 Jahr, 5 Monate)
Medienbranche
Tätigkeitszeitraum

8/2016 – 12/2017

Tätigkeitsbeschreibung

Zwei parallele Projekte bei einem Kunden :

1) Planung und Implementierung einer Near-Realtime/Streaming Replikation aus einer Oracle Anwendung in eine Remote Datenbank mit Hilfe von Apache Kafka und Cassandra. Aufbau des Systems mit Containertechnologie ( Docker + Docker Swarm )

- Evaluierung der Softwarekomponenten.
- Datenmodelle für spaltenbasierte und NoSQL Datenbanken
- Coaching eines Implementierungs- und Betriebsteams
- Projektmarketing

2) Planung der Umstellung eines DWH von Oracle auf Postgres und Planung des Umbaus der Pentaho / PDI basierten ETL Strecken
- Datenmodelle
- Konzeption

Eingesetzte Qualifikationen

Apache Hadoop, Big Data, Oracle Database, Docker

BI Consultant
XING, Hamburg
11/2015 – 12/2017 (2 Jahre, 2 Monate)
Medienbranche
Tätigkeitszeitraum

11/2015 – 12/2017

Tätigkeitsbeschreibung

- Analyse des bestehenden DWH Systems
- Konzeption neues ETL Framework, Evaluierung von ETL Software
- Datenmodellierung für ein relationales, transaktionales Datenmodell in ExaSol. Aufbau einer eventbasierten Datenbewirtschaftung für das DWH
- Unterstützung DWH Operations

Technisches Umfeld : Linux, ExaSol, MySQL, Talend DataStudio, MapR

Eingesetzte Qualifikationen

Big Data, Datawarehouse / DWH, ETL, mySQL, Software Architektur / Modellierung, Bash (Shell), Perl, IT-Beratung (allg.), Konzeption (IT)

BI-Consultant
HSBC, Düsseldorf
10/2014 – 10/2015 (1 Jahr, 1 Monat)
Banken
Tätigkeitszeitraum

10/2014 – 10/2015

Tätigkeitsbeschreibung

Konzeption BI Umgebung
Evaluierung und PoC verschiedener ETL Tools ( SAS, IBM DataStage, Pentaho PDI )
Erarbeitung von DWH Lösungsszenarien
Modellierung eines DataStores nach Kimball mit Dimensionen und Fakten

Eingesetzte Qualifikationen

Datawarehouse / DWH, ETL, DB2, Software Architektur / Modellierung, IT-Beratung (allg.)

BI-Consultant
Bartels-Langness, Kiel
6/2013 – 5/2014 (1 Jahr)
Großhandel
Tätigkeitszeitraum

6/2013 – 5/2014

Tätigkeitsbeschreibung

Aufbau eines neuen Data Warehouse inkl. Entwicklungs- und Betriebsumgebung.


-Datenmodellierung
-Implementierung ETL
-Altdatenmigration


Rolle im Projekt : Konzeption und Implementierung
Techn. Umgebung : InfiniDB, MySQL, Pentaho kettle/PDI, Jenkins

Eingesetzte Qualifikationen

Pentaho Open-Source-BI-Suite, Datawarehouse / DWH, Business Intelligence (BI), mySQL, ETL, SQL, Software Architektur / Modellierung, Linux Entwicklung, Apache Subversion (SVN), Bash (Shell)

Consultant
Universal Music, Berlin
2/2012 – 5/2014 (2 Jahre, 4 Monate)
Medienbranche
Tätigkeitszeitraum

2/2012 – 5/2014

Tätigkeitsbeschreibung

- Datenintegrationsprojekt für den Multimediakatalog
- Datenintegtation : Schnittstelle für einen SAP Feed
- Reporting : Auswertung von Jira Daten


Rolle im Projekt : Entwicklung, Beratung, Produktionseinführung
Techn. Umgebung : Oracle 11g, MS-SQL, Pentaho kettle/PDI, JIRA

Eingesetzte Qualifikationen

Pentaho Open-Source-BI-Suite, Oracle Database, Microsoft SQL-Server (MS SQL), ETL, Software Architektur / Modellierung, Apache Subversion (SVN), Bash (Shell)

BI-Consultant
edict egaming, Hamburg
6/2011 – 8/2016 (5 Jahre, 3 Monate)
Medienbranche
Tätigkeitszeitraum

6/2011 – 8/2016

Tätigkeitsbeschreibung

2014-2016
Performance und Skalierungsmassnahmen. Einführung einer spaltenorientierten Datenbank ( HP Vertica ). Aufbau eines automatischen Build Prozesses für das BI Portal
- Coaching / Training des Teams

Verschiedene Pentaho Erweiterungen

2011-2014
-Refactoring einer DWH Lösung bzgl. Design und Performance sowie Erweiterung des Systems.
-Kozeption und Implementierung der Mehrmandantenfähigkeit
-Coaching des internen Teams
-Erstellung eines Systens zur Fraud Prävention.
- Aufbau eines BI Portals
- Aufbau OLAP Cubes


Rolle im Projekt : Konzeption, Entwicklung, Beratung
Techn. Umgebung : Oracle 11g, HP Vertica, Pentaho BI Suite, Tomcat, Apache, Linux, Kafka, Zookeeper, Cassandra, Vagrant, Docker

Eingesetzte Qualifikationen

Online Analytical Processing (OLAP), Datawarehouse / DWH, Pentaho Open-Source-BI-Suite, Oracle (allg.), Apache Tomcat, IT-Beratung (allg.), Schulung / Training (IT), Schulung / Coaching (allg.)

ETL Entwickler
Universal Music, Berlin
6/2011 – 7/2016 (5 Jahre, 2 Monate)
Medienbranche
Tätigkeitszeitraum

6/2011 – 7/2016

Tätigkeitsbeschreibung

Entwicklungen von EAI Schnittstellenfunktionalitäten

Eingesetzte Qualifikationen

Transact-SQL (T-SQL), Pentaho Open-Source-BI-Suite, Oracle Database, ETL, Microsoft SQL-Server (MS SQL), Apache Subversion (SVN), Bash (Shell)

Consultant
E-Plus, Düsseldorf
3/2011 – 12/2011 (10 Monate)
Telekommunikation
Tätigkeitszeitraum

3/2011 – 12/2011

Tätigkeitsbeschreibung

BWH : Implementierung von ETL Funktionalitäten für ein Data Warehouse
Flex Area : Migration Oracle 9 nach Oracle 10 Exadata


Rolle im Projekt : Entwicklung
Techn. Umgebung : Oracle 11g, Microsoft SQL Server 2008, SSIS

Eingesetzte Qualifikationen

Microsoft Business Intelligence (BI), Transact-SQL (T-SQL), Datawarehouse / DWH, Oracle Database, Microsoft SQL-Server (MS SQL), ETL, SQL, PL/SQL, Linux Entwicklung, Bash (Shell)

Consultant
E-Plus, Düsseldorf
1/2011 – 3/2011 (3 Monate)
Telekommunikation
Tätigkeitszeitraum

1/2011 – 3/2011

Tätigkeitsbeschreibung

Migration eines Reporting Systems von Oracle 9 auf Oracle 11g


Rolle im Projekt : Konzeption, Entwicklung, Beratung
Techn. Umgebung : Oracle 9+11, SUN Shell, PL/SQL

Eingesetzte Qualifikationen

Oracle Database, UNIX

Consultant
Albert Klink GmbH, Hennef
6/2010 – 12/2013 (3 Jahre, 7 Monate)
Logistikdienstleister
Tätigkeitszeitraum

6/2010 – 12/2013

Tätigkeitsbeschreibung

BI Portal
Entwicklung eines BI-Portals für eine Spedition basierend
auf der vorhandenen Branchensoftware


Rolle im Projekt : Konzeption, Entwicklung, Beratung
Techn. Umgebung : Oracle10, Linux, Pentaho BI Server, MySQL

Eingesetzte Qualifikationen

Pentaho Open-Source-BI-Suite, Online Analytical Processing (OLAP), Datawarehouse / DWH, Oracle Database, mySQL, ETL, Linux Entwicklung, Bash (Shell)

Consultant
E-Plus, Düsseldorf
1/2001 – 6/2010 (9 Jahre, 6 Monate)
Telekommunikation
Tätigkeitszeitraum

1/2001 – 6/2010

Tätigkeitsbeschreibung

Reporting BI : Adhoc Reporting im DWH, Betrieb von DWH Applikationen und QS.
Scorecards : Redesign und Implementierung eines Scorecard Prozesses. Design eines Datenmodell für den Datamart, Konzeption und Implementierunf der ETL Prozesse, QS und Inbetriebnahme
Reporting Framework : Entwicklung eines allgemeinen, auf UNIX Shellskripten basierten Frameworks unter der GPL zur Jobautomatisierung im Data Warehouseumfeld.
Relationale Grundlagen GK-Cube : Konzeption und Erstellung einer ETL-Bewirtschaftung eines Geschäftskundendatamarts auf Basis des Core-DWH.
SOX Teilnehmerprüfungen : Erstellung und monatlicher Betrieb eines SOX konformen Qualtitätssicherungsprozesses für die Teilnehmerabbildung in einem Data Warehouse..
Betrieb Data Warehouse : Betrieb, Konfiguration und Weiterentwicklung eines Data Warehouse. Erstellung von Adhoc Reports sowie Durchführung von Qualitätssicherungsmassnahmen.
Anbindung von SAS an das Data Warehouse : Konzeption und Implementierung einer über Datenbanktabellen konfigurierbaren Integration von SAS Prozessen in das Data Warehouse . Entwicklung einer triggerbasierten Steuerung der SAS Prozesse sowie einer Schnittstelle zum Lotus Notes Mailsystem zur Verteilung von Fehlermeldungen aus den SAS Prozessen.
Implementierung von Paketen für das DWH C-Release
Implementierung von Teilprojekten für das neue DWH : Kundenreports VB-Reports: Implementierung der Bewirtschaftungsfunktionen für Datamarts mit Oracle PL/SQL
DAMA: Implementierung von Funktionen für den Datenbankteil des Projekts DAMA. DAMA spiegelt die Aktivitäten des externen Call Centers wider und dient der Abrechnung.

Rolle im Projekt: Konzeption, Implementierung, Dokumentation und Betrieb
Techn. Umgebung::SUN E10K, UNIX ( Solaris ), Windows 2008, Oracle, Informix, Informatica
SSIS, SSRS, MS-SQL Server

Eingesetzte Qualifikationen

Datawarehouse / DWH, Reporting, Oracle Database, ETL, SQL, Informix, UNIX, Oracle Solaris (SunOS), Software Architektur / Modellierung, PL/SQL, Linux Entwicklung, Bash (Shell)

Ausbildung

Bauingenieurwesen
cand.ing.
1998
Aachen

Über mich

Weitere Informationen auf meinen Online Profilen. Links dorthin finden sich auf meiner Website (siehe Kontaktdaten)

Weitere Kenntnisse

Conceptual and hands-on experience in :
- ETL/ELT, Orchestration conception and development
- database modeling with different approaches : Starschema, Snowflake, 3NF, EDW, Kimball, Data Vault
- OLAP / Cube / multidimensional modeling
- setup, use and conception of Deployment and Production environments for a DWH
- cloud technologies ( managed Services/ cloud hosting , AWS +GCP )
- container technologies ( Docker/Kubernetes/Helm )
- streaming data ( e.g. with Kafka ), message definitions
- batch data processing ( ELT )
- REST API connectivity
- system analysis, requirements definitions
- agile projecthandling
- strong experience in data analysis for different industries ( e.g. online gaming, social media, trade, logistics, financial services, entertainment )
- strong experience in open source technologies
- Apache Software Foundation committer
- used to DevOps approaches

Preferred toolset :
- Apache Hop
- Apache Airflow
- Apache Nifi
- Apache Kafka
- Apache Superset
- Jenkins
- Pentaho ( Kettle, PDI, PRD, BI-Suite, mondrian )
- relational : Oracle, Postgres, MySQL, MariaDB, Informix,
- others : HP Vertica, Snowflake, Exasol
- Bash, Shell, SQL, Python
- Unix/Linux

Other experiences:
- JIRA, Confluence Toolset
- team coaching
- Microsoft office
- database frontends ( DBVisualier, DBeaver, Toad etc. )
- Talend ETL suite
- SSIS, Datastage,
- Ansible,
- DWH operations

Persönliche Daten

Sprache
  • Deutsch (Muttersprache)
  • Englisch (Fließend)
Reisebereitschaft
National
Arbeitserlaubnis
  • Europäische Union
Profilaufrufe
7575
Alter
53
Berufserfahrung
24 Jahre und 11 Monate (seit 04/1999)

Kontaktdaten

Nur registrierte PREMIUM-Mitglieder von freelance.de können Kontaktdaten einsehen.

Jetzt Mitglied werden