Data Engineering expert

1/2019 – 11/2020

 Vorstudie und Analyse der Anforderungen und Spezifikation
 Konzept, Design und Realisierung eines Spezial-datapipeline
 Autorisierungskonzept und Umsetzung
 Weiterentwicklung des Datenmodells.
 Weiterentwicklung des Operation und Lösungskonzepte
 Koordiniert mit Geschäftskunden, um Geschäftsanforderungen zu erfassen. Und interagieren Sie mit anderen technischen Kollegen, um technische Anforderungen abzuleiten und die BRD- und TDD-Dokumente bereitzustellen.
 schrieb Sqoop-Abfragen, um Daten aus verschiedenen Datenbanksystemen in Hadoop zu importieren.
 Erstellt verschiedene Hive-RAW- und Standardisierungstabellen für die Datenvalidierung und -optimierung mit Partition und Bucket. Entwickelte Hive-Abfragen für die Datenstichprobe.
 Geladen und transformiert große Sätze von strukturierten, halbstrukturierten, unstrukturierten Daten aus mehreren Datenquellen wie JSON, ORC, Parkett, CSV, XML, Textdateien, Amazon Redshift, verschiedenen Datenbanksystemen zu Raw Data Zone (HDFS) mit PySpark.
 Transformierte Daten mit verschiedenen Spark-Aktionen und Transformationen durch Erstellen von RDD und Dataframes .
 Leistungsoptimierung und Automatisierung.
 Implementierte das Projekt in Cloud-Technologien (Amazon Web Services).
 Planen von Jobs mit Apache Oozie Workflow Scheduler
 Streaming-Daten von Kafka und Flink verarbeiten.
 Fehlerbehebungen in den bestehenden ETL – Prozessen

Amazon Web Services (AWS), Apache Hadoop, Apache Spark, Big Data, Oracle Database, Python

11/2017 – 12/2018

 Koordiniert mit Geschäftskunden, um Geschäftsanforderungen zu erfassen. Und interagieren Sie mit anderen technischen Kollegen, um technische Anforderungen abzuleiten und die BRD- und TDD-Dokumente bereitzustellen.
 schrieb Sqoop-Abfragen, um Daten aus verschiedenen Datenbanksystemen in Hadoop zu importieren.
 Erstellt verschiedene Hive-RAW- und Standardisierungstabellen für die Datenvalidierung und -optimierung mit Partition und Bucket.
 Entwickelte Hive-Abfragen für die Datenstichprobe.
 Geladen und transformiert große Sätze von strukturierten, halbstrukturierten, unstrukturierten Daten aus mehreren Datenquellen wie JSON, ORC, Parkett, CSV, XML, Textdateien, Amazon Redshift, verschiedenen Datenbanksystemen zu Raw Data Zone (HDFS) mit Sparkscala.
 Transformierte Daten mit verschiedenen Spark-Aktionen und Transformationen durch Erstellen von RDD, Dataframes und Datasets.
 Leistungsoptimierung und Automatisierung.
 Implementierte das Projekt in Cloud-Technologien (Amazon Web Services).
 Planen von Jobs mit Apache Oozie Workflow Scheduler
 Streaming-Daten von Kafka und Flink verarbeiten.
 Fehlerbehebungen in den bestehenden ETL – Prozessen

Apache Hadoop, Apache Spark, Big Data, Microsoft SQL-Server (MS SQL), Scala

12/2013 – 7/2016

Verantwortung der Leitung:

 Durchführung SCRUM Besprechung (Projek Methodik: Agile,Waterfall,Six Sigma)
 Betreuung des Teammitglieder
 Technische Projektleitung und Bericht Offshore Status
 Projektkoordinierung und Entwicklung POCs

Verantwortung der Designphase:

 Vorstudie und Analyse der Anforderungen und Spezifikation
 Konzept, Design und Realisierung eines Spezial-DWH
 Autorisierungskonzept und Umsetzung
 Weiterentwicklung des Datenmodells.
 Weiterentwicklung des Operation und Lösungskonzepte

Verantwortung der Entwicklung:

 Entwicklung neuer ETL – Prozesse
 Tuning von die Informatica Mappings, Workflows , Worklets, Sessions und Tasks
 Fehlerbehebungen in den bestehenden ETL – Prozessen
 Entwicklung der ETL – Mappings, -Maplets, -Workflows und -Worklets mit Informatica Powercenter
 Workflow beinhaltet zudem eine Logik zum Wiederanlauf
 Analysen für fachliches Mapping
 Leistungsoptimierung und troubleshooting
 Business Objects: Entwicklung BI reports
 Umsetzung komplexer Anforderungen mit Oracle (PL/SQL und SQL)
 Tuning von SQL-Statements
 Entwicklung die Unix Scripts: UNIX-Script/ksh/bsh für unterschiedliche Anforderungen (zB SFTP, FTP, Datei Hochladen, Herunterladen, Validierung, Mail shicken, Archivierung, Aufrufen Informatica jobs, Datenbank anbinden)
 Zeitplanung die worklows und unix scripts mit Autosys , Control-M und SQL Server Job Agent
 Lösung Produktionsprobleme
 Entwicklung der SSIS – Workflows zum Download der Rohdaten vom SFTP – Server.
 Entwicklung der SSIS – Package zum Import der Daten in das DWH
 Leistungsoptimierung und troubleshooting
 Umsetzung komplexer Anforderungen mit MS SQLSERVER
 Testing der aufgebauten Daten zusammen mit der Fachseite
 Entwicklung Windows Batch Script

Verantwortung den Tests:

 Codeüberprüfung und Einrichtung der Testumgebung
 Testkonzept und Realisierung des Testsystems

Verantwortung Project Release Phase:

 Code-Migration
 Datenmigrationskonzept
 Dokumentation
 Support Release
 Parameterization und Konfigurierung
 Prozessautomatisierung

Business Intelligence (BI), Datawarehouse / DWH, ETL, Informatica, Kernel Programmierung, Oracle Database, SAP BO-PC