Data Engineer

Ich entwickle technische Verfahren und Big-Data-Architekturen. Als Spezialisten für Datenanalyse und Datenmanagement finde ich Lösungen, um auch unstrukturierte Daten auswerten und zusammenführen zu können.

• Apache Hadoop
• Big Data
• Business Intelligence (BI)
• Data Science
• ETL
• Java (allg.)
• Microsoft Power BI
• Python
• Scala
• SQL

Ich überwache den Aufbau der Hardware- und Software-Infrastruktur. Dabei erstelle ich ein Konzept, das alle Bestandteile vereint, kümmere mich um den Einkauf sowie die Einrichtung der nötigen Komponenten. Außerdem bestimme ich über die Software und welche Services eingesetzt werden. Dazu muss ich eine Datenbank aufbauen und pflegen können.

- Design von Data Pipelines
- Selbstständige Implementierung und Betrieb der Data Pipelines in Cloud Infrastruktur
- Cross-funktionale Zusammenarbeit mit Software Entwicklern, Analysten und Data Scientists zur Bereitstellung von Datensätzen für Self-Service Analytics und Data Science
- Entwicklung von Tools und Services zur Sicherstellung einer hohen Datenqualität und eines unterbrechungsfreien Betriebs der Data Pipelines

Meine Projektliste:

Big Data project with Hortonworks:
Install of Hortonworks POC cluster HDP 2.5
Development of Nifi flows , HOFS , Bash scripting
Installation of Talend ( ETL, MDM, ESB, DataMapper, Stewardship ... etc) Support and monitoring of production
Installation of HOF
Python development for text extraction


BI Project with Talend and MSBI:
Review and design of the DWH (Populate via SAP (ldoc files), SalesForce Uava custom fonctions webservice)
Evaluation of data issues and implementation of solutions
Analysis of business processes and recommendations for improvements
Project management : managers and technical team -Team Leader and mentoring of junior members
Data Modelling and Data Warehousing Design
Experience with Big Data
Design and development of Relational Databases
Design and implementation of Data Loading Processes, using different technologies: Talend,BODS, MySQL, Microsoft SQL Server, Unix, Bash Scripting, PostgreSQL,
Definition of Unit Tests and Validation of Data
Experience working with AGILE
Definition of standards and guidelines for Data Integration Processes and Datawarehouses
Definition of a deployment process between the different environments (Development, Testing and Production) Master Data Management Modeling and development using Talend MDM and IBM MDM CS
Experience working with Jira
Data Quality and Data Profiling
Performance tuning of Data Integration Processes
Experience with Data Governance framework
Experience working with version control systems: Git and Subversin