Senior Data Engineer

7/2024 – offen

Entwicklung und Optimierung von containerisierten PySpark-Datenpipelines; Untersuchung von Produktionsfehlern, Skew, Engpässen, Shuffle-Verhalten, Partitionierungs- und Schreibstrategien sowie Ressourcennutzung zur Reduzierung der Laufzeit und Verbesserung der Cluster-Effizienz. Umsetzung von Erweiterungen und Korrekturen für Unternehmens-ETL/DWH-Prozesse mit komplexem Oracle SQL, PL/SQL und bestehenden PowerCenter-Implementierungen. Implementierung von Korrekturen und neuen Funktionen in IDMC Data Integration unter Verwendung von komplexem Oracle SQL/Select-Override-Logik, PL/SQL und grundlegender Automic-Scheduling/Orchestrierung. Entwicklung von Integrations- und Automatisierungslogik mit Informatica Cloud Application Integration und Python, einschließlich REST/API-basierter Datenflussprozesse. Beitrag als Senior-Engineer in der Produktionsunterstützung, Ursachenanalyse, Fehlerbehebung, Performance-Optimierung und kontrollierter Bereitstellung geschäftskritischer Änderungen.

Kubernetes, Openshift, Workflows, Docker, Oracle-Anwendungen, PL/SQL, Python, Pandas

9/2022 – 7/2024

Erstellung, Überwachung, Debugging und Feinabstimmung von Apache NiFi-Flows für Unternehmensdatenintegrationsszenarien. Entwicklung benutzerdefinierter NiFi-Prozessoren und Java-Plugins zur Ermöglichung der externen API-Konnektivität und Erweiterung der Plattformfunktionen. Teilnahme an der Kundenbetreuung, einschließlich technischer Analyse, Implementierungsdesign, Fehlerbehebung und produktionsorientierter Korrekturen. Arbeit in einer containerisierten Umgebung mit Kubernetes und Docker, wobei Kafka und Elasticsearch Teil der weiteren Integrationslandschaft waren.

Apache Kafka, Linux-Systemadministrator, Elasticsearch, Kubernetes, Docker

1/2015 – 9/2022

Bereitstellung von 2nd- und 3rd-Level-Support für Kern-DWH-Systeme eines großen deutschen Automobilherstellers in einer multikulturellen Unternehmensumgebung. Durchführung von Ursachenidentifikation und Fehlerbehebung bei Datenfehlern, Performance-Problemen, Workflow-Ausfällen und Produktionsvorfällen. Optimierung von Informatica-Mappings, Sessions, Workflows, PL/SQL-Prozeduren und komplexen SQL-Abfragen zur Verbesserung von Zuverlässigkeit und Laufzeitverhalten. Verwaltung von Problem- und Fehleranalysen gemäß ITIL-Praktiken, einschließlich detaillierter Dokumentation von Fehlern und Lösungen. Koordination von Entwicklungs-, Betriebs-, Geschäfts- und Kundenseiten-Stakeholdern während Implementierungs- und Supportaktivitäten.

Oracle-Anwendungen, PL/SQL, SQL, Qlikview, UNIX, IT-Mitarbeiter, ITIL