Data Engineer & Fullstack Developer

9/2020 – 4/2023

Als Data Engineer im Audience Team lag der Schwerpunkt auf der Entwicklung und Optimierung von End-to-End-Datenpipelines und ETL-Workflows auf AWS. Kernkomponenten waren AWS Glue für ETL-Jobs, AWS Lambda für eventgesteuerte Automatisierung, S3 als Data Lake und Kinesis (KDS) für die Echtzeit-Ingestion von Trackingdaten. Die Datenverarbeitung und -transformation wurde in Python umgesetzt (klassische Entwicklung und Python-Notebooks).
Ziel war der Aufbau von Nutzerprofilen mit demografischen Daten zur gezielten Ausspielung von Angeboten. Dafür wurden wiederverwendbare, modulare Python-Komponenten für Data Processing und Data Transformation entwickelt sowie End-to-End-Datenpipelines und Datenmodelle konzipiert und implementiert. Eingehende Datenströme wurden über Kinesis (KDS) erfasst, mit AWS Glue transformiert und im S3-Data-Lake abgelegt.
Die Oberfläche, um die Umfragen zu erstellen, wurde mit React / NextJS entwickelt und in Abstimmung mit der UX-Kollegin umgesetzt. Hierbei hat der Redakteur die Möglichkeit zwischen verschiedenen Themes, Eingabemöglichkeiten (Slider, Multiple Choice, usw.) zu wählen, und einem Bildupload, um die Umfragen zu erstellen.
Entwicklung wiederverwendbarer APIs und Automatisierungs-Skripte in Python (FastAPI): Ein Backend for Frontend (BFF) orchestrierte Datenabfragen, kommunizierte mit Drittsystemen und persistierte Daten. Automatisierungs-Skripte (boto3 / AWS SDK) übernahmen wiederkehrende Aufgaben in der Datenverarbeitung und im Pipeline-Betrieb.
In dem Widget ist ein eigenes Tracking implementiert, welches die notwendigen Daten zur weiteren Verarbeitung und Prediction liefert.
Darüber hinaus wurde das Tool, um die Umfragen zu erstellen mit einem Google OAuth Login versehen, um nur bestimmten Personen aus dem Unternehmen Zugriff gewähren zu können. Um eine einfache Benutzerverwaltung (RBAC) zu realisieren, werden Daten in einer SQL Lite Datenbank in einem S3 Bucket gespeichert.
Die gesammelten Daten werden mit Algorithmen wie z.B. dem Thompsen-Sampling ausgewertet, um die Prediction auf weitere User auszuweiten.
Darüber hinaus wurden folgende DevOps Aufgaben übernommen: Verwaltung und Optimierung von Amazon EKS (Elastic Kubernetes Service)
Clustern für alle Projekte, einschließlich:
• Konfiguration und Wartung von EKS Control Plane und Worker Nodes
Durchführung von komplexem Debugging in EKS-Umgebungen, einschließlich:
• Analyse von Kubernetes-spezifischen Logs und Metriken
• Fehlerbehebung bei Netzwerkproblemen innerhalb des EKS-Clusters
• Optimierung der Ressourcennutzung und Autoskalierung von EKS Worker Nodes
Nutzung und Verwaltung von AWS-Diensten zur Verbesserung der Sicherheit und Effizienz:
• Integration von AWS Secrets Manager zur sicheren Verwaltung von Zugangsdaten, API Schlüsseln und anderen sensiblen Informationen
• Verwaltung von IAM-Rollen und -Policies zur granularen Zugriffskontrolle auf AWS-Ressourcen sowie Implementierung von Least-Privilege-Konzepten für EKS-Workloads
• Konfiguration von AWS VPC-Netzwerken für EKS-Cluster (Subnets, Security Groups, Routing); Einsatz von AWS Lambda für eventgetriebene Automatisierungsaufgaben im Infrastrukturkontext
Aufbau und Betrieb eines Observability-Stacks zur Sicherstellung von Transparenz und Stabilität der Plattform:
• Einrichtung von Prometheus zur Metriken-Erfassung und Grafana zur Visualisierung von Cluster- und Applikationsmetriken; Einsatz von Thanos zur hochverfügbaren, langfristigen Speicherung von Prometheus-Metriken. Ergänzend wurde Amazon CloudWatch für das Logging und Monitoring von AWS-seitigen Infrastrukturkomponenten eingesetzt
Darüber hinaus wurden standardisierte Deployment-Vorlagen und interne Entwicklungsleitfäden („Golden Paths“) für Entwicklerteams erarbeitet, um Onboarding und Deployments zu vereinheitlichen. Die erstellten Infrastrukturkomponenten und Betriebsprozesse wurden fortlaufend in einer technischen Dokumentation festgehalten.
Im Unternehmen sammelt SnowPlow Trackingdaten von rund 80 Newsportalen in Echtzeit. Die Datenströme werden zentral verarbeitet, anonymisiert, wenn notwendig an Databricks zur Speicherung für weitere Analysen übergeben. Die Ergebnisse fließen direkt in interaktive Dashboards ein und ermöglichen datengetriebene Entscheidungen zu Nutzerverhalten, Reichweite und Content-Performance. Hier waren die Kernaufgaben Schema-Engineering Data-/Schema-Governance und Wartung der Infrastruktur.

Entwicklung einer Applikation zur Visualisierung der Wahlergebnisse der Kommunalwahl Hessen 2021 / Bundestagswahl in einer Karte mit Gemeinden und Kreisen des Bundeslands Hessen (Geodatenverarbeitung und Integration von Karten).
Die Artikelseiten auf den Portalen werden mit Mikro-Frontends realisiert. Werbung, Umfragen und andere nicht-redaktionelle Inhalte sind als eigenständige Widget mit eigenen Mikroservices integriert. Daten wurden anschließend Power BI Custom Visuals dargestellt.

Apache Kafka, Databricks, Power Bi, Graphql, Pandas, Apache Spark, Docker, Node.Js, Python, Typescript, Amazon Web Services (AWS), Django, Elasticsearch, Kubernetes, React (JavaScript library), Representational State Transfer (REST)

6/2018 – 3/2021

Das Data Processes Team spielt eine tragende Rolle im Konzern, wenn es um Datenpipelines, Tracking, Datenanalyse und Cookie Consent geht. Die Aufgabe als Data Engineer ist dabei die u.a. Betreuung der GTM-Container, Ausbau des Serverside Trackings, Datenanalyse in BQ, sowie die Integration von Cookie Consent-Lösungen mit OneTrust.
Die Onlineshops bei Mediamarkt sind in vielen europäischen Ländern verfügbar, wobei jedes Land (Salesline) sein Marketing selbst organisiert.
Shop, Tracking, ConsentManagement, usw. werden durch die deutsche Zentrale bereitgestellt.
Damit die Saleslines Onlinemarketingkampagnen planen, ausspielen und steuern können stellt die Zentrale alles notwendige zur Verfügung.
Um Daten für das Onlinemarketing zu sammeln ist ein umfangreiches und komplexes Google Tagmanager Setup vorhanden. Bestimmte Dienste (z.B. GTM, GA4, SST) stehen allen Saleslines zur Verfügung, andere Integrationen werden den Salesline individuell zur Verfügung gestellt.
Daten werden dabei über den Browser mittels Cookies gesammelt. Aufgrund der Problematik, dass das Sammeln von Daten über Cookies immer schwieriger wird, wurde ein ServerSiteTracking implementiert, welches immer wieder neue Anforderungen erhält und dementsprechend erweitert wird.

Apache Kafka ermöglicht eine hoch performante Verarbeitung von Logistik- und Tracking-Daten in Echtzeit. Durch die zentrale Datenplattform lassen sich Versandstatus, Lagerbewegungen und Zustellinformationen effizient erfassen, analysieren und an nachgelagerte Systeme weiterleiten – für maximale Transparenz und optimierte Lieferprozesse. Zum Aufgabenspektrum zählte daher auch die Wartung des Azure Kafka Clusters.
Plattform-Services wurden als containerisierte Anwendungen über GCP Cloud Run deployed und betrieben. Ereignisgesteuerte Datenpipelines zwischen Plattformkomponenten und nachgelagerten Systemen wurden über GCP Pub/Sub realisiert. DataHub wurde als zentrales Metadaten- und Data-Catalog-Tool eingesetzt, um Data Assets, Lineage und Quality-Informationen plattformweit verfügbar zu machen.

Ein wichtiger Bereich hierbei sind die UTM-Parameter und das ChannelGrouping in GA3 / GA4 sowie im SST. Für das SST wird dieses über BigQuery Tabellen, Jupyter Notebook und anderer GCP-Dienste bereitgestellt und gewartet. Zur Arbeitserleichterung wurden Python Scripte geschrieben, mit welchem Datenbank-Operationen in BigQuery ausgeführt werden. Darüber hinaus wurde ein internes Tool zum Erstellen von UTM-Parametern für Kampagnen entwickelt, mit welches die Saleslines nutzen können. Von den Saleslines wurden immer wieder Support beim Aufbau oder der Verbesserung von BQ Queries für Analysezwecke angefordert.
Ein weiterer Aufgabenschwerpunkt ist das Cookie Consent Management. Für bestimmte Landingpages wird hierfür OneTrust verwendet.
Dazu wurden auch DevOps Aufgaben durchgeführt:
• um z.b. Rollen und Rechte in der GCP zu verwalten. Hierzu wurde meist Terraform für die Konfiguration verwendet.
• Konfiguration und Verwaltung von Firewall-Regeln in Google Cloud
• Netzwerkkonfiguration und -optimierung in Cloud-Umgebungen

Um ETL-Prozesse zu vereinfachen, wurde eine ReactApp konzipiert und entwickelt, welche als Proxy zwischen dem MMS PWA Backend und Oracle BlueKai dient. Daten wurden anschließend Power BI Custom Visuals dargestellt.

Apache Kafka, Apache Spark, Databricks, Power Bi, ETL, SQL, Virtual Machine Manager, Docker, Kotlin, Node.Js, Python, Google Cloud, Snowflake, SOAP, CSS (Cascading Style Sheet), Google Analytics, Google Tag Manager, HTML, Kubernetes, Representational State Transfer (REST)

8/2017 – 7/2018

Entwicklung neuer Absatztemplates in FirstSpirit und React-Komponenten für die Geberit-Websites in Zusammenarbeit mit dem internen Entwickler-Team. Zu den Aufgaben gehörten die Umsetzung neuer Features, Bugfixing sowie das Erstellen von Unit- und Snapshot-Tests. Darüber hinaus wurde eine umfangreiche Implementierung von Google Analytics mit eventbasiertem Tracking und Custom Dimensions vorgenommen, um das Nutzerverhalten differenziert messen zu können. Die Teilnahme an Sprint-Meetings, die Präsentation von Sprint-Ergebnissen im Review sowie die Durchführung von Code Reviews gehörten ebenfalls zum Aufgabenbereich.
Im Rahmen des Projekts wurden CI/CD-Prozesse über VSTS Pipelines (Visual Studio Team Services) eingesetzt, um Deployments der React-Applikation automatisiert und reproduzierbar durchzuführen.

Apache Maven, Java (allg.), Kotlin, Typescript, Microsoft Azure, Google Analytics, JavaScript, React (JavaScript library)

9/2014 – 8/2017

Unter anderem LBBW Asset Management, wo z.B. Fondsdaten über einen eigenen Mikroservice mittels einer Webcomponent als Mikro-Frontend im Frontend dargestellt werden. Hierunter fallen auch Projekte, die barrierefrei entwickelt worden sind und barrierefrei getestet
Südbayerische Fleischwaren, Lotto, Wheelworld, staatliche Projekte, etc.
Unter anderem wurde für ein Kurzprojekt eine Reiseauswahl-Funktion für einen Reiseanbieter entwickelt, welches aus tausenden Angeboten ein Dutzende von OpenAI sortiert und angezeigt wird

Mysql, Typescript, Typo3, Apache Solr, CSS (Cascading Style Sheet), HTML5, JavaScript, Jquery, PHP, React (JavaScript library), Shopware, Vue.Js, XHTML (Extensible HyperText Markup Language), WordPress

9/2013 – 6/2015

Die Plattform meinMVP richtet sich an Versicherungsmakler und kleinere Maklerbüros, um Prozesse rund um Organisation, Verwaltung und Kommunikation von Versicherungen und Versicherungsfällen zu digitalisieren. Verschiedene externe Dienstleister wurden angebunden und die Plattform kontinuierlich funktional ausgebaut, um Maklern ein besseres Nutzererlebnis zu bieten.
Die Hauptaufgabe war die Entwicklung von Front- und Backend-Features in Abstimmung mit Business Analysten sowie das Erstellen von Unit- und Integrationstests. Da das Projekt bereits seit einigen Jahren bestand, war die Analyse und das Refactoring bestehender Komponenten und Services regelmäßig notwendig und in User Stories eingeplant. Die Benutzerverwaltung und Zugriffskontrolle wurde über Spring Security mit sessionbasierter Authentifizierung umgesetzt. Darüber hinaus wurde die schrittweise Migration von manuellen Deployments hin zu automatisierten Jenkins-Pipelines vorangetrieben.
Die Programmierung neuer Features erfolgte gemäß definierten fachlichen und technischen Anforderungen. Zur Qualitätssicherung wurden Unit- und Integrationstests mit JUnit und Mockito erstellt und gepflegt. Deployments wurden über Jenkins-Pipelines automatisiert. Code Reviews wurden fachlich und technisch vorbereitet, entwickelte Features im Rahmen der Reviews vorgestellt und erläutert.
Das Backend wurde in Java mit Spring MVC entwickelt und war in mehrere Module aufgeteilt, die auf eine gemeinsame PostgreSQL-Datenbank zugreifen. Schemamanagement sowie Index-Optimierung gehörten ebenfalls zu den Aufgaben. Module kommunizierten untereinander über interne REST-APIs, ein dediziertes Modul übernahm die Anbindung externer Dienstleister. Die Testabdeckung wurde durch SonarQube überwacht und war in den Jenkins-Build-Prozess integriert. Artefakte wurden über Nexus Repository verwaltet. Die Messaging-Infrastruktur wurde mit Apache ActiveMQ umgesetzt und später auf RabbitMQ migriert.
Das Frontend wurde mit AngularJS und JavaScript entwickelt. Es wurde ein modularer Aufbau gewählt, der gemeinsam genutzte UI-Komponenten wie Modals, Akkordeons und Formularelemente als wiederverwendbare AngularJS-Direktiven kapselte.
Die gesamte Plattform wurde auf dedizierten Linux-Servern (Debian/Ubuntu) betrieben, mit Nginx als Reverse Proxy. Für die Provisionierung und Konfiguration der Serverumgebungen wurde Ansible eingesetzt, lokale Entwicklungsumgebungen wurden mit Vagrant standardisiert. Für jede Umgebung (DEV, TEST, PROD) stand eine separate Deployment-Konfiguration zur Verfügung. Logging und Monitoring erfolgten über den ELK-Stack (Elasticsearch, Logstash, Kibana).

Postgresql, Apache Tomcat, Nginx, Docker, Java (allg.), Jenkins, Junit, Spring Framework, Ansible, AngularJS, Elasticsearch, Representational State Transfer (REST)

1/2012 – 7/2013

Entwicklung und Ausbau webbasierter Online-Antragsstrecken für Kindergeld (ab Geburt, ab 18) sowie Änderungsmitteilungen als Single-Page-ähnliche Webanwendungen auf Basis von AngularJS 1.x. Schrittweise Verbesserung der Architektur sowie Refactoring von bestehendem Code, um gemeinsame Funktionalitäten der drei Antragsstrecken in wiederverwendbaren AngularJS-Services und -Direktiven zu bündeln. Ein zentraler Bestandteil war die clientseitige Persistierung von Formulardaten (LocalStorage / SessionStorage) sowie die Möglichkeit, den Fortschritt in jedem Schritt wiederherzustellen. Durchführung von Code Reviews sowie Deployments auf Apache Tomcat- bzw. JBoss-Umgebungen über Jenkins-Pipelines.
Darüber hinaus wurden serverseitige Komponenten in Java mit Spring MVC und J2EE entwickelt und weiterentwickelt sowie Unit-Tests mit JUnit und Mockito geschrieben. Die regelmäßige Teilnahme an Sprint-Meetings nach Scrum gehörte ebenso zum Projektalltag wie Code Reviews und Feature-Planung im Refinement.

Apache Tomcat, Apache Maven, Git, J2EE, Java (allg.), Jenkins, Spring Framework, Subversion, AngularJS

1/2011 – 2/2012

Bei der Fasihi GmbH erfolgte die Entwicklung individueller Softwarelösungen auf Basis des Fasihi Enterprise Portals (FEP). Die Plattform wurde als zentrale Unternehmenslösung für Informationsmanagement, Prozesssteuerung, Dokumentenmanagement und Collaboration eingesetzt.

Der Schwerpunkt lag auf der Umsetzung kundenspezifischer Anforderungen in enger Zusammenarbeit mit Fachbereichen und Projektverantwortlichen. Die Aufgaben umfassten die technische Konzeption, Entwicklung, Integration und Betreuung produktiver Anwendungen über den gesamten Software-Lifecycle hinweg.

Zu den wesentlichen Tätigkeiten gehörten:

- Entwicklung und Erweiterung kundenspezifischer Portal- und Geschäftsanwendungen
- Umsetzung komplexer Geschäftsprozesse in digitale Workflow- und Freigabelösungen
- Entwicklung von Frontend- und Backend-Komponenten auf Basis von Java, JSP, JavaScript, HTML, CSS und Oracle SQL
Konzeption und Implementierung rollenbasierter Benutzer- und Berechtigungskonzepte. Durchführung technischer Workshops sowie Analyse und Spezifikation fachlicher Anforderungen. Erstellung technischer Konzepte und Unterstützung bei Aufwandsschätzungen. Integration interner und externer Systeme über Daten- und Schnittstellenanbindungen. Fehleranalyse, Wartung und kontinuierliche Optimierung produktiver Anwendungenc. Unterstützung von Release-, Deployment- und Testprozessen.Technische Dokumentation und Wissenstransfer innerhalb der Projektteams. Im Rahmen der Weiterentwicklung mobiler Lösungen erfolgte zusätzlich die Konzeption und Entwicklung nativer sowie plattformübergreifender Anwendungen für iOS und Android.
Dabei wurden verschiedene Technologieansätze wie Xamarin und React Native evaluiert und eingesetzt, um bestehende Geschäftsprozesse und Anwendungen auf mobile Endgeräte zu übertragen. Die mobilen Anwendungen wurden an bestehende Backend-Systeme und Unternehmensplattformen angebunden und um Offline- sowie Synchronisationsfunktionen erweitert.

Java (allg.)