Data Engineer & Fullstack Developer

7/2022 – offen

Technologien & Anwendungen:
HTML/CSS/JavaScript, Java, J2EE, Spring Boot, Python, NodeJS, Google
Cloud Platform (GCP), Sonar Cloud, Terraform Enterprise, Google Analytics, Google Tag Manager, GTM Container, BigQuery, Cloud Security, Jupyter Notebooks, Docker, UTM, Channel Grouping, Infrastructure as Code, Virtual Machines, Firewall, ServerSide Tracking, SAP BTP, Facebook API, Oracle, Oracle Blue Kai, Oracle Unity, SQL, SOAP, Facebook CAPI, ETL,
CI/CD; Lit; open web components owc, Apache Maven, Apache Spark,
pyspark, Hadoop, Hive, pandas, Databricks, Google Dataproc, akka-http,
sttp, OneTrust, GithubCI/CD, ETL, Data Warehouse; Postman; DevOps;
PowerBI; IBM Data Stage, IBM DB2, Informatica, Snowflake, Airflow, Data
Vault

Aufgabengebiet:
Das Data Processes Team spielt eine tragende Rolle im Konzern, wenn es um Datenpipelines, Tracking, Datenanalyse und Cookie Consent geht. Meine Aufgabe als Data Engineer ist dabei die u.a. Betreuung der GTM Container, Ausbau des Serverside Trackings, Datenanalyse in BQ, sowie die Integration von Cookie Consent-Lösungen mit OneTrust. Die Onlineshops bei Mediamarkt sind in vielen europäischen Ländern verfügbar, wobei jedes Land (Salesline) sein Marketing selbst organisiert. Shop, Tracking, ConsentManagement, usw. werden durch die deutsche Zentrale bereitgestellt.
Damit die Saleslines Onlinemarketingkampagnen planen, ausspielen und
steuern können stellt die Zentrale alles notwendige zur Verfügung.
Um Daten für das Onlinemarketing zu sammeln ist ein umfangreiches und
komplexes Google Tagmanager Setup vorhanden. Bestimmte Dienste (z.B. GTM, GA4, SST) stehen allen Saleslines zur Verfügung, andere
Integrationen werden den Salesline individuell zur Verfügung gestellt.
Daten werden dabei über den Browser mittels Cookies gesammelt.
Aufgrund der Problematik, dass das Sammeln von Daten über Cookies
immer schwieriger wird, wurde ein ServerSiteTracking implementiert,
welches immer wieder neue Anforderungen erhält und dementsprechend
erweitert wird.

Ein wichtiger Bereich hierbei sind die UTM-Parameter und das
ChannelGrouping in GA3 / GA4 sowie im SST. Für das SST wird dieses über
BigQuery Tabellen, Jypyter Notebook und anderer GCP Dienste bereitgestellt und gewartet. Zur Arbeitserleichterung wurden Pyton Scripte geschrieben, mit welchem Datenbank-Operationen in BigQuery ausgeführt werden. Darüber hinaus wurde ein internes Tool zum Erstellen von UTM Parametern für Kamapgnen entwickelt, mit welches die Saleslines nutzen können. Von den Saleslines wurden immer wieder Support beim Aufbau oder der Verbesserung von BQ Queries für Analysezwecke angefordert.
Ein weiterer Aufgabenschwerpunkt ist das Cookie Consent Management.
Für bestimmte Landingpages wird hierfür OneTrust verwendet. Dazu wurden auch DevOps Aufgaben durchgeführt:
• um z.b. Rollen und Rechte in der GCP zu verwalten. Hierzu wurde meist
Terraform für die Konfiguration verwendet.
• Konfiguration und Verwaltung von Firewall-Regeln in Google Cloud
• Netzwerkkonfiguration und -optimierung in Cloud-Umgebungen
Um ETL Prozesse zu vereinfachen, wurde eine ReactApp konzipiert und
entwickelt, welche als Proxy zwischen dem MMS PWA Backend und Oracle
BlueKai dient. Daten wurden anschließend Power BI Custom Visuals
dargestellt.

CSS (Cascading Style Sheet), Google Cloud, HTML, J2EE, Java (allg.), JavaScript-Entwickler, Node.Js, Python, Spring Framework

9/2020 – offen

Technologien & Anwendungen:
WordPress, WooCommerce, Spring Boot, OpenApi, Vaadin, PHP / Symfony, React / Hooks, TypeScript, Java 11, litelement, VueJS,
LoadBalancing, Ionic; ES Lint; Jest; Storybook; NX; Chromatic; Figma,
NextJS, Docker, Google Cloud; Websockets, PostGre SQL

Aufgabengebiet:
Shop zum Verkauf von Tickets, Gutscheinen und Kursen für Freizeitanlagen auf Basis von Wordpress und WooCommerce.
Reservation Manager zur Pflege von Kursen, Ressourcen, usw. Umsetzung
mit Vaadin, Spring Boot, OpenApi. Import der Produkte über Schnittstelle
in Wordpress. Aufbau der Server-Infrastruktur für Test-und Produktiv-
Betrieb. Der Für das Produktionssystem wurde ein Loadbalancer vorgeschaltet, welcher den Traffic der Wordpress-Seiten auf 4 Systeme
verteilt hat.

Java-Entwickler, PHP, Spring Framework, Symfony, Typescript, Wordpress

8/2020 – 4/2023

Technologien & Anwendungen:
HTML/CSS/JavaScript, NodeJs, Reacht/Preact, NextJS, TypeScript, Material UI, SWR, React Hook Form, Webpack, Jest, Playwright, ESLint, Prettier, Husky, Storybook, Axios, Lodash, Moment.js, Pnpm, GraphQL, JSON, datetime, uuid, Python, Python dotenv, , FastAPI, Pydantic, uvicorn, ASGI Server, boto3, elasticsearch, logging, unitest, pytest, coverage, aiohttp, asyncio, typing, pip, virtualenv, GCP, AWS, AWS Secrets Managers, AWS SDK, Gitlab, Git, Elastic Search, MoEngage, IAB, Pivot, Apache Kafka, Snowplow, Pivot, CI/CD, Kubernetes, Google OAuth, Amazon Elastic Kubernetes Service, EKSDocker, Snowplow SDK, Container, PowerBI IBM Data Stage, IBM DB2, RabbitMQ, Apache Spark, pyspark, Hadoop, Hive, pandas, Databricks, Amazon EMR, akka-http, sttp, Snowflake, Airflow

Aufgabengebiet:
Als Data Engineer im Audience Team bin ich zuständig für die Generierung
Benutzerdaten über Umfragen, Ausbau und Betreuung der Infrastruktur
wie Gitlab Pipelines, AWS, Apache Kafka, und diverser selbst entwickelter
Tools um diese Daten zu beschaffen. Darüber hinaus spielt auch eine
Analyse der eingehenden Daten mit Pivot eine tragende Rolle.
Ziel ist es, Nutzerprofile mit umfangreichen demografischen Daten
aufzubauen um Angebote und Werbung gezielt an die Nutzer der Ippen
Digitalgruppe auszuspielen. Dazu werden mit einem eigens entwickelten
Tool Umfragen erstellt und in Artikeln und Kategorieseiten ausgegeben.
Hierfür wurden Datenpipelines und Datenmodelle konzipiert und
implementiert.
Die Oberfläche, um die Umfragen zu erstellen, wurde mit React / NextJS
entwickelt und in Abstimmung mit der UX Kollegin umgesetzt. Hierbei hat der Redakteur die Möglichkeit zwischen verschiedenen Themes, Eingabemöglichkeiten (Slider, Multiple Choice, usw.) zu wählen, und einem Bildupload um die Umfragen zu erstellen.
Die erstellten Umfragen werden über ein React-Widget ausgespielt,
welches seine Informationen aus einem Backend for Frontend (BFF)
bezieht. Dieses BFF wurde in Python entwickelt und kommuniziert mit
diversen Drittsystemen und einem Elastic Search.
In dem Widget ist ein eigenes Tracking implementiert, welches die
notwendigen Daten zur weiteren Verarbeitung und Prediction liefert.
Darüber hinaus wurde das Tool um die Umfragen zu erstellen mit einem
Google OAuth Login versehen, um nur bestimmten Personen aus dem
Unternehmen Zugriff gewähren zu können. Um eine einfache Benutzerverwaltung (RBAC) zu realisieren, werden Daten in einer SQL Lite
Datenbank in einem S3 Bucket gespeichert.
Die gesammelten Daten werden mit Algorithmen wie z.B. dem Thompsen-
Sampling ausgewertet, um die Prediction auf weitere User auszuweiten.
Darüber hinasu wurden folgende DevOps Aufgaben übernommen:
Verwaltung und Optimierung von Amazon EKS (Elastic Kubernetes Service) Clustern für alle Projekte, einschließlich:
• Konfiguration und Wartung von EKS Control Plane und Worker Nodes
Durchführung von komplexem Debugging in EKS-Umgebungen,
einschließlich:
• Analyse von Kubernetes-spezifischen Logs und Metriken
• Fehlerbehebung bei Netzwerkproblemen innerhalb des EKS-Clusters
• Optimierung der Ressourcennutzung und Autoskalierung von EKS
Worker Nodes
Nutzung und Verwaltung von AWS-Diensten zur Verbesserung der
Sicherheit und Effizienz:
• Integration von AWS Secrets Manager zur sicheren Verwaltung von
Zugangsdaten, API Schlüsseln und anderen sensiblen Informationen

Entwicklung einer Applikation zur Visualisierung der Wahlergebnisse der
Kommunahlwahl Hessen 2021 / Bundestagswahl in einer Karte mit
Gemeinden und Kreisen des Bundeslands Hessen (Geodatenverarbeitung
und Integration von Karten).
Die Artikelseiten auf den Portalen werden mit Mikro-Frontends realisiert.
Werbung, Umfragen und andere nicht-redaktionelle Inhalte sind als
eigenständige Widget mit eigenen Mikroservices integriert. Daten wurden
anschließend Power BI Custom Visuals dargestellt.

Amazon Web Services (AWS), CSS (Cascading Style Sheet), Node.Js, React (JavaScript library), SQL Entwickler, Typescript