Data Engineer

11/2023 – offen

Im Rahmen dieses Projekts wurden Daten aus verschiedenen Quellen wie Excel, CSV, JSON, Datenbanken und APIs extrahiert und in ein Data Vault 2.0 Modell gespeichert. Zusätzlich wurden Information Marts eingerichtet, um einen schnellen und benutzerfreundlichen Zugriff auf die Daten zu ermöglichen.

Durchgeführte Tätigkeiten:
Analyse der Anforderungen und Anpassung der vorhandenen technischen Infrastruktur für die Datapipelines und Information Marts.
Integration der Datenquellen im Azure Datalake
Einrichtung der ETL-Prozesse unter Verwendung des vorhandenen Python Frameworks.
Laden der Daten in die Raw- und Business-Vaults des Data Vault 2.0 Modell.
Erstellung von Information Marts.
Konfiguration der Argo-jobs zur Orchestrierung und Automatisierung von Datapipelines.
Anbindung von Tableau zur Erstellung von interaktiven Dashboards und Berichten für die Datenvisualisierung.

Data Vault, Datawarehouse / DWH, ETL, Kubernetes, PostgreSQL, Python, SQL, Tableau

7/2023 – 9/2023

Das Projekt umfasste die Entwicklung eines Web-Inventory-Systems auf Basis von Django, das es dem Kunden ermöglicht, effizient Web-Ressourcen zu verwalten. Es wurde eine Datenpipeline eingerichtet, um Websitedaten zu extrahieren, zu transformieren und in die Datenbank einzuspeisen. Die Lösung vereinfacht und beschleunigt das Management von Website-Assets im Tagesgeschäft der Agentur.

Durchgeführte Tätigkeiten:
Entwicklung eines Web-Inventory-Systems auf Django-Basis zur Verwaltung von Web-Ressourcen.
Einrichtung einer Datenpipeline unter Verwendung von Python und SQL und Orchestrierung der Extraktion, Transformation und Einspeisung von Websitedaten in die Datenbank mit Prefect.
Konfiguration einer SQL-Datenbank mit SQLite zur Speicherung der Webdaten.
Implementierung von Schnittstellen zur Interaktion mit der Datenbank über Django.
Testen und Optimieren der Systemleistung für eine reibungslose Funktionsweise.

Django (Framework), Python, SQL

4/2023 – 4/2023

Dieses Projekt umfasste die Konfiguration und Einrichtung von Google Analytics und Google Tag Manager für eine Dienstleistungswebsite. Die Zielsetzung war die Erfassung und Analyse von Nutzerverhalten sowie die Ausleitung dieser Daten in Google BigQuery zur weiteren Analyse und Modellierung. Zudem wurde die Datenmodellierung mit dbt durchgeführt, um ein strukturiertes Datenmodell zu erstellen. Die Visualisierung der Daten erfolgte gemäß den Anforderungen des Kunden mit Google Looker Studio.

Durchgeführte Tätigkeiten:
Einrichtung von Google Analytics mit Google Tag Manager auf der Dienstleistungswebsite.
Konfiguration des Google Analytics Accounts und Verknüpfung mit Google Ads.
Ausleitung der gesammelten Daten in Google BigQuery zur weiteren Analyse.
Durchführung der Datenmodellierung mit dbt, um ein strukturiertes Datenmodell zu erstellen.
Konfiguration und Einrichtung von Google Looker Studio zur Visualisierung der Daten gemäß den Anforderungen des Kunden.

Google Analytics, Google Tag Manager, SQL