Cloud Backend and Data Engineer

1/2023 – 4/2026

Entwicklung einer benutzerdefinierten Plattform zur Integration von Daten aus sieben verschiedenen Datenbanken und weiteren Quellen in einen partitionierten, Parquet-basierten AWS S3 Data Lake und ein Data Warehouse (Dagster + Python/Airbyte auf einem Kubernetes EKS-Cluster / Docker + Redshift).

Entwicklung einer asynchronen, AWS Lambda-basierten Verarbeitungspipeline, die ca. 1 Million Ereignisse an eine API sendet, diese in Blöcken verarbeitet und API-Beschränkungen berücksichtigt.

Data Warehousing (Redshift), Optimierung der Abfrageverarbeitung, Implementierung und Entwicklung von DBT-Modellen.

Erstellung von Metabase-Berichten und Dashboards.

Vorbereitung der Infrastruktur mit Terraform und Pulumi (AWS S3-Buckets, IAM-Rollen und -Richtlinien) sowie Mitarbeit bei der Einrichtung/Anpassung von AWS EKS.

Amazon Web Services (AWS), Data Engineer, Data Warehousing, Docker, Kubernetes, Python-Programmierer, SQL

2/2022 – 12/2022

Entwicklung von Datenverarbeitungslösungen auf Basis von AWS (hauptsächlich Lambda/Python in Verbindung mit AWS S3, aber auch API Gateway und AWS CloudWatch) und Unterstützung bei der Erstellung von DBT-Modellen sowie der Arbeit mit SQL (Snowflake: Abfragen, Massendatenexport).

Erstellung von Datenpipelines mit Airflow (lokal und AWS MWAA).

Infrastrukturvorbereitung mit Terraform (AWS S3-Buckets, IAM-Rollen und -Richtlinien).

Data Warehousing, ETL, ETL-Entwickler, Python, Python-Programmierer, Snowflake

1/2021 – 1/2022

Entwicklung serverloser AWS Lambda-Funktionen zur Datenverarbeitung in der Cloud-Umgebung.

Erstellung von Datenpipelines und Jobs zur Orchestrierung der Datenverarbeitung in Apache Airflow.

Erstellung von Datenbankobjekten und Entwicklung von Datenverarbeitungsmechanismen in AWS Athena und Amazon Redshift.

Amazon Web Services (AWS), Data Engineer, Data Warehousing, Python, Python-Programmierer, SQL