Softwareentwickler, C, C++, C#, Matlab, Python

2/2016 – 1/2026

Entwicklung eines Website-Crawlers im großen Maßstab in .NET Core (Link-Scraping / -Erfassung)

Betrieb auf EKS mit Tausenden von Knoten und verteilter Hochdurchsatz-Ausführung

Speicherung von Terabytes an Crawling-Daten in S3

Entwicklung von AWS-Glue-Pipelines (PySpark) zur Erstellung eines gut partitionierten Datensatzes mit Milliarden von Datensätzen in S3

Einsatz von Delta Lake für inkrementelle Aktualisierungen (Upserts/Merges) bei neu eingehenden Crawls

Bereitstellung des Datensatzes über Athena und ein SAM-basiertes Backend (GraphQL), wodurch eine Echtzeitsuche innerhalb von Sekunden möglich wurde

Automatisierung des gesamten Workflows mit Terraform, CodeBuild und Step Functions: EKS bereitstellen → crawlen → verarbeiten/erstellen → veröffentlichen → herunterfahren, um Kosten zu senken

Apache Spark, Python-Programmierer, Softwareentwickler, Software Architecture, Amazon Web Services (AWS)

3/2014 – 8/2015

Softwareentwickler

Softwareentwicklung (allg.)

1/2006 – 3/2011

Ingenieur, Softwareentwickler

Softwareentwicklung (allg.)