
Senior Data & DevOps Engineer
- Verfügbarkeit einsehen
- 0 Referenzen
- auf Anfrage
- 51503 Rösrath
- National
- de | en
- 18.07.2025
- Contract ready
Kurzvorstellung
Geschäftsdaten
Qualifikationen
Projekt‐ & Berufserfahrung
8/2023 – 6/2025
Tätigkeitsbeschreibung
• Leitung der Einführung von Stackable als Kubernetes-Plattform, wodurch eine skalierbare und effiziente Orchestrierung ermöglicht wurde.
• Verantwortlich für die Migration bestehender Cloudera-Workflows und Services auf Kubernetes, was zu einer besseren Ressourcennutzung und reduzierten Betriebskosten führte.
• Aufbau und Betrieb einer hochverfügbaren Apache Airflow-Umgebung, die für automatisierte, zuverlässige und skalierbare Workflow-Orchestrierung sorgte.
• Implementierung eine CI/CD-Pipeline mit ArgoCD und GitLab, wodurch Deployment-Prozesse beschleunigt und Ausfallzeiten minimiert wurden.
• Refactoring bestehender Services mit Celery und FastAPI, was zu einer signifikanten Verbesserung der Performance und Wartbarkeit der Anwendungen beitrug.
• Implementierung einer skalierbaren Datenverwaltungslösung mit StorageGRID (S3), wodurch Datenzugriff und Speichereffizienz optimiert wurden.
Container Management, Continuous Delivery, Continuous Integration, Kubernetes, Python, Server-Monitoring
10/2020 – 3/2023
Tätigkeitsbeschreibung
• Entwicklung und Betrieb skalierbarer Recommender-Systeme in AWS, wodurch die Personalisierung und Nutzerbindung signifikant verbessert wurde.
• Konzeption und Implementierung von ETL-Strecken mit Terraform und Kubernetes, was eine automatisierte und effiziente Datenverarbeitung ermöglichte.
• Etablierung eines umfassenden Monitorings mit Grafana, wodurch Produktionsprozesse transparenter und potenzielle Ausfälle schneller identifiziert wurden.
• Zuständig für dasWorkflow-Management mit Apache Airflow, um Datenflüsse zu automatisieren und Performance zu optimieren.
• Entwicklung neuer Features für Recommender-Systeme mit Spark und Python, wodurch die Empfehlungsqualität und das Nutzererlebnis verbessert wurden.
• Unterstützung bei der Migration des gesamten Tech-Stacks von AWS zur Google Cloud Platform (GCP), wodurch Kosten gesenkt und Cloud-native Funktionen effizient genutzt wurden.
Apache Spark, ETL, Google Cloud, Kubernetes, Python, Scrum
8/2017 – 9/2020
TätigkeitsbeschreibungVerantwortlich für die Betreuung von Studierenden, fachliche Unterstützung und Mentoring, Übernahme von Vorlesungen und Prüfungsaufsicht, Koordination von Projekten und akademischen Veranstaltungen.
Eingesetzte QualifikationenBildungskoordinator, Mentor im Bildungsbereich
10/2012 – 9/2016
Tätigkeitsbeschreibung
Entwicklung eines unternehmensspezifischen CRM-Systems, Konzeption des Frontend-Designs, Implementierung eines effizienten Datenmanagements.
• Implementierung neuer Features mit C# und ASP.NET, um die Funktionalität und Benutzerfreundlichkeit des Systems zu erweitern.
• Konzeption und Entwicklung eines Monitorings mit HTML und CSS, das eine visuelle Analyse und Echtzeitüberwachung von Messdaten ermöglichte.
ASP.NET, C#, HTML, SQL
Ausbildung
Köln
Köln
Über mich
Weitere Kenntnisse
AWS (EC2, S3, Lambda, IAM, RDS, EKS)
Google Cloud Platform (BigQuery, GKE, Cloud Functions)
Cloud-native Architektur & Migration
Kubernetes & Container-Orchestrierung
Kubernetes (Deployment, Helm, RBAC, Networking)
Containerisierung mit Docker
Cluster-Management & Service-Mesh
CI/CD & DevOps
CI/CD mit GitLab CI, ArgoCD, Jenkins
Infrastructure as Code (Ansible, Terraform, Helm)
Monitoring & Observability (Prometheus, Grafana)
Data Engineering & ETL
Entwicklung von skalierbaren ETL-Pipelines
Datenintegration & -transformation
Batch- & Streaming-Prozesse (Apache Airflow, Kafka)
Big Data & Machine Learning
Recommender-Systeme & ML-Pipelines (Scikit-Learn, MLflow)
Apache Spark für verteilte Datenverarbeitung
Datenanalyse mit Pandas & SQL
Datenbanken & Storage
Relationale DBs: PostgreSQL, MySQL
Object Storage: AWS S3, NetApp StorageGRID
Datenmodellierung & Performance-Tuning
Programmiersprachen
Python (Data Engineering, ML, Backend)
C# (u. a. für Enterprise-Integration)
Java (Spring Boot, Microservices)
Persönliche Daten
- Deutsch (Muttersprache)
- Englisch (Fließend)
Kontaktdaten
Nur registrierte PREMIUM-Mitglieder von freelance.de können Kontaktdaten einsehen.
Jetzt Mitglied werden