Senior Data Engineer | GCP, BigQuery, Databricks, dbt
- Verfügbarkeit einsehen
- 0 Referenzen
- auf Anfrage
- 60487 Frankfurt am Main
- DACH-Region
- en | de
- 24.09.2026
- Contract ready
Kurzvorstellung
Geschäftsdaten
Qualifikationen
Projekt‐ & Berufserfahrung
10/2024 – offen
Tätigkeitsbeschreibung
Entwicklung von Agentic- und KI-Lösungen auf GCP (Vertex AI, Gemini) zur Automatisierung der Angebotserstellung (RFP) im Kundenservice – Reduzierung der manuellen Arbeit um 60 % und KI-Chat zur Identifizierung von Verkaufschancen.
Aufbau eines skalierbaren Data Marts (Airflow, dbt, BigQuery) mit Datenqualitätsprüfungen zur Verbesserung der Zuverlässigkeit der Analysen.
Entwicklung zentralisierter Terraform-Infrastruktur als Code (IaC) zur Standardisierung der Cloud-Infrastruktur und konsistenteren Deployments.
Implementierung von A/B-Tests und Canary-Releases für sicherere, zuverlässigere Produktions-Deployments.
Betrieb und Weiterentwicklung von Batch- und Streaming-Pipelines mit PySpark, Dataproc, Airflow und Dataflow nach BigQuery.
Tech Stack: GCP, BigQuery, Airflow, dbt, Terraform, Python, FastAPI, Pub/Sub, Vertex AI, Gemini, PySpark, Dataproc, Dataflow, GA4
Google Cloud, Python, Testen
nicht angegeben
3/2024 – 9/2024
TätigkeitsbeschreibungIntensives 6-monatiges Training in Google Cloud Platform (GCP) und fortgeschrittenen Data-Engineering-Mustern. Alle angestrebten Zertifizierungen mit erstem Versuch bestanden: Google Cloud Professional Data Engineer (April 2024), DevOps Engineer (Juni 2024), Machine Learning Engineer (August 2024). Schwerpunkt: Fortgeschrittene Vertex AI- und Generative-AI-Integration, MLOps, Datenarchitektur, Cloud-Sicherheit, Terraform IaC.
Eingesetzte QualifikationenGoogle Cloud
7/2022 – 2/2024
Tätigkeitsbeschreibung
Recommender Systems: Entwicklung skalierbarer Datenpipelines und REST-APIs auf Azure Kubernetes Service (AKS) zur Verbesserung der Kundenpersonalisierung im E-Commerce.
Tech Stack: Azure, AKS, Kubernetes, REST APIs
Microsoft Azure, Kubernetes
7/2022 – 2/2024
TätigkeitsbeschreibungEntwurf von Datenpipelines (FastAPI, Airflow, BigQuery) zur Verarbeitung von Nutzerdaten und Vorhersage der Programmreichweite, die gezielte Werbung ermöglichen.
Eingesetzte QualifikationenData Engineer
7/2022 – 2/2024
TätigkeitsbeschreibungEntwicklung eines Hochleistungs-REST-Clients für die QR- und foto-basierte Zahlungsabwicklung in ganz Deutschland.
Eingesetzte QualifikationenScala, Elasticsearch
7/2022 – 2/2024
Tätigkeitsbeschreibung
Predictive Maintenance: Aufbau von Pipelines zur Verarbeitung von 20 GB/Tag mit Azure Data Factory, Databricks und PySpark, die prädiktive Analysen für Geldzählmaschinen ermöglichen.
Tech Stack: Azure Data Factory, Azure Data Lake, Databricks, PySpark, Python
Databricks, Predictive Analytics
7/2021 – 6/2022
Tätigkeitsbeschreibung
Aufbau einer Echtzeit-Datenplattform auf GCP (BigQuery, Kafka, Dataflow) zur Vereinheitlichung von Daten aus mehreren Quellen – Analysen für 15+ Geschäftseinheiten.
Automatisierung von Ingestion-Workflows mit Airflow und Cloud Functions, Reduzierung der Pipeline-Ausfallzeit um 30 %.
Streaming-Ingestion von Salesforce-Daten über Kafka, Verarbeitung mit Dataflow und Bereitstellung kuratierter Datensätze in BigQuery.
Tech Lead im Team: Beseitigung technischer Engpässe und Erreichen der Liefermeilensteine.
Tech Stack: GCP (BigQuery, Dataflow, GCS, Cloud Functions, GKE), Confluent Kafka, Pub/Sub, Airflow, Terraform, Python, Scala, Apache Spark, Salesforce Bulk API
Apache Kafka, Google Cloud, Salesforce.Com
nicht angegeben
10/2018 – 6/2021
TätigkeitsbeschreibungBereitstellung skalierbarer Cloud- und Datenplattformen für Großunternehmen in den Branchen Automobil, Mobilität und Luftfahrt. Aufbau einer End-to-End-MLOps-Plattform zur Beschleunigung von ML-Experimenten, Modellversionierung und Experiment-Tracking. Entwicklung von IoT-Datenpipelines und Prognoselösungen für prädiktive Wartung und Nachfrageplanung. Architektur von microservice-basierten REST-Plattformen zur Bereitstellung von Daten und ML-Fähigkeiten als skalierbare Dienste. Ermöglichung der ML-Ops-Workflows von Daimler und der Prognosefähigkeiten von Lufthansa, Beschleunigung von Innovation im großen Maßstab.
Eingesetzte QualifikationenMicrosoft Azure, Databricks, Kubernetes, Apache Spark, Apache Kafka, SQL-Datenbankadministrator, Linux-Systemadministrator, Scala, Python, Pandas, Typescript
nicht angegeben
8/2005 – 8/2011
TätigkeitsbeschreibungBereitstellung einer webbasierten Versicherungsdienstleistungsplattform, die das End-to-End-Policenmanagement rationalisierte, die manuelle Arbeitsbelastung der Kundenbetreuung um ~70 % reduzierte und die operative Effizienz verbesserte. Verbesserung von Überwachungsplattformen für eine führende globale Finanzbörse, Stärkung der Betrugserkennungsfähigkeiten und Überwachung der regulatorischen Compliance. Automatisierung von SQL-Parsing- und Chat-Daten-Ingestions-Workflows zur Rationalisierung der Analyse.
Eingesetzte QualifikationenLinux-Systemadministrator, Spring Framework, Apache Struts, Oracle-Anwendungen, IBM DB2, SAS-Programmierer, Jquery
Ausbildung
Darmstadt
Pilani
Hyderabad
Über mich
Weitere Kenntnisse
Persönliche Daten
- Englisch (Muttersprache)
- Deutsch (Gut)
- Europäische Union
- Schweiz
Kontaktdaten
Nur registrierte PREMIUM-Mitglieder von freelance.de können Kontaktdaten einsehen.
Jetzt Mitglied werden