freiberufler Senior AI & Data Engineer | Self-hosted LLM Serving & Data Platforms auf Kubernetes auf freelance.de

Senior AI & Data Engineer | Self-hosted LLM Serving & Data Platforms auf Kubernetes

zuletzt online vor 3 Tagen
  • auf Anfrage
  • 22179 Hamburg
  • Europa
  • de  |  en  |  fr  |  vi
  • 01.10.2026
  • Contract ready

Kurzvorstellung

Ich baue KIs, die im Haus laufen: self-hosted private LLMs auf Kubernetes, ohne dass Daten das Unternehmen verlassen. Dazu Data Engineering (Airflow, Spark, Kafka) und Cloud (AWS, Azure, STACKIT). 8+ Jahre, Sofort verfügbar. Let's Talk!

Geschäftsdaten

 Freiberuflich
 Steuernummer bekannt
 Berufshaftpflichtversicherung aktiv

Qualifikationen

  • Data Engineer2 J.
  • Kubernetes3 J.
  • Python4 J.
  • Amazon Web Services (AWS)
  • DevOps2 J.
  • Large Language Models2 J.
  • Microsoft Azure
  • MLOps
  • SQL2 J.
  • Terraform

Projekt‐ & Berufserfahrung

AI Engineer // Self-hosted Image-to-Video GenAI-Service (Festanstellung)
Kundenname anonymisiert, Köln
3/2026 – 8/2026 (6 Monate)
Medienbranche
Tätigkeitszeitraum

3/2026 – 8/2026

Tätigkeitsbeschreibung

AUFGABEN
▸ Ausrollen eines Wan 2.2-Modells zur Umwandlung von Bildern in Videos (Hugging Face Diffusers) hinter einem FastAPI-Dienst
▸ Bereitstellung des AWS-GPU-Knotens nach Bedarf – dieser wurde nur bei einer Generierungsanforderung hochgefahren und anschließend wieder heruntergefahren, sodass GPU-Kosten nur bei tatsächlicher Nutzung anfallen
▸ Containerisierung des Dienstes (PyTorch / CUDA) und Bereitstellung in Kubernetes mit GPU-Scheduling (nvidia.com/gpu), Modell-Caching und Velero-Backups
▸ Anwendung von CPU-Offloading für das Modell, sodass das 14-Milliarden Parameter Modell auf eine einzelne AWS-GPU-Instanz passt, wodurch der GPU-Ressourcenbedarf und die Kosten reduziert werden
▸ Die AWS-GPU-VM wurde über WireGuard in eine bestehende Multi-Cloud-Kubernetes-Landschaft integriert und das Modell als interner Dienst bereitgestellt
▸ Es wurde eine Chainlit-Weboberfläche zum Hochladen eines Bildes und zur Vorschau des generierten Clips bereitgestellt

ERGEBNIS
Die GPU wird nur bei Bedarf abgerechnet (keine Kosten für Leerlauf/API) · Es wurden Clips von ca. 5 Sekunden auf einer einzigen GPU generiert · Die Daten bleiben vollständig im eigenen Haus

Eingesetzte Qualifikationen

Amazon Web Services (AWS), Apache Kafka, Cloud Spezialist, DevOps, Docker, ETL, IT Ingenieur-Infrastruktur, Kubernetes, Large Language Models, Python, VPN

RAG Assistant on Technical Documentation (Festanstellung)
STACKIT, Heilbronn
9/2025 – 2/2026 (6 Monate)
IT & Entwicklung
Tätigkeitszeitraum

9/2025 – 2/2026

Tätigkeitsbeschreibung

AUFGABEN
▸ Automatisierte Datenerfassung: Der Auto Loader lädt neue und aktualisierte PDF-Dateien in Unity Catalog Volumes, koordiniert durch geplante Databricks-Jobs
▸ Komplexe PDF-Dateien werden mit KI-Funktionen (Text, Tabellen, Layout) analysiert, in Blöcke unterteilt und in Delta-Tabellen gespeichert
▸ Einbettung über einen Databricks Model Serving-Endpunkt, der einen Databricks Vector Search Delta Sync-Index speist, der sich bei Änderungen automatisch synchronisiert
▸ Abruf-Agent auf dem Databricks Agent Framework – hybride semantische + Stichwortsuche, Databricks-Grundmodell, fundierte Antworten mit Quellenangaben
▸ Auswertung und Nachverfolgung mit MLflow, Bereitstellung als automatisch skalierender Model-Serving-Endpunkt hinter einer Streamlit Databricks App
▸ End-to-End-Governance für den Unity Catalog: Zugriffskontrolle und Auditierung von Dokumenten, Tabellen und Indizes

ERGEBNIS
Ingenieure erhalten innerhalb von Sekunden selbstständig Antworten aus Tausenden von Seiten, die auf den eigenen Dokumenten des Kunden basieren und mit Quellenangaben versehen sind – vollständig unter der Governance von Databricks

Eingesetzte Qualifikationen

Apache Spark, Databricks, SQL, Database Developer, Python, Data Engineer, Kubernetes

Data & AI Engineer // STACKIT Presales (Festanstellung)
STACKIT, Heilbronn
3/2025 – 8/2026 (1 Jahr, 6 Monate)
IT & Entwicklung
Tätigkeitszeitraum

3/2025 – 8/2026

Tätigkeitsbeschreibung

AUFGABEN
▸ Präsentation der Daten- und KI-Dienstleistungen von STACKIT bei potenziellen Kunden
▸ Leitung von Anforderungs Workshops, meist vor Ort, um die Kundenbedürfnisse zu erfassen
▸ Einrichtung von Demonstrationsumgebungen und Proof-of-Concepts auf STACKIT, in der Regel Data Lakehouse mit optionalen, selbst gehosteten Zusatzkomponenten
▸ Durchführung von Kostenanalysen, wobei der Kundenbedarf auf unsere Infrastruktur und Preisgestaltung abgebildet wurde

ERGEBNIS
Umsetzung der technischen Anforderungen potenzieller Kunden in konkrete, kalkulierte Lösungsvorschläge auf STACKIT

Eingesetzte Qualifikationen

Bedarfsplanung, Cloud (allg.), Data Engineer, ETL, Python

AI Engineer // Conversational Analytics Agent (Festanstellung)
Kundenname anonymisiert, Heilbronn
2/2025 – 8/2026 (1 Jahr, 7 Monate)
Medienbranche
Tätigkeitszeitraum

2/2025 – 8/2026

Tätigkeitsbeschreibung

AUFGABEN
▸ Bereitstellung von Self-Service-Analysen mit AI/BI Genie, dem nativen Chat von Databricks, der Fragen in natürlicher Sprache in SQL umwandelt, der von Haus aus schreibgeschützt ist und unter den jeweiligen Unity-Catalog-Berechtigungen jedes Benutzers läuft
▸ Modellierung einer kuratierten semantischen Ebene – geregelte Ansichten, Metrikdefinitionen und vertrauenswürdige Assets (von Experten validierte Beispielabfragen und Unity-Catalog-Funktionen mit ausführlichen Kommentaren), damit Genie Geschäftsbegriffe der richtigen SQL zuordnet, anstatt zu raten
▸ Durchsetzung der Governance im Unity Catalog – schreibgeschützte SELECT-Berechtigungen, Zeilenfilter und Spaltenmasken, damit Benutzer nur zulässige Daten sehen, sowie vollständige Audit-Protokollierung über Systemtabellen
▸ Erstellung einer Benchmark-Suite mit ca. 300 Geschäftsfragen und Referenzabfragen, um die Antwortgenauigkeit von Release zu Release zu verfolgen und zu verbessern, auf Azure Databricks (EU-Region, Westeuropa) mit einem SQL-Warehouse in passender Größe

ERGEBNIS
Geschäftsanwender bearbeiten ihre routinemäßigen Datenanfragen selbstständig direkt im Chat, anstatt sich beim Datenteam anzustellen, wodurch das Team von Ad-hoc-Anfragen entlastet wird

Eingesetzte Qualifikationen

Data Warehousing, Document Retrieval, It-Governance, Large Language Models, Python, SQL

AI Engineer // Private LLM Assistant (Festanstellung)
STACKIT, Heilbronn
7/2024 – 1/2025 (7 Monate)
IT & Entwicklung
Tätigkeitszeitraum

7/2024 – 1/2025

Tätigkeitsbeschreibung

AUFGABEN
▸ Bereitstellung des Qwen 3.5 Inferenzmodells über vLLM (OpenAI kompatible API) auf Kubernetes mit GPU-Scheduling und im PVC zwischengespeicherten Modellgewichten
▸ Optimierung von vLLM für gleichzeitige Auslastung und Latenz gering zu halten
▸ Bereitstellung einer selbst gehosteten OpenWebUI als Chat-Frontend für den OpenAI-kompatiblen Endpunkt
▸ Zentrale Verwaltung von Zugriffen und Berechtigungen über OIDC bzw. OAuth2 mittels eines selbst gehosteten Keycloak, der mit den Anwendungen föderiert ist
▸ Bereitstellung des GPU Knotens nach Bedarf und Integration in die bestehende Multi Cloud Kubernetes Landschaft, wobei Daten und Inferenz vollständig intern verbleiben.

ERGEBNIS
Das Unternehmen erhält einen internen Assistenten für juristische Recherchen und die Erstellung von Schriftsätzen, vertrauliche Falldaten verlassen niemals die eigene Infrastruktur, und die Antworten werden auch bei gleichzeitiger Nutzung schnell bereitgestellt

Eingesetzte Qualifikationen

Document Retrieval, Front End, Identitätsmanagement, Large Language Models, Machine Learning, React (JavaScript library)

Cloud & Data Engineer // Multi-Tenant Data Lakehouse (Festanstellung)
STACKIT, Heilbronn
11/2023 – 6/2024 (8 Monate)
IT & Entwicklung
Tätigkeitszeitraum

11/2023 – 6/2024

Tätigkeitsbeschreibung

AUFGABEN
▸ Mitgestaltung der Architektur des mandantenfähigen Lakehouse: Dremio (Abfrage-Engine), Apache Airflow zur Orchestrierung von Apache Spark Jobs und JupyterHub (Entwicklungsplattform), ausschließlich Kubernetes
▸ Automatisierung der idempotenten, wiederholbaren Bereitstellung von Dremio über Helm und Terraform, um eine zuverlässige Bereitstellung von Mandanten in großem Maßstab zu gewährleisten
▸ Aufbau des Kunden-Onboarding-Prozesses, Bereitstellung isolierter Self-Service-Mandanten mit hoher Verfügbarkeit und SLA-Garantien
▸ Einrichtung von GitOps-Bereitstellung (ArgoCD, Azure DevOps), Secret-Management (External Secrets) und Observability (Prometheus, Grafana)

ERGEBNIS
STACKIT kann seinen Cloud Kunden ein vollständig verwaltetes Self-Service Data Lakehouse anbieten, ausschließlich auf Kubernetes basierend und mandantenfähig, wobei neue Mandanten zuverlässig und wiederholbar bereitgestellt werden und das System auf Tausende skalierbar ist, mit hoher Verfügbarkeit und SLA

Eingesetzte Qualifikationen

Apache Spark, Cloud (allg.), Data Warehousing, Databricks, DevOps, DevOps (allg.), Infrastrukturarchitektur, Kubernetes, Python, SQL

Data & Cloud Engineer // National Medication Data Hub (Festanstellung)
Kundenname anonymisiert, Berlin
3/2023 – 10/2023 (8 Monate)
Gesundheitswesen
Tätigkeitszeitraum

3/2023 – 10/2023

Tätigkeitsbeschreibung

AUFGABEN
▸ Erfassung der Kundenbedürfnisse und Umsetzung in konkrete technische Anforderungen
▸ Aufbau der Datenerfassung: Abfrage mehrerer Quellen für medizinische Daten, Medikamentendaten und Patientendaten in unterschiedlichen Intervallen über Airflow, Zwischenablage über SFTP und Speicherung in einem Data Lakehouse als Iceberg Tabellen
▸ Modellierung spezialisierter Data Marts in Dremio, die sensible Informationen zurückhielten und detaillierte Zugriffsrechte durchsetzen
▸ Bereitstellung aller Anwendungen (einschließlich FastAPI-Backend) in Kubernetes über Helm mittels CICD Pipelines

ERGEBNIS
Ein auf Stichproben basierendes Verfahren wurde durch eine präzise, landesweite Datenzentrale für den Medikamentenverbrauch ersetzt, sensible Patientendaten werden durch maskierte Datenpools und eine detaillierte Zugriffskontrolle geschützt

Eingesetzte Qualifikationen

Cloud Computing, Cyber Security Engineer, Databricks, DevOps, ETL, Kubernetes, Python

Cloud & Data Engineer // Kubernetes-Native IoT Data Platform
Kundenname anonymisiert, Hamburg
7/2022 – 2/2023 (8 Monate)
Chemieindustrie
Tätigkeitszeitraum

7/2022 – 2/2023

Tätigkeitsbeschreibung

AUFGABEN
▸ Das gesamte System eigenhändig konzipiert und eingerichtet, vollständig als Code und über GitOps bereitgestellt
▸ On-Site Listener eingerichtet, die Geräte Telemetrie über einen VPN-Tunnel an STACKIT übermittelten
▸ Telemetrie Daten (MQTT) durch einen Apache Kafka Cluster gestreamt und über Consumer in einem Iceberg Lakehouse gespeichert, Abfragen mit Trino
▸ Kameraaufnahmen als MP4 mit einer TTL von 72 Stunden im S3-Objektspeicher erfasst
▸ Föderierte Authentifizierung mit Keycloak / OAuth2, Berechtigungen werden zentral festgelegt und an die einzelnen Apps weitergegeben
▸ Einrichtung der Überwachung mit Prometheus und Grafana sowie von Daten-Dashboards in Apache Superset

ERGEBNIS
Das Institut erhält einen sicheren Echtzeit-Überblick über seine verteilten Feldsensoren und Aktoren vollständig Kubernetes-nativ und über GitOps reproduzierbar

Eingesetzte Qualifikationen

Apache Kafka, Cyber Security, Internet of Things (IoT), Kubernetes, Python, VPN

Data Engineer // Advertising Analytics Platform
RTL Group, Köln
11/2021 – 6/2022 (8 Monate)
Medienbranche
Tätigkeitszeitraum

11/2021 – 6/2022

Tätigkeitsbeschreibung

AUFGABEN
▸ Konsolidierung fragmentierter Werbe- und Zielgruppendatenquellen und deren Modellierung im BigQuery-Data-Warehouse
▸ Erstellung von ETL-Pipelines in Airflow (Cloud Composer) zur planmäßigen Erfassung, Bereinigung und Transformation von Kampagnendaten
▸ Bereitstellung mehrstufiger GCP (Google Cloud)-Projektumgebungen (Dev/Stage/Prod) als reproduzierbare „Infrastructure-as-Code“ mit Terraform
▸ Entwicklung eines Python-FastAPI-Dienstes, um BigQuery-Daten für das Analytics-Frontend bereitzustellen
▸ Einrichtung der DevOps-Bereitstellung: GitLab CI, das alle Dienste auf Google Kubernetes Engine (GKE) bereitstellt

ERGEBNIS
Bessere Verwaltung von Anzeigenplatzierungen und Zielgruppenansprache · Werbekunden erhielten einen klaren Einblick in die Werbewirkung und die Budgetleistung pro Kampagne

Eingesetzte Qualifikationen

Big Data, Data Engineer, DevOps, ETL, Git, Google Cloud, Infrastrukturarchitektur, Kubernetes, Python

Zertifikate

STACKIT University - Cloud Engineer
STACKIT University
2026
Azure - Data Engineer Associate
Microsoft
2023
Azure - Data Scientist Associate
Microsoft
2022
Astronomer Certification for Apache Airflow
Astronomer
2022
AWS - Solutions Architect Associate
Amazon
2021
Certified Kubernetes Application Developer (CKAD)
Linux Foundation
2021
Azure - Developing Solutions for Azure
Microsoft
2021

Ausbildung

Informatik Studium
Master of Science
Universität des Saarlandes
2020
Saarbrücken
Informatikstudium
Bachelor of Science
Universität des Saarlandes
2018
Saarbrücken

Über mich

// SAY HELLO! 60 Sekunden Vorstellungsvideo: -Hyperlink entfernt-

---

GenAI & LLM Serving
Private LLMs und Vision-Modelle produktionsreif auf Kubernetes betreiben (u. a. vLLM), Daten bleiben im Haus.

Kubernetes & Cloud Native Infrastruktur
Design und Betrieb Kubernetes nativer Plattformen über mehrere Clouds, GitOps-basiert (Terraform, Argo CD).

Data Engineering
Zuverlässige, skalierbare ETL Datenpipelines für Real-time und Batch (Airflow, Spark, Kafka, dbt).

AI/ML & MLOps
KI-Workloads vom Prototyp in stabile, beobachtbare Produktion (MLflow, KServe, PyTorch).

Cloud-Plattformen
Skalierbare, resiliente Infrastruktur auf AWS, Azure, GCP und STACKIT.

IaC & DevOps
Automatisierte Build-, Test- und Release-Prozesse per Infrastructure as Code und CI/CD.

Security & Governance
Zugriffskontrolle und Compliance von Anfang an mitgedacht (Keycloak, Entra ID).

Visualisierung & Monitoring
Observability- und Dashboard-Stacks für Betrieb und Daten (Grafana, Prometheus, Superset).

Sprachen & Frameworks
Python (FastAPI), SQL, C++, dazu Go, Java.

Architektur & Technische Leitung
Systeme von der Idee bis zur Produktion konzipieren und Teams führen, inkl. Workshops und Presales.

Persönliche Daten

Sprache
  • Deutsch (Muttersprache)
  • Englisch (Fließend)
  • Französisch (Grundkenntnisse)
  • Vietnamesisch (Grundkenntnisse)
Reisebereitschaft
Europa
Arbeitserlaubnis
  • Europäische Union
Home-Office
bevorzugt
Profilaufrufe
116
Berufserfahrung
6 Jahre und 3 Monate (seit 07/2020)

Kontaktdaten

Nur registrierte PREMIUM-Mitglieder von freelance.de können Kontaktdaten einsehen.

Jetzt Mitglied werden