Data & AI Engineer

Data & AI Engineer (Databricks, Azure, GenAI/RAG). 6+ Jahre Data-Erfahrung, finanznaher Hintergrund

• Data Engineer
• Databricks3 J.
• Docker
• Generative KI
• Machine Learning
• Microsoft Azure
• Power Bi2 J.
• Python3 J.
• R (Programmiersprache)
• SQL4 J.

Data & AI Engineer mit ~3 Jahren Hands-on-Erfahrung in Databricks und einem finanznahen Hintergrund aus Banking, Insurance und makroökonomischer Forschung für institutionelle Investoren. Mein Schwerpunkt liegt auf zwei sich ergänzenden Stärken:

Aufbau und Migration von Data-Warehouse-Workloads auf die Databricks-Lakehouse-Plattform — robuste Ingestion- und Verarbeitungspipelines mit PySpark, Delta Lake und SQL, Medallion-Architektur, Unity Catalog.
Entwicklung produktiver GenAI-Lösungen auf Databricks — End-to-End-RAG-Pipelines (Chunking, Embeddings, Vector Search, Re-Ranking) und agentenbasierte Multi-Agent-Architekturen (Mosaic AI, Genie Spaces), bereitgestellt über OpenAI-kompatible APIs (FastAPI) und angebunden via MCP und OAuth 2.0.

Aktuell konzipiere und betreibe ich produktive Agentic-AI-Systeme, die mehrere spezialisierte Agents über einen zentralen, governten Endpoint orchestrieren — inklusive sicherer Authentifizierung (Azure Entra ID) und Integration in Unternehmens-Chat-Plattformen.
Auf der Data-Engineering-Seite habe ich Migrationen von Legacy-Data-Warehouses auf Databricks begleitet, automatisierte Reconciliation-Prozesse für Banking-Kunden gebaut und produktive API-Integrationspipelines (REST/SOAP) mit vollständiger Testabnahme dokumentiert.
Technischer Stack: Databricks (PySpark, Delta Lake, Unity Catalog), Python, SQL, Azure (ADF, ADLS, Entra ID, Key Vault), Terraform, FastAPI, LangChain, MLflow, Power BI, Git/Jira, CI/CD. Grundkenntnisse in GCP/BigQuery (praktische Erfahrung bei FocusEconomics).
Ich arbeite in regulierten Enterprise-Umgebungen mit Git-basierten Workflows, Jira-gestütztem Change-Management, Infrastructure as Code und formaler Kundenabnahme. Mathematik-Hintergrund (B.Sc. Wirtschaftsmathematik, TU Berlin, Schwerpunkt Statistik & Stochastik) gibt mir eine solide quantitative Basis für Datenmodellierung, Forecasting und statistische Auswertungen.
Sofort verfügbar für Freelance-Projekte, 100% remote bevorzugt, gelegentliche Vor-Ort-Termine möglich. Databricks Certified Data Engineer Professional in Vorbereitung (Prüfung Q3/2026).

GenAI & Agentic AI: RAG-Architekturen (Chunking, Embedding, Retrieval, Re-Ranking), Multi-Agent-Systeme, Mosaic AI Agent Framework, Genie Spaces, MCP (Model Context Protocol), OAuth 2.0, Prompt Engineering, LangChain, Vector Search, Embeddings.
Data Engineering: ETL/ELT-Pipelines, Medallion-Architektur (Bronze/Silver/Gold), Datenmodellierung (dimensional, relational), Data Warehousing, Data Lake/Lakehouse, Datenqualität & Validierung, Delta Lake, Unity Catalog.
Cloud & DevOps: Microsoft Azure (Azure Data Factory, ADLS Gen2, Azure SQL, Entra ID, Key Vault, Azure Functions), GCP/BigQuery (Grundkenntnisse), Terraform (Infrastructure as Code, inkl. Secret-Management in mehrstufigen Azure-DevOps-Pipelines), Docker, Git, CI/CD, Jira/Confluence.
Backend & APIs: FastAPI, REST/SOAP-API-Integration, OpenAI-kompatible Endpoints, Python (Pandas, PySpark).
Analytics & BI: Power BI (inkl. RBAC/Row-Level Security, Governance-Konzepte), Tableau, SQL, statistische Auswertungen (Regression, Klassifikation, Clustering, Hypothesentests), Forecasting.
MLOps: MLflow (Experiment Tracking, Model Registry, Monitoring), Model Versioning, produktive ML-Pipelines.
Branchenerfahrung: Banking (Nostro-Reconciliation, regulierte Compliance-Anforderungen), Insurance (ESG-Reporting, CSRD-Compliance, Marketing-Automation-Migration), makroökonomische Forschung für institutionelle Investoren, Healthcare/Insurance (Agentic-AI-Integration).
Zertifizierungen: Databricks Certified Data Analyst Associate, Databricks Fundamentals Accreditation, Databricks Certified Data Engineer Professional (in Vorbereitung, Prüfung Q3/2026), SAS Certified Specialist: Base Programming.
Ausbildung: B.Sc. Wirtschaftsmathematik, TU Berlin, Schwerpunkt Statistik & Stochastik.
Sonstiges: Selbstständige Tätigkeit unter mithelfer.ai (AI-Automatisierung für KMU, Statistikberatung), regelmäßiges freiberufliches Tutoring in Statistik und Programmierung.