Senior / Lead Data Engineer & Data Platform Architect (Databricks, Azure, GCP, LLM/RAG)
- Verfügbarkeit einsehen
- 0 Referenzen
- 60€/Stunde
- 01-100 Warschau
- Europa
- pl | en
- 12.11.2026
Kurzvorstellung
Qualifikationen
Projekt‐ & Berufserfahrung
4/2025 – offen
Tätigkeitsbeschreibung
Lead / Architekt: Plattform für Sensor-Telemetrie in Rechenzentrumsräumen und Filialen (Temperatur, Luftfeuchte, Strom, Luftqualität) sowie Gerätezustand von Geldautomaten. Vom Proof of Concept in die Produktion in rund 9 Monaten (Aufbau ca. 3 Monate, danach Change-Prozess und Security Review der Bank), anschließend Rollout auf weitere Standorte; Verantwortung für Architektur, Phasenplan und Go-live mit Infrastruktur-, Security- und Betriebsteams.
• Datenfluss: Geräte und Gateways (IoT Edge mit lokaler Pufferung) → IoT Hub (DPS, X.509 je Gerät, Routing) → Event Hubs → Azure Data Explorer; Update Policies parsen, validieren und rechnen Einheiten um; Materialized Views für 1-Minuten-, 15-Minuten- und Stunden-Rollups sowie den letzten Wert je Sensor; Dashboards, Alerts und eine Lese-API
• Je Standort-Gateway rund zehn Quellen (Umweltsensoren, Stromzähler, Geldautomaten-Telemetrie, Kamera-Events); Bilder und Videos blieben in Blob/ADLS, in ADX nur Metadaten und Links
• Azure Functions in Python für das Dekodieren von Hersteller-Payloads, Synchronisierung der Gerätestammdaten und Schwellwert-Alerts; fehlerhafte Nachrichten in eine Quarantäne-Tabelle mit Grund
• Späte, doppelte und ungeordnete Messwerte: Deduplizierung über Gerät, Zeitstempel und Sequenz, Event Time getrennt von Ingestion Time, Replay und Backfill aus Event Hubs Capture in ADLS
• Retention und Kosten: kurze Retention für Rohdaten, längere für typisierte Daten, Rollups über Jahre; Batching-Policies für Latenz vs. Kosten abgestimmt
• Alles als Code: Terraform für IoT Hub, DPS, Event Hubs, ADX, Functions, Key Vault und Identitäten; KQL-Schema als idempotente Skripte in Git, Deployment über Azure DevOps (dev → test → prod)
• Betrieb: Azure-Monitor-Alerts (Ingestion-Fehler, Consumer Lag, Throttling, stille Geräte), Runbooks und Übergabe an das Support-Team
Big Data, ETL, SQL, Continuous Delivery, Continuous Integration, DevOps, Streaming, Git, Python, Cloud Computing, Data Engineer, Microsoft Azure, Internet of Things (IoT), Datenarchitektur
1/2024 – 3/2025
Tätigkeitsbeschreibung
Lead der Pipelines für Security-Logdaten auf Azure: nach rund 7 Monaten in Produktion, danach Anbindung weiterer Quellen bis zur Übergabe.
• Ingestion-Pipelines in Azure Data Explorer mit Normalisierung und Schemadefinition, als Datenbasis auch für KI-Agenten
• KQL für Alert-Anreicherung, Event-Korrelation und Threat Hunting
• Anbindung von Logquellen an Microsoft Sentinel und ADX mit Datenqualitätsprüfungen schon bei der Ingestion
• Routing und Transformation mit Cribl, Workflows mit Logic Apps, Event Hubs, Azure Functions in Python für API-basierte Quellen
• Python-Automatisierung und systemübergreifende API-Aufrufe; Defender und Entra ID als Quellen und für Zugriffe
• Infrastruktur mit Terraform, Deployments über Azure DevOps
Big Data, ETL, DevOps, Cyber Security, Streaming, Python, Cloud Computing, Data Engineer, Microsoft Azure, Representational State Transfer (REST)
1/2023 – 1/2024
Tätigkeitsbeschreibung
Lead Data Engineer für Ereignisse und Bildmaterial von Sicherheitskameras an Geldautomaten und Filialen (Erkennung durch Herstellersoftware auf Edge-Boxen): Manipulationen, an Geldautomaten zurückgelassene Gegenstände und Warteschlangen am Eingang, zusammen mit Beweisbildern innerhalb von Sekunden an einer Stelle für die Teams Physische Sicherheit und Filialbetrieb.
• Event-Pfad: Edge → Kinesis Data Streams → Python-Lambdas (Validierung, Anreicherung Kamera → Standort → Zone, Regeln, Alerts; Partial Batch Failures, DLQ, Upserts) → Aurora PostgreSQL hinter einem FastAPI-Service für das App-Team
• Medien-Pfad: Keyframes und kurze Clips nach S3 → SQS → Python-Worker auf ECS Fargate (ffmpeg, OpenCV: Ausschnitte, Gesichtsunschärfe, Thumbnails); Originale in einem gesperrten Bucket mit kurzer Retention
• Historie: Firehose → S3 (Parquet) → Snowpipe → Snowflake; Streams und Tasks für MERGE in Fakten- und Dimensionstabellen, dbt-Marts
• Infrastruktur mit AWS CDK in Python (Stacks je Schicht, eigene Constructs, cdk-nag, Tests mit pytest, cdk diff bei jedem PR, dev → test → prod)
• Qualität und Betrieb: Schema-Verträge mit pydantic, Quarantäne-Bucket, stündlicher Abgleich Stream vs. Aurora vs. Snowflake, CloudWatch-Alarme, Runbooks
Big Data, ETL, Postgresql, SQL, Continuous Integration, Bildverarbeitung, Opencv, Streaming, Python, Cloud Computing, Snowflake, Data Engineer, Amazon Web Services (AWS), Representational State Transfer (REST)
5/2022 – offen
Tätigkeitsbeschreibung
Externer Senior Data Engineer (B2B über einen Dienstleister) in der Datenorganisation der Bank, in mehreren Projekten auf Google Cloud, Databricks/AWS und Azure. Technischer Design-Lead: Architekturentscheidungen, Code-Reviews, Mentoring von Junior- und Mid-Level-Engineers (Team von 3), Anforderungsaufnahme mit den Fachbereichen; tägliche Arbeit mit KI-Coding-Assistenten (Claude Code). Die Lead-Rollen für Security-Log-Pipelines, Sensor-Telemetrie und Kamera-Events stehen als eigene Projekte im Profil.
Weitere Projekte in dieser Zeit:
• Datenplattform und Reporting auf GCP: BigQuery und Cloud Composer (Airflow), Python-DAGs mit Monitoring und E-Mail-Alerting, kuratierte Data Assets und Qlik-Dashboards für über 5.000 Nutzer; End-to-End von den Anforderungen über Dokumentation und Freigaben bis zum Release
• Databricks: Migration von über 100 Workloads von Teradata nach Databricks auf AWS (Delta Lake, Unity Catalog); Unity Catalog mit Katalogen je Umgebung, Rechten nur für Gruppen, Row Filters und Column Masks; Spark-Tuning (Broadcast Joins, AQE, Salting, OPTIMIZE/Z-Order, passend dimensionierte Job-Cluster)
• Azure Databricks: konfigurationsgetriebene Bronze/Silver/Gold-Pipelines über ADLS (Data Factory, Databricks Jobs, MERGE-Loads), CI/CD mit Azure DevOps und Terraform; Produktionssupport mit Alerting, Reruns, Backfills und Runbooks
• Azure-Plattform-Engineering: Databricks-Workspaces mit VNet Injection in Hub-and-Spoke-Netzen, Private Endpoints und Private DNS, Entra ID (Managed Identities, Workload Identity Federation, PIM), wiederverwendbare Terraform-Module, Azure-DevOps-YAML-Templates mit Freigaben, Tooling in Python und PowerShell
• Data Warehouse mit Data Vault (Hubs, Links, Satelliten) und Sternschema-Marts, dbt und Airflow auf Azure Databricks
• Lakehouse auf BigQuery: Bronze/Silver/Gold-Datasets auf GCS und BigLake, dbt, Dataproc (PySpark), Terraform, GitHub Actions, Policy Tags, Row Access Policies, Cloud-DLP-Scans; dbt-Standards und Templates für Domain-Teams
• Golden Record je Organisation über Quellen ohne gemeinsamen Schlüssel: dbt, Entity Resolution, Survivorship, Crosswalk; Python-API-Konnektoren, Fivetran, Looker Studio
• Microsoft Fabric: Lakehouses je Schicht in OneLake, metadatengetriebene Data-Factory-Pipelines, Sternschemata hinter Power-BI-Modellen im Direct-Lake-Modus, Deployment Pipelines
• Cloudera Data Platform auf AWS: Betrieb von Impala und Hive über einem S3-Data-Lake, Migration auf Apache Iceberg, Apache Ranger, Amazon EKS mit Helm, Automatisierung mit Terraform, Python und Bash
• GenAI/RAG: RAG-Dienst über interne Prozessdokumente (Parsing, Chunking, Embeddings, Vektorsuche), Evaluierung und Guardrails, Prompt- und Modellversionierung, Monitoring von Latenz und Token-Kosten, PII-Schwärzung; Security Reviews bestanden
• LLM-gestützte Anreicherung von Firmen-Referenzdaten: öffentliche Quellen zuerst (GLEIF, Register, Wikidata), LLM mit JSON-Schema und pydantic-Validierung, Gold-Set-Evaluierung, Review-Queue für unsichere Werte
• Knowledge Graph und GraphRAG: OWL, SKOS und SHACL, Neo4j mit Graph Data Science, Benchmark NER vs. LLM vs. hybride Extraktion
• Semantische Schicht für Finanzkennzahlen auf Snowflake (Semantic Views, Cortex Analyst), Definitionen als YAML in Git mit Review-Workflow, MCP-Server für KI-Agenten unter der Rolle des Aufrufers
• ML und MLOps: Churn- und Propensity-Modelle (LightGBM, SHAP), Vertex AI Pipelines, Model Registry, Batch-Scoring und Drift-Monitoring; ML-Plattform auf Azure Databricks mit MLflow, Model Serving, Asset Bundles und GitLab CI
Amazon Web Services (AWS), Apache Hadoop, Apache Kafka, Apache Spark, Azure Synapse Analytics, Bash Shell, Big Data, Cloud Computing, Continuous Delivery, Continuous Integration, Data Engineer, Data Science, Data Vault, Data Warehousing, Databricks, Daten-Governance, Datenarchitektur, Datenmodelierung, DevOps, Docker, ETL, Generative KI, Git, Google Cloud, Kubernetes, Large Language Models, Machine Learning, Microsoft Azure, Natural Language Processing, Pandas, Power Bi, Python, Representational State Transfer (REST), Scikit-learn, Snowflake, SQL, Tableau, Vektordatenbank, Windows Powershell
1/2021 – 4/2022
Tätigkeitsbeschreibung
Teamleitung (3 Personen) im Data-Warehouse-Programm eines großen Versicherers (Projekt über Netcompany).
• Datenbankarchitektur, ETL mit T-SQL und SSIS, CI/CD mit Jenkins und Flyway, Reporting-Dashboards
• Data-Warehouse-Design und Migration bestehender Lösungen in die Google Cloud (Cloud SQL, ETL/ELT mit Python)
• Integration von Guidewire PolicyCenter/BillingCenter und Salesforce in das Warehouse und in Altsysteme; Datenübernahme aus PostgreSQL und MongoDB
• ELT mit Azure Data Factory und Databricks über Azure Data Lake; CI/CD mit Azure DevOps und Terraform
• REST/JSON-API-Integrationen in Python; Grundlagen Entra ID, IT-Sicherheit und Netzwerke
• Feature-Engineering und ML-fähige Datenpipelines in Python und SQL auf Google Cloud für die Data-Science-Teams des Kunden; produktives Batch-Scoring mit Zeitplanung, Monitoring und Übergabe an nachgelagerte Systeme
• ETL/ELT-Schichten mit Datenqualitätsprüfungen für Analytics und Data Science
• Anforderungsaufnahme, Präsentation von Konzepten und Ergebnissen beim Kunden, Dokumentation und Wissenstransfer an die Kundenteams
Databricks, Reporting, Transact-Sql, Microsoft SQL Server Integration Services (SSIS), Mongodb, Postgresql, DevOps, Salesforce.Com, Pandas, Scikit-learn, Jenkins, Machine Learning, Microsoft Azure, Representational State Transfer (REST), ETL, Google Cloud, Python, SQL
1/2019 – 12/2020
Tätigkeitsbeschreibung
Data-Warehouse-Programm eines großen Versicherers (Projekt über Netcompany): Design des Warehouse, Migration in die Cloud und Integration neuer und bestehender Systeme.
• Aufbau des Warehouse auf Microsoft SQL Server: dimensionale Modellierung, ETL mit SSIS, Optimierung von T-SQL
• Datenladungen, Extrakte und Backups für Salesforce; Arbeit mit Guidewire Studio, BillingCenter und PolicyCenter
• Integration neuer und bestehender Systeme mit SAS DI, SAS DDS und SAP Data Services; Datenübernahme in den Azure Data Lake
• Testautomatisierung mit Leapwork, Datenbank-Deployments mit Flyway und Jenkins
• Arbeit in agilen Lieferteams mit den Analysten des Kunden: Anforderungen in funktionierende ETL-Strecken umgesetzt
Transact-Sql, Microsoft SQL Server Integration Services (SSIS), Microsoft SQL-Server (MS SQL), SAS (Software), SQL, Salesforce.Com, Agile Methodologie, SAP DS (BODS), Jenkins, Microsoft Azure, Data Warehousing, ETL
1/2018 – 12/2018
Tätigkeitsbeschreibung
Data Analyst und SQL-Entwickler im Versicherungsumfeld.
• T-SQL- und PL/SQL-Berichte für Analysten, fachliche Anforderungen in SQL umgesetzt; Berichte in einer internen C#-Anwendung
• Pflege und Korrektur von Oracle-Daten für fachliche Anforderungen
• Datenqualitätsprüfungen und Abgleich von Kennzahlen über mehrere Quellsysteme
• Automatisierung wiederkehrender Datenaufbereitung mit PL/SQL und C#
Datenanalyse, Reporting, Oracle Database, C#, PL/SQL, SQL, Transact-Sql
2/2016 – 12/2017
Tätigkeitsbeschreibung
Marketing Manager mit Schwerpunkt Datenanalyse.
• Absatzprognosemodelle und statistische Analysen zur Anpassung des Verkaufs
• Neuronale Netze, Rough-Set-Analyse und Warenkorbanalyse für die Produktpositionierung
• Werkzeuge: Python (Anaconda), Statistica, SQL; Webshop auf WordPress/WooCommerce
Data Mining, Datenanalyse, SQL, Neuronale Netze, Machine Learning, Python, Wordpress, Marketing Manager
Zertifikate
Google Cloud
Google Cloud
Ausbildung
Technische Universität Warschau (Politechnika Warszawska)
Warschau
Über mich
Schwerpunkte:
• Lakehouse-Plattformen mit Databricks (Unity Catalog, Delta Lake, PySpark, Spark SQL), u. a. die Migration von über 100 Workloads von Teradata nach Databricks auf AWS
• Plattform-Engineering auf Azure: Hub-and-Spoke-Netzwerke, Private Endpoints, Entra ID, wiederverwendbare Terraform-Module, CI/CD mit Azure DevOps, GitHub Actions und GitLab CI
• Google Cloud: BigQuery, dbt, Cloud Composer (Airflow), Dataproc, Vertex AI
• Streaming und Telemetrie: Azure Data Explorer (KQL), IoT Hub, Event Hubs, Kinesis, Azure Functions, AWS Lambda
• Datenmodellierung: Data Vault, Sternschema, SCD2, Golden Record und Entity Resolution, semantische Schicht auf Snowflake
• GenAI und LLM-Datenengineering: RAG-Pipelines (Parsing, Chunking, Embeddings, Vektorsuche), Evaluierung, Guardrails, PII-Schwärzung, Knowledge Graphs und GraphRAG, MCP-Server für KI-Agenten
• MLOps: MLflow, Vertex AI Pipelines, Batch-Scoring, Drift-Monitoring
Als technischer Lead treffe ich Architekturentscheidungen, führe Code-Reviews durch und begleite Junior- und Mid-Level-Engineers. Den Code schreibe ich selbst und nutze dabei täglich KI-Coding-Assistenten (Claude Code). Data Governance – Berechtigungskonzepte, Maskierung sensibler Spalten, Lineage, Datenqualität – plane ich in regulierten Umgebungen von Anfang an mit ein.
Davor: Senior Data Consultant bei einem IT-Beratungsunternehmen (Teamleitung beim Aufbau eines Data Warehouse für einen großen Versicherer, SQL Server/SSIS, Migration in die Google Cloud) und Data Analyst bei einem Versicherer (T-SQL, PL/SQL, Oracle).
Zertifizierungen: Google Cloud Professional Data Engineer (2026); Google Cloud Professional Machine Learning Engineer in Vorbereitung.
Ich arbeite ausschließlich remote aus Warschau (MEZ), 40 Stunden pro Woche; zu Kick-offs reise ich gerne an. Projektsprache Englisch (C1), Muttersprache Polnisch.
---
English: Senior data engineer and data platform architect with 10 years of experience, mostly in banking and insurance. Since 2022 I have worked as an external contractor (B2B) for a global bank, building data platforms on Azure, AWS and Google Cloud from first design and proof of concept to production and handover. Focus: Databricks lakehouses (Unity Catalog, Delta Lake, PySpark), including a migration of 100+ workloads from Teradata to Databricks on AWS; Azure platform engineering with Terraform and Azure DevOps; BigQuery, dbt and Airflow on Google Cloud (certified Professional Data Engineer); streaming with ADX/KQL, Event Hubs and Kinesis; Data Vault and star-schema modelling; LLM/RAG data pipelines with evaluation and guardrails, knowledge graphs, MLOps with MLflow and Vertex AI. As technical lead I make architecture decisions, review code and mentor junior and mid engineers. Fully remote from Warsaw (CET), happy to travel for kick-offs.
Weitere Kenntnisse
Datenplattformen: Databricks (Unity Catalog, Delta Lake, Workflows, Asset Bundles, Model Serving, Vector Search, Lakehouse Monitoring), Snowflake (Snowpipe, Streams & Tasks, Semantic Views, Cortex Analyst, Horizon), Microsoft Fabric (Lakehouse, Warehouse, OneLake, Dataflows Gen2, Power BI Direct Lake), Cloudera Data Platform (Impala, Hive, Apache Iceberg, Apache Ranger)
Verarbeitung und Orchestrierung: Apache Spark / PySpark, Spark SQL, Apache Airflow, dbt, Fivetran, SSIS, SAS DI, SAP Data Services
Streaming: Azure Data Explorer (KQL), Event Hubs, IoT Hub, IoT Edge, Azure Functions, Kafka, Kinesis
Datenmodellierung: Data Vault 2.0 (Hubs, Links, Satelliten), Sternschema, dimensionale Modellierung, SCD2, Medallion-Architektur, Golden Record / Entity Resolution / MDM, semantische Schicht und Metriken
Datenbanken: SQL Server (T-SQL), Oracle (PL/SQL), PostgreSQL, MongoDB, Neo4j (Cypher, Graph Data Science)
GenAI / KI: RAG, Embeddings, Vektorsuche, LLM-APIs, Prompting, Tool Use, Agenten, LLM-Evaluierung, Guardrails, PII-Schwärzung, strukturierte LLM-Ausgaben (JSON Schema, pydantic), Knowledge Graphs (RDF, OWL, SKOS, SHACL, SPARQL), GraphRAG, NER (spaCy, Hugging Face Transformers), MCP-Server
ML / MLOps: MLflow, Vertex AI Pipelines, Model Registry, Batch-Scoring, Drift-Monitoring, scikit-learn, XGBoost, LightGBM, CatBoost, SHAP, pandas, NumPy
DevOps / IaC: Terraform, Helm, Kubernetes, Docker, Git, Azure DevOps YAML, GitHub Actions, GitLab CI, Jenkins, Flyway, pytest, PowerShell, Bash
Security / Governance: Microsoft Sentinel, Defender, Cribl, Logic Apps, Zugriffskonzepte (RBAC), Row-Level Security, Spaltenmaskierung, Lineage, Datenqualität
BI: Power BI, Looker Studio, Qlik, Tableau
Sonstiges: Python, SQL, C#, REST APIs, FastAPI, Salesforce, Guidewire, Claude Code (KI-gestützte Entwicklung), agile Zusammenarbeit
Persönliche Daten
- Polnisch (Muttersprache)
- Englisch (Fließend)
- Europäische Union
Kontaktdaten
Nur registrierte PREMIUM-Mitglieder von freelance.de können Kontaktdaten einsehen.
Jetzt Mitglied werden
