Senior Data Engineer / Data Architect / Softwareentwickler
- Verfügbarkeit einsehen
- 2 Referenzen
- auf Anfrage
- Neuenhagen bei Berlin
- Europa
- sq | de | en
- 28.01.2026
- Contract ready
Kurzvorstellung
Geschäftsdaten
Qualifikationen
Projekt‐ & Berufserfahrung
11/2025 – offen
Tätigkeitsbeschreibung
Optimierung der bestehenden, unternehmensinternen Datenplattform und einer Reporting-Landschaft zur Unterstützung einer einheitlichen Sicht auf unternehmensrelevante Kennzahlen
• Optimierung der Datenarchitektur (Medallion) für eine bessere Entkopplung der Verarbeitungsschritte und bessere Transparenz und Reproduzierbarkeit
• Technische Qualitätssicherung der Datenverarbeitung in Databricks durch die Einführung von Schema Enforcement, Datenqualitätschecks und eine strukturierte Pipeline-Orchestrierung mit Azure Data Factory
• Professionalisierung und Automatisierung des Entwicklungs- und Deployment-prozesses durch die Integration von Git und GitHub Actions
• Fachliche Führung des Data Engineering Teams (3 Mitarbeitende)
• Leitung von Workshops mit dem Entwicklerteam zur Optimierung und Stabilisierung der Datenplattform und des Entwicklungsprozesses
• Aufnahme und Priorisierung neuer Anfragen, Pflege des Produktbacklogs
Keywords:
- Datenarchitektur
- Backend-Entwicklung, CI/CD
- Azure Cloud, Databricks
Apache Spark, Databricks, Datenanalyse, Power Bi, Powerapps, SQL, Continuous Delivery, Continuous Integration, Python, Data Engineer, Microsoft Azure, Product Owner
10/2024 – offen
Tätigkeitsbeschreibung
Project-Scope: Entwicklung einer Webapplikation und eines Power BI Dashboards zur Verarbeitung und Darstellung von Pricing- und Fahrzeugdaten im Wettbewerbsvergleich
• Fachliche Führung eines Entwicklerteams (7 Mitarbeitende) mit Verantwortung für Architekturkonzeption, Datenmodellierung und Backend-Entwicklung
• Entwicklung und Optimierung der Datenverarbeitungsschritte in Databricks
• Erstellung und Orchestrierung der ETL-Pipelines mit Databricks Jobs
• Performanceoptimierung, Testing, Fehlerbehebung
• Projektleitung, Stakeholder-Management, Begleitung während der Go-Live Phase
• Durchführung von Requirements Engineering und Beratung bei dem Solution Design
• Anwendung agiler Projektmanagement-Methoden, einschließlich Erstellung und Pflege des Produktbacklogs
Keywords
- Softwarearchitektur, Datenmodellierung
- Backend-Entwicklung
- Azure Cloud, Databricks
- Agiles PM, Requirements Engineering
Apache Spark, Backend Entwickler, Business Intelligence and Reporting Tools (BIRT), Cloud-Services, Confluence, Data Engineer, Data Science, Databricks, Datenanalyse, Datenarchitekt, Datenbankentwicklung, Datenmodelierung, ETL, Git, IT-Berater, IT-Projektleiter, Jira, Microsoft Azure, Power Bi, Python, Reporting, Requirements Engineer, Scrum, Softwareentwickler, Solution Architektur, SQL
9/2023 – 2/2024
Tätigkeitsbeschreibung
Projekt-Scope: Anwendung des unternehmensinternen, KI-basierten Knowledge Management Systems zur Informationssuche bei dokumentierten Servicefällen
• Fachliche Verantwortung für die Entwicklung neuer Features des unternehmensinternen, KI-basierten Q&A-Systems
• Onboarding und Verarbeitung neuer Datenformate, einschließlich Optimierung der Systemperformance bei großen Datenmengen (Big Data), in AWS
• Abstimmung und Integration der Schnittstellen zu externen IT-Systemen des Kunden, inklusive Verantwortung für die Systemanbindung
Keywords
- NLP & Generative KI
- Schnittstellenkonzeption, Systemintegration
- Backend-Entwicklung (Python)
- AWS & Azure Cloud
Python, Amazon Web Services (AWS), Apache Spark, Backend Entwickler, Confluence, Data Engineer, Databricks, Datenanalyse, Datenarchitekt, Datenbankentwicklung, Datenmodelierung, Generative KI, Git, Jira, Microsoft Azure, Natural Language Processing, Natural Language Understanding, Schnittstellenentwicklung, Softwareentwickler, SQL, System Architektur, Vektordatenbank
5/2023 – 9/2023
Tätigkeitsbeschreibung
Projekt-Scope: Entwicklung eines skalierbaren und konfigurierbaren Process Mining Analyse-Tools für Produktionsabläufe
• Konzeption und Entwicklung von ETL-Pipelines in Databricks zur Verarbeitung und Bereitstellung der Daten zur Visualisierung der Produktionsabläufe in einer Anlage mit Power BI
• Konzeption und Entwicklung einer Konfigurationslogik der ETL-Pipelines zur Anwendung des Tools auf verschiedene Produktionsanlagen und zur Datenaufbereitung für unterschiedliche Aggregationsebenen
• Agiles Projektmanagement, Kundenkommunikation, Requirements Engineering
• Dokumentation der Data Pipelines und deren Konfiguration
Keywords
- Process Mining & Business Intelligence
- Backend-Entwicklung, Big Data
- Azure Cloud, Databricks
- Agiles PM
Agile Methodologie, Apache Spark, Big Data, Business Intelligence and Reporting Tools (BIRT), Data Engineer, Data Mining, Data Science, Databricks, Datenanalyse, ETL, Git, Internet of Things (IoT), IT-Berater, IT-Projektleiter, Microsoft Azure, Power Bi, Python, Scrum, Softwaredokumentation, Softwareentwickler, Solution Architekt, Streaming
5/2022 – 4/2024
Tätigkeitsbeschreibung
Project-Scope: Entwicklung eines intelligenten Knowledge Management Systems, welches, basierend auf unstrukturierte Daten, in der Lage ist mithilfe von natürlicher Sprache (NLP) und generativer KI Fragen zu beantworten
• Fachliche Verantwortung für das Data Engineering einschließlich Onboarding, Verarbeitung und Vereinheitlichung von Inhalten aus verschiedenen Datenquellen (Dokumente in verschiedenen Formaten, relationale Datenbanken, Audio/Video)
• Fachliche Führung des Data-Engineering Teams (bis zu 5 Mitarbeitenden)
• Steuerung von externen Dienstleistern zur Produktentwicklung, Verbesserung der Systemstabilität und -qualität
• Konzeption und Entwicklung der ETL-Pipelines mit Lambda, Glue, ECS und Step Functions in AWS
• Konzeption und Entwicklung einer Graphdatenbank mit Amazon Neptune zur Speicherung und Abfrage von Daten und deren Beziehungen
• Entwicklung von JSON, XML und PDF Parsern zur Extraktion von relevanten Inhalten
• Integration eines Speech-to-Text LLM in die ETL-Pipelines zur Extraktion von Inhalten aus Audio- und Videodateien
• Entwicklung von Unit Tests (PyTest, unittest) und Testautomatisierung
• Konzeption der Architektur und der Schnittstellen zwischen den Produktmodulen sowie mit externen Systemen
• Definition des Produkts und Erstellung des Produkt-Backlogs
• Priorisierung der Arbeitspakete und Tracking des Entwicklungsfortschritts mit Jira
• Kommunikation zwischen Stakeholder und Entwicklerteam
• Dokumentation der Architektur und Produktmodule in Confluence
Keywords
- NLP & Generative KI
- Softwarearchitektur & Schnittstellen-konzeption
- Python-Entwicklung
- AWS Cloud
Python, Agile Methodologie, Amazon Web Services (AWS), Confluence, Continuous Integration, Data Engineer, Datenanalyse, Datenarchitekt, Datenbankentwicklung, Datenmodelierung, ETL, Generative KI, Git, GPT, IT-Berater, Jira, Json, Knowledge Management, Large Language Models, Natural Language Processing, Natural Language Understanding, Product Owner, Schnittstellenentwicklung, Scrum, Softwareentwickler, Solution Architekt, Solution Architektur, System Architektur, Technische Dokumentation, Vektordatenbank
2/2022 – 5/2022
Tätigkeitsbeschreibung
Projekt-Scope: Migration von on-prem MS SQL Datenbanken sowie Power BI Dashboards nach Microsoft Azure
• Fachliche Führung des Projektteams sowie Konzeption der Zielarchitektur (Medallion)
• Projektleitung inklusive Erstellung des Migrationsplans und Orchestrierung der Migration
• Datenmigration aus mehreren MS SQL Datenbanken nach Azure Data Lake
• Analyse bestehender Data Pipelines in Pentaho und Übersetzung dieser in ETL-Pipelines in Databricks
• Anpassungen der Power BI Dashboards und Anbindung an die Daten aus Azure Data Lake
• Dokumentation der Migrationsschritte, der Zielarchitektur sowie der Data Pipelines und deren Konfiguration in Confluence; Übergabe an das Wartungsteam
Keywords
- Architekturdesign, Cloudmigration
- Backend-Entwicklung
- Azure Cloud, Microsoft SQL Server, Databricks
- Agiles PM
Python, Solution Architektur, Agile Methodologie, Apache Spark, Backend Entwickler, Big Data, Business Intelligence and Reporting Tools (BIRT), Confluence, Data Engineer, Databricks, Datenanalyse, Datenarchitekt, Datenmodelierung, ETL-Entwickler, Git, IT-Berater, IT-Projektleiter, Microsoft Azure, Microsoft SQL-Server (MS SQL), Power Bi, Reporting, Schnittstellenentwicklung, Softwareentwickler, Solution Architekt, SQL, System Architektur
11/2021 – 4/2022
Tätigkeitsbeschreibung
Projekt-Scope: Entwicklung eines Power BI Dashboards zur Visualisierung relevanter KPIs für Data Officers im Rahmen einer konzernweiten Datenstrategie
• Agiles Projektmanagement mit KanBo, einschließlich Kundenkommunikation
• Requirements Engineering und Beratung zum Solution Design
• Erstellung des Datenmodells und Definition von Measures (DAX) zur Berechnung der KPIs
• Entwicklung des Power BI Dashboards und Anbindung der Quelldaten aus MS Sharepoint
• Erstellung eines Playbooks und Bereitstellung des Power BI Dashboards im Power BI Service
• Dokumentation des Datenmodells und der Entwicklung des Power BI Dashboards in Git
Keywords
- Datenmodellierung
- Power BI Dashboard-Entwicklung
- Agiles PM, Requirements Engineering
Data Engineer, Agile Methodologie, Business Intelligence and Reporting Tools (BIRT), Datenanalyse, Datenmodelierung, Git, IT-Berater, IT-Projektleiter, Kanban (Softwareentwicklung), Power Bi, Reporting, Requirements Engineer, Solution Architekt
11/2021 – 1/2022
Tätigkeitsbeschreibung
Projekt-Scope: Entwicklung eines Prognosemodells für die Sales-Entwicklung digitaler Services
• Explorative Auswertungen und ML-gestützte Datenanalysen inkl. Korrelationsanalysen und Feature Engineering
• Entwicklung (in Python) eines Algorithmus zur Identifikation und Behandlung fehlender oder inkonsistenter Daten
• Konzeption und Entwicklung (in Databricks) eines Prognosemodells zur Vorhersage der Sales-Entwicklung digitaler Services auf Basis historischer Daten, Bewertung und Optimierung der Prognosegüte
• Entwicklung eines Verfahrens in Databricks zur Simulation von What-If-Szenarien zur Unterstützung datengetriebener Entscheidungsprozesse
Keywords
- Prognose- und Simulationsverfahren
- Algorithmen-Entwicklung
- Azure Cloud, Databricks
Apache Spark, Python, Data Analyst, Big Data, Data Engineer, Data Science, Databricks, Datenanalyse, Datenbank-Analytiker, Fehleranalyse, Git, Microsoft Azure, Power Bi, Predictive Analytics, Softwareentwickler, SQL
8/2018 – 10/2021
Tätigkeitsbeschreibung
Projekt-Scope: Aufbau einer plattformunabhängigen C++-Basisbibliothek zur Berechnung des Magnetfeldes der Erde sowie sämtlicher Kernprobleme der Geodäsie
• Entwicklung einer C++-Basisbibliothek zur Berechnung des Magnetfeldes der Erde sowie zentraler geodätischer Fragestellungen
• Bereitstellung verschiedener Lösungsansätze entsprechend den Anforderungen an Präzision und Performance
• Entwicklung einer webbasierten Testapplikation in JavaScript und CCS
• Implementierung von Wrappern in Java, C# und C
• Fehleranalyse und -behebung
• Implementierung und Optimierung von CI/CD-Prozessen in TeamCity
• Entwicklung von Unit Tests und Testautomatisierung
• Erstellung und Pflege fachlicher sowie technischer Dokumentation mit Doxygen
Keywords
- C++-Entwicklung
- Schnittstellen-Entwicklung
- Systemmaintenance, CI/CD, Testing
- Scrum
.Net Framework (Microsoft), Agile Methodologie, C#, C++, Continuous Delivery, Continuous Integration, CSS-Programmierer, CSS (Cascading Style Sheet), Fehleranalyse, Git, Java (allg.), JavaScript, Microsoft Visual Studio, Objektorientierte Software-Entwicklung, Schnittstellenentwicklung, Scrum, Softwaredokumentation, Softwareentwickler, Technische Dokumentation, Test Automation
9/2016 – 10/2021
Tätigkeitsbeschreibung
Projekt-Scope: Aufbau einer C++-Bibliothek zur Visualisierung von aeronautischen Routen im Rahmen der Digitalisierung und Dynamisierung der Navigationskarten für den Einsatz im Cockpit
• Konzeption und Implementierung einer C++-Bibliothek zur Visualisierung von aeronautischen Routen
• Anwendung verschiedener Optimierungsheuristiken (geometrischer Ansatz, KI-basierte Ansätze) zur Steigerung der Systemeffizienz
• Entwicklung einer webbasierten Testapplikation in C# und .Net
• Implementierung von Wrappern in Java, C# (.Net Framework, .Net Standard) und C
• Fehleranalyse und -behebung
• Implementierung und Optimierung von CI/CD-Prozessen in TeamCity
• Entwicklung von Unit Tests (mit Catch) und Testautomatisierung
• Erstellung und Pflege fachlicher sowie technischer Dokumentation mit Doxygen
Keywords
- C++-Entwicklung
- Schnittstellen-Entwicklung
- Systemmaintenance, CI/CD, Testing
- Scrum
Data Engineer, .Net Framework (Microsoft), Agile Methodologie, C#, C++, Continuous Delivery, Continuous Integration, Fehleranalyse, Git, Java (allg.), Microsoft Visual Studio, Objektorientierte Software-Entwicklung, Schnittstellenentwicklung, Scrum, Softwaredokumentation, Softwareentwickler, Softwareentwicklung (allg.), Technische Kommunikation, Test Automation
12/2014 – 9/2017
Tätigkeitsbeschreibung
Projekt-Scope: Fachbetreuung für ein System zur Unterstützung von Pricing-Prozessen in der Airline Industrie
• Fachliche Betreuung eines Systems zur umfassenden Unterstützung aller Prozesse der reaktiven und proaktiven Preisgestaltung für eine TIER 1 Airline (mindestens 25 Mio. Passagiere pro Jahr)
• Erstellung der funktionalen Spezifikation für neue Produktfeatures
• Technisches Projektmanagement und fachliche Leitung des Entwicklerteams (6 Mitarbeitende)
• Überwachung des Projektfortschritts und Kontierung
• Schnittstelle zwischen dem Kunden, dem Entwickler-, Wartungs- und Betriebsteam
• Incident-Analyse und Management, Koordinierung, Priorisierung und Überwachung der Problembehebung
• Unterstützung bei der Durchführung von System- und Integrationstests
• Durchführung von Präsentationen / Schulungen für den IT-Bereich beim Kunden
Keywords
- Produktbetreuung & Business Analyse
- Technisches Projektmanagement
- Incident-Management, Testing
- Kundenschulungen
2nd & 3rd Level Support, Anforderungsspezifikationen, Confluence, Incident-Management, IT-Berater, IT-Projektleiter, Jira, Kundenberater, MS Office (Anwenderkenntnisse), Projektmanagement - Projektentwicklung, Release-Management, Requirements Management, Schulung / Training (IT), Softwaredokumentation, Softwaretester, SQL, Stakeholder-Analyse
6/2012 – 12/2014
Tätigkeitsbeschreibung
Projekt-Scope: Weiterentwicklung und Wartung eines Systems zur Prognoseerstellung von Passagiernachfrage in der Airline Industrie
• Modellierung, Implementierung (in C++) und Kalibrierung von Verfahren aus der Statistik und Operations Research zur Verbesserung der Nachfrageprognose
• Durchführung von Vergleichsanalysen verschiedener Modellansätze (z. B. Zeitreihen, Regressionsmodelle) auf unterschiedlichen Datentypen (Buchungen, Stornierungen etc.)
• Entwicklung von Komponenten zur automatisierten Überwachung und Sicherstellung der Datenintegrität
• Messung, Analyse und Interpretation der Prognosequalität auf großen Datenmengen
• Durchführung von Performanceanalysen, Identifikation und Behebung von Fehlern sowie Implementierung und Validierung von Tests
• Erstellung und Erweiterung fachlicher und technischer Dokumentation
Keywords
- Statistische Modellierung & Prognoseverfahren
- C++-Entwicklung
- Datenverarbeitung & Qualitätssicherung
- Systemmaintenance, Testing
Data Engineer, Confluence, Continuous Delivery, Continuous Integration, Data Science, Datenanalyse, Fehleranalyse, Jenkins, Lineare Regression, Manueller Tester IT-Qualitätssicherung, Mathematischer Statistiker, Microsoft Visual Studio, MS Office (Anwenderkenntnisse), Objektorientierte Software-Entwicklung, Oracle Database, PL/SQL, Predictive Analytics, Programmierer C, C++, Relationale Datenbanken, Softwaredokumentation, Softwareentwickler, Softwaretester, Testen
4/2007 – 3/2012
Tätigkeitsbeschreibung
Projekt Scope: Forschung von Optimalsteuerungsproblemen bei partiellen Differentialgleichungen sowie Hochschullehre
• Forschungsschwerpunkte:
- Modellierung, Analysis, Optimierung und numerische Approximation nichtlinearer partieller Differentialgleichungen
- Kontrollierbarkeit von Wärmeleitprozessen
• Konzeption und Implementierung von Optimierungsverfahren in MATLAB und COMSOL Multiphysics
• Präsentation der Forschungsergebnisse in Fachtagungen
• Leitung und Moderation des Minisymposiums „Sensitivity and error analysis in optimal control“ (IFIP TC 7 Conference, Berlin)
• Organisation und Durchführung von Lehrveranstaltungen für Mathematiker und Ingenieure
• Leitung studentischer Lehrkräfte und Betreuung von Übungen in Groß- und Kleingruppen
Keywords
- Wissenschaftliche Forschung
- Nichtlineare Optimierung und Optimalsteuerung
- Programmierung in Matlab
- Hochschullehre
Finite-Differenzen-Methode (FDTD), Finite-Elemente-Methoden, Forschung, Mathematica, Mathematik, Mathematiklehrer, Programmierer C, C++, Softwareentwickler, UNIX, Wissenschaftlicher Mitarbeiter
Ausbildung
Technische Universität Berlin
Berlin
Technische Universität Berlin
Berlin
Über mich
• Fachliche Leitung von Entwicklungsteams mit Verantwortung für Softwarearchitektur (Layered Architektur, Client-Server Architektur), Datenmodellierung (dimensionale, objektorientierte und Graphen-Modelle) sowie Entwicklung und Orchestrierung von ETL-Pipelines
• Entwicklung und Optimierung von Methoden der Statistik und Operations Research (Regressions- und Zeitreihenanalyse, Multivariate Verfahren, lineare/nichtlineare/dynamische Optimierung, Simulation) zur datengetriebenen Entscheidungsunterstützung
• Mehrjährige Erfahrung in der Softwareentwicklung (mit Python und C++) in internationalen, verteilten und interdisziplinären Teams
• Erfahrung in Schlüsselrollen wie Product Owner, Projektleiter, Data Engineer, Softwareentwickler und Business Analyst
Weitere Kenntnisse
• 16 Jahre Erfahrung in der Entwicklung komplexer Softwarelösungen mit fundierter methodischer Expertise
• Mehrjährige Erfahrung in der Softwarearchitektur, Datenmodellierung sowie Entwicklung von ETL-Pipelines auf Cloud-Plattformen (Azure, AWS) und Databricks
• Entwicklung und Implementierung von Prognosemodellen und Optimierungsverfahren (Python, C++, MATLAB) sowie intelligenten Q&A-Systemen unter Einsatz von NLP und generativer KI
• Fundierte Kenntnisse in agilen Vorgehensmodellen, Softwareentwicklungsprozessen und agilem Projektmanagement
Technologien
- Programmierung:
Python, PySpark, C/C++, SQL, C#, C++/CLI, Java, PL/SQL, DAX, Cypher
- Datenbanken:
Oracle, Microsoft SQL Server, Amazon DynamoDB, Amazon Neptune, MongoDB, LiteDB
- Cloud / Data / AI Plattformen:
Microsoft Azure (Delta Lake, Data Factory, FunctionApp), AWS (S3, Glue, Lambda, Step Functions, DynamoDB, Neptune, Athena, SageMaker, OpenSearch Service, EC2, CLI, ECS, API Gateway, CloudFormation, SNS), Databricks (Data Intelligence Platform, UC, ACLs, Lakeflow, DLT, SDP, Workflows, Jobs, Pipelines, Batch, Structured Streaming, DAB, DataOps, CI/CD, SDK, CLI)
- Tools / Frameworks:
Apache Spark, Apache Kafka, Docker, Power BI, .Net (Framework / Core / Standard), Git, SVN, Bitbucket, TeamCity, Jenkins, CMake, MS Visual Studio, NuGet, REST APIs, Postman, Salesforce Sales & Service Cloud, Pentaho, MATLAB, MS Office, Jira, Confluence, Sharepoint, Mural, Doxygen
Persönliche Daten
- Albanisch (Muttersprache)
- Deutsch (Fließend)
- Englisch (Fließend)
- Europäische Union
- Schweiz
Kontaktdaten
Nur registrierte PREMIUM-Mitglieder von freelance.de können Kontaktdaten einsehen.
Jetzt Mitglied werden
