Software Entwickler / Data, Cloud Engineer

1/2023 – offen

Data Engineering
Implementierung von ETL-Pipelines (Python, PySpark, Databricks)
Implementierung des Databricks Medallion Pattern Library für eine Self-Service Big Data & Analytics Platform (Databricks, Terraform)
Migration von über 240 ETL-Pipelines und Datenquellen und Backups (BigQuery, Google Cloud Storage)

Python | Terraform | ETL | Big Data | Databricks | Google Cloud Platform | BigQuery | Google Cloud Storage | Apache Spark | PySpark

Cloud Engineering
Entwicklung und Inbetriebnahme einer Self-Service Big Data & Analytics Platform
Weiterentwicklung der Big Data & Analytics Platform
Implementierung eines Scheduling-Mechanismus für das Databricks Medallion-Pattern
Weiterentwicklung der CI/CD Pipelines
Refactoring des Infrastructure as Code der Big Data & Analytics Platform (GCP)
Umfassende Umstrukturierung und Refactoring des Terraform Code
Verbesserung der Informationssicherheit durch Refactoring des Terraform Code

Terraform | Bash | CI/CD | Databricks | Google Cloud Platform (GCP) | BigQuery | BigTable (Apache Spark) | PySpark | Google Cloud Storage | Git | GitHub | GitHub Actions

Sonstige Aufgaben
Regelmäßige Schulungen von Mitarbeitern in z.B Python, Terraform & Clean Code Konventionen
Beratung für die Aufstellung eines Migrationsplans einer Big Data & Analytics Platform mit über 240 Datenquellen
Durchführung von Code Reviews
Kontinuierliche Verbesserung von Agilen Prozessen im Team (User Stories, Story QA Prozess, Feedback, Anpassung von Arbeitsweisen)
Planung und Moderation von Retrospektiven, Refinements und Dailies

Schulungen | Code Reviews | Agile | Scrum

Big Data, Cloud (allg.), Google Cloud, Kanban (Softwareentwicklung), Python, SCRUM

8/2022 – 1/2023

Software Engineering
Weiterentwicklung Java Services (Spring)
Weiterentwicklung Python Services (Flask)
Unterstützung bei der Migration von Openshift 3.0 auf Openshift 4.0
Kontinuierliche Behebung von Incidents für Java, Python und Jupyter-Services (Jupyterhub, Jupyterlab, Dask-Cluster)

Java | Python | Spring | Flask | Azure | Openshift | Jupyter | Dask

Data Engineering
Entwicklung und Bereitstellung eines Frameworks zur Ausführung von Machine-Learning Modellen auf Openshift
Betreuung von Kunden mit Data Engineering Aufgaben
Unterstützung bei Umsetzung von Data Engineering Aufgaben von Kunden

Python | Bash | Tensorflow | Pytorch | Azure | Helm | Openshift | Jenkins

Cloud Engineering
Azure DevOps
Umsetzung eines Pilotprojektes in Azure DevOps für das Team
Design und Implementierung eines CI/CD Konzepts für das Team
Schulung von Mitarbeitern in Azure DevOps
Bereitstellung einer Basisarchitektur für das Team (Azure Container Registry)

Azure | Azure DevOps | Azure Boards | Azure Repos | Azure Pipelines | Azure Artifacts | CI/CD

Sonstige Aufgaben
Unterstützung von Product Ownern und Projektleitern bei der Migration von Jira zu Azure Boards
Planung der Migration
Durchführung der Migration
Durchführung von Schulungen für Product Owner und Projektleiter
Beratende Funktion zur Verbesserung von Agilen Prozessen für den Product Owner des Teams
Kundenbetreuung Jupyter-Services (Jupyterhub, Jupyterlab, Dask-Cluster)
Kontinuierliche Verbesserung von Agilen Prozessen und im Team

Azure Boards | Jira | Jupyter

Agile Entwicklung, Cloud (allg.), Continuous Delivery (CDE), Java (allg.), Python, Software engineering / -technik

1/2020 – 6/2022

Software Engineering
Design, Entwicklung & Bereitstellung von Python Bilderkennungs Microservices mit GCP Services (Cloud Run, Cloud Storage, Kubernetes, IAM etc.)
Bildähnlichkeits-Services
Bildklassifizierungs-Services
Kontinuierliche Verbesserung von CI/ CD Prozessen. Einführung von GitHub Actions, Implementierung von CI/CD Best Practices. Infrastructure-As-Code Automatisierung

Cloud Engineering
Management der Infrastruktur des Teams (GCP)
Migration der bestehenden Infrastruktur aus einer Openshift Umgebung
Design und Implementierung der zentralen Infrastruktur & eines Sicherheitskonzepts
Setup von Infrastructure-As-Code (Terraform)
Key-Rotation
Monitoring & Alerting (Cloud Monitoring, Cloud Logging)
Verbesserung des Machine Learnings Workflows (Datenmanagement, Kostenoptimierung)

Data Engineering
Durchführung von Datenanalysen (Pandas, Dask)
Datenaufbereitung für Machine Learning Prozesse
Design, Entwicklung & Bereitstellung von Big Data ETL Pipelines (Cloud Composer (Airflow), BigQuery, BigTable (Apache Spark), Cloud Storage, Cloud Monitoring, IAM etc.)
Verbesserung des Machine Learnings Workflows (Datenmanagement, Kostenoptimierung)
Verbesserung der Data Architecture des Teams (Cloud Storage, BigQuery, BigTable)

Sonstige Aufgaben
Kontinuierliche Verbesserung von Agilen Prozessen im Team (User Stories, Story QA Prozess, Feedback, Anpassung von Arbeitsweisen)

Agile Entwicklung, Apache Spark, Bash (Shell), Big Data, Continuous Delivery (CDE), Data Mining, Data Science, Google Cloud, Python, Scala, Software engineering / -technik