freiberufler Principal engineer auf freelance.de

Principal engineer

zuletzt online vor 1 Tagen
  • 75€/Stunde
  • 10969 Berlin
  • Europa
  • ru  |  en  |  de
  • 10.07.2024

Kurzvorstellung

Ich habe 20 Jahre lang in 4 Ländern Software entwickelt. Großunternehmen und kleine Startups. Zuletzt leitete ich die Analyseabteilung und war CTO. Meine Spezialisierung sind Daten, aber ich kann Ihnen in jedem Aspekt der Softwareentwicklung helfen.

Auszug Referenzen (1)

"D. demonstrated exceptional leadership skills and technical expertise and led our development team."
CTO
Kundenname anonymisiert
Tätigkeitszeitraum

1/2022 – 6/2024

Tätigkeitsbeschreibung

- Funktionale Anforderungen erfassen
- Team dabei unterstützen, eine Lösung für eine Marktplatzplattform zu entwickeln
- CI/CD-Pipelines entwerfen und implementieren
- Testumgebung und Prozesse rund um QA-Praktiken einrichten
- Beobachtbarkeit und Überwachung integrieren
- Zeit-/geschäftskritische Komponenten der Lösung über den gesamten Stack hinweg implementieren – Backend, Empfehlungs- und Matchines-Engines, mobile Anwendungen

Eingesetzte Qualifikationen

Amazon Web Services (AWS), Continuous Delivery (CDE), DevOps, elasticSearch, Flutter, Google Cloud, PostgreSQL, Python, SQL

Qualifikationen

  • Amazon Web Services (AWS)5 J.
  • Apache Spark2 J.
  • Big Data5 J.
  • Continuous Delivery (CDE)2 J.
  • Datawarehouse / DWH2 J.
  • DevOps2 J.
  • Kafka5 J.
  • PostgreSQL2 J.
  • Python7 J.
  • SQL2 J.

Projekt‐ & Berufserfahrung

performance tuning engineer
Kundenname anonymisiert, berlin
12/2023 – 12/2023 (1 Monat)
IT & Entwicklung
Tätigkeitszeitraum

12/2023 – 12/2023

Tätigkeitsbeschreibung

Analyse Postgres data access patterns: read vs writes, hot tables, redundant and missing indexes, table and index sizes.

Check analyze and vacuum stats.

Collect query statistics - number of calls, mean and max time.

Review app architecture - job's queue, webhook and user triggered endpoint + kronjobs in kubernetes.

Collect metrics in prometheus and grafana related to db usage and code execution to map CPU spikes with suspicious code.

Together with engineering team run several sessions of code optimisation's that allow to improve overall performance 3 times.

Document runbooks and roadmap to prepare codebase for further growth.

Eingesetzte Qualifikationen

Django (Framework), PostgreSQL, Python

CTO
Syzygy AI LLC, Berlin
1/2022 – 6/2024 (2 Jahre, 6 Monate)
IT & Entwicklung
Tätigkeitszeitraum

1/2022 – 6/2024

Tätigkeitsbeschreibung

- Funktionale Anforderungen erfassen
- Team dabei unterstützen, eine Lösung für eine Marktplatzplattform zu entwickeln
- CI/CD-Pipelines entwerfen und implementieren
- Testumgebung und Prozesse rund um QA-Praktiken einrichten
- Beobachtbarkeit und Überwachung integrieren
- Zeit-/geschäftskritische Komponenten der Lösung über den gesamten Stack hinweg implementieren – Backend, Empfehlungs- und Matchines-Engines, mobile Anwendungen

Eingesetzte Qualifikationen

Amazon Web Services (AWS), Continuous Delivery (CDE), DevOps, elasticSearch, Flutter, Google Cloud, PostgreSQL, Python, SQL

Senior data engineer
Hellofresh, Berlin
6/2019 – 1/2022 (2 Jahre, 8 Monate)
IT & Entwicklung
Tätigkeitszeitraum

6/2019 – 1/2022

Tätigkeitsbeschreibung

Helfen Sie dem Unternehmen, eine datengesteuerte Strategie zur Migration vom Data Warehouse zur Data-Mesh-Architektur umzusetzen:

- Migrieren Sie eine Reihe von Datenpipelines aus der privaten Hosting-Umgebung von Cloudera in die AWS-Cloud, um die exponentielle Nachfrage nach Wachstum während Covid zu unterstützen (Terraform, Kubernetes, AWS-Technologie-Stack: EMR, ECR, IAM).
- Erstellen Sie eine Datenpipeline zur Analyse von Daten für A/B-Tests unter Verwendung von Optimizely und Google Analytics-Ereignissen als Quelle (Spark, Airflow bei K8s).
- Entwickeln Sie ein Framework zur Datenqualitätssicherung für das gesamte Data Warehouse.
- Implementieren Sie neue und erweitern Sie vorhandene ETLs entsprechend den Anforderungen der Stakeholder.
- Nehmen Sie an der Rufbereitschaft teil, um SLA für geschäftskritische Datensätze zu unterstützen.
-Leistungsoptimierung von Stream- und Batch-Datenpipelines – Spark, Python, Scala, Impala, Hive, Airflow, Parquet, HDFS, AWS-Infrastruktur – S3, RDS, EC2, Lambda, DMS.

Eingesetzte Qualifikationen

Amazon Web Services (AWS), Apache Hadoop, Apache Spark, Big Data, Datawarehouse / DWH, Engineering data management (EDM), Kafka, Python, Scala

Senior Software Architect
Kundenname anonymisiert, Abu Dhabi
11/2015 – 7/2018 (2 Jahre, 9 Monate)
IT & Entwicklung
Tätigkeitszeitraum

11/2015 – 7/2018

Tätigkeitsbeschreibung

- Design, prototype, build (scala, python) and performance profiling (c++) of high throughput highly available data processing pipelines (peak up to 80k events per seconds).
- Cassandra, Kafka, Elastic performance tuning + containerization of applications (docker)
- Pre-sales, requirements assessments, investigation of disaster incidents, sizing and hardware planning, etc.
- Develop and run internship program: software development, data analysis

Eingesetzte Qualifikationen

Big Data, C++, Java (allg.), Kafka, Python

Ausbildung

BS Computer science
Applied Math
Lobatschewski-Universität Nischni Nowgorod
2008
Nischni Nowgorod

Über mich

Daten werden verwendet, um geschäftskritische Entscheidungen zu treffen.

Ich kann Ihnen helfen, Ihre Datenströme zu optimieren, um die Datenherkunft und -qualität zu verbessern und Daten durch die Erstellung von Datamarts und Berichten zugänglich und interpretierbar zu machen.

Datensätze für Führungskräfte – schnell und auf den Punkt.

ETLs/ELT, Batch & Streaming, in der Cloud und vor Ort

- Leistungs- und Schemaoptimierung
- Upgrade des Data Warehouse für die Medalion-Architektur (Bronze-/Silber-/Gold-Ebenen) und/oder dimensionale Modellierung
- GPDR- und PIP-kompatibel
- Data governance from the ground up

Weitere Kenntnisse

Neben meiner Datenspezialisierung habe ich im Laufe meiner 20-jährigen Tätigkeit in verschiedenen Bereichen und Tech-Stacks umfassende Erfahrung gesammelt:

- Leitung eines Teams zur Entwicklung einer Marktplatzplattform (FastAPI, Flutter, next.js, k8s)
- Erstellen von ETLs/ELTs-Batch und Streaming auf Spark über Python und Scala (Python, Kafka, AWS-Infrastruktur, ECS, Terraform)
- Erstellen von Analysen über datenintensive Pipelines Kafka/Cassandra (Spitzenlast – 80.000 Ereignisse pro Sekunde) (Java, C++)
- Integrieren von Computer Vision-Pipelines auf Mobilgeräten (C++, Cross-Kompilierung)
- Portieren von mathematischen Algorithmen auf GPU (OpenCL, CUDA)
- Entwickeln von Solana-Smartcontracts (Rust)

Persönliche Daten

Sprache
  • Russisch (Muttersprache)
  • Englisch (Fließend)
  • Deutsch (Grundkenntnisse)
Reisebereitschaft
Europa
Arbeitserlaubnis
  • Europäische Union
  • Schweiz
  • Vereinigte Staaten von Amerika
Home-Office
bevorzugt
Profilaufrufe
64
Alter
39
Berufserfahrung
20 Jahre und 3 Monate (seit 04/2004)
Projektleitung
5 Jahre

Kontaktdaten

Nur registrierte PREMIUM-Mitglieder von freelance.de können Kontaktdaten einsehen.

Jetzt Mitglied werden