Data Engineer (m/w/d) Python, SQL, Spark, Azure Databricks

Leistungsbeschreibung

Gemeinsam entwickeln wir eine zentrale Plattform zur Digitalisierung eines großen Energienetzes.

Die Informationsplattform stellt sicher, dass die Daten regionaler Verteilnetzbetreiber zentral gebündelt, harmonisiert und verfügbar gemacht werden.

Diese Plattform bildet das Fundament für die schnelle und flexible Entwicklung smarter Lösungen für alle Aktivitäten im Energienetzgeschäft sowie für deren kosteneffizienten Roll-out innerhalb der gesamten Netzorganisation.

Anforderungen

Aufgaben:

• Mitarbeit an der Weiterentwicklung einer Azure-basierten Datenintegrationsplattform (Schwerpunkt: Databricks und Unity Catalog)
• Konzeption, Implementierung und Betrieb von ETL- und Transformationspipelines
• Anbindung verschiedener Quellsysteme sowie technische Unterstützung bei der Überführung der Daten in ein einheitliches Datenmodell
• Begleitung und Unterstützung weiterer Data Engineers bei der Anwendung von Standards, der Wiederverwendung von Code sowie der Sicherstellung einer konsistenten Transformationslogik
• Implementierung stabiler Datenextraktionspipelines sowie Sicherstellung eines kontinuierlichen und zuverlässigen Betriebs
• Übersetzung fachlicher Anforderungen in robuste und skalierbare technische Lösungen
• Erstellung und Dokumentation technischer Konzepte sowie Abstimmung mit technischen und fachlichen Ansprechpartnern

Zusätzliche Kompetenzen

• Mehrjährige Erfahrung in Python
• Sehr gute SQL-Kenntnisse
• Erfahrung mit Spark
• Erfahrung in der Erstellung von ETL-Pipelines
• Erfahrung mit Azure Databricks
• Erfahrung mit CI/CD-Pipelines und Git
• Idealerweise Kenntnisse in Terraform und Docker
• Gute Deutsch und Englischkenntnisse

Über den Auftraggeber

Star: 01.03.2026

Ende: 31.12.2026 plus Option auf Verlängerung

Auslastung: 38 Stunden pro Woche

Standort: Hamburg / Homeoffice nach Absprache - Teilnahme an ca. 2-3 Präsenztagen pro Monat an verschiedenen Standorten erwartet

Vertragsart: ANÜ