Databricks Data Engineer (m/w/d) | SQL | Python | Azure

Leistungsbeschreibung

Projektbeschreibung:

Ziel der Ausschreibung ist der Aufbau eines Reportings für den Nachrichtenversand in der energiewirtschaftlichen Marktkommunikation (MaKo) in Databricks/Power BI.

Gesucht wird eine/ein erfahrene/r externe/r Plattformexpert/in für Databricks (m/w/d), die/der neben tiefgehendem technischem Know-how auch erprobte Best Practices aus vergleichbaren Projekten einbringt.

Anforderungen

Aufgaben:

Der Schwerpunkt der Tätigkeit liegt auf der Konzeption und Umsetzung des Reportings:

• Konzeption und Entwicklung einer skalierbaren Lösung für die Datenplattform in Databricks
• Datenintegration in den unternehmensweiten Data Lake unter Verwendung einer Medallion-Architektur
• Aufbau eines performanten Datenmodells für das Reporting unter Berücksichtigung der unternehmensweiten IT-Vorgaben (z. B. Deployment in Multi-Tier-Umgebungen, Quality Gates)
• Durchführung von Optimierungsmaßnahmen zur Effizienz- und Qualitätssteigerung
• Dokumentation von Architekturentscheidungen, Prozessen und Projektergebnissen

Anforderungen - Must-have:

• Mehrjährige Erfahrung mit Databricks in Konzeption und Implementierung im Bereich Data Engineering (Datenmodellierung, ETL, Orchestrierung von Ladeprozessen)
• Tiefgreifendes Verständnis von Layer-Datenmodellen (z. B. Medallion)
• Erfahrung in der Entwicklung von Berechtigungskonzepten
• Kenntnisse in Continuous Ingestion und Continuous Development (CI /CD)
• Fundiertes Verständnis moderner Datenplattformen
• Lösungsorientierte und strukturierte Arbeitsweise
• Sehr gute Kommunikations- und Moderationsfähigkeiten
• Sicherer Umgang mit SQL und Python
• Verständnis von IT-Service-Management-Prozessen (ITIL)
• Erfahrung in agilen Projekten, insbesondere Scrum

Anforderungen - Nice-to-have:

• Kenntnisse in Microsoft Azure im Kontext von Databricks/Data Engineering
• Erfahrung mit Machine Learning und LLMs in Databricks
• Sicherer Umgang mit Jira und Confluence
• Gute Kenntnisse in Excel und PowerPoint
• Sehr gute Deutschkenntnisse in Wort und Schrift

Über den Auftraggeber

Start: 01.02.2026

Ende: 31.12.2026 plus Option auf Verlängerung

Onsite Stunden: 0

Offsite Stunden: 160

Auslastung: ca. 8 Stunden pro Woche

Standort:  Recklinghausen | 100 % remote

Vertragsart: Contracting | sozialversicherungspflichte Angestellte bevorzugt