Azure Databricks Engineer (m/w/d) Python / Pyspark / SQL

Leistungsbeschreibung

Projektbeschreibung:

Unser bestehendes On-Premise-Data-Warehouse-Team befindet sich aktuell im Übergang in die Azure-Databricks-Cloud.

Du entwickelst gemeinsam mit dem Team geeignete Lösungskonzepte auf Basis von Azure Databricks und setzt diese in performanten Databricks-Pipelines sowie – je nach Use Case – auch in Analyse-Dashboards mit Pyramid Analytics um.

Unser oberstes Team-Motto lautet:

Aufgaben:

• Du unterstützt das Team im Refinement dabei, fachliche Anforderungen zu verstehen und diese in technische Lösungskonzepte mit Azure Databricks zu überführen
• Du arbeitest selbstorganisiert, übernimmst eigenständig Aufgaben und setzt diese qualitätsbewusst und zuverlässig um
• Bei Bedarf stehst du im direkten Austausch mit den Fachbereichen und präsentierst Ergebnisse souverän in Reviews
• Du bist ein aktiver Teamplayer und beteiligst dich konstruktiv an Retrospektiven sowie kontinuierlichen Verbesserungsmaßnahmen

Profilanforderungen:

• Databricks & Lakehouse-Praxis:
• Du hast bereits praktische Erfahrung mit Azure Databricks gesammelt und kennst die Grundprinzipien moderner Lakehouse-Architekturen
• Programmier- & Datenkompetenz:
• Sicherer Umgang mit Python, PySpark und SQL, inklusive Performance-Bewusstsein bei größeren Datenmengen
• Praxiserfahrung mit komplexeren Pipelines:
• Du hast bereits komplexere Databricks-Pipelines umgesetzt (z. B. mehrstufige ETL-Strecken, inkrementelle Loads, Fehlerhandling, Monitoring-Basics)
• Datenmodellierung & DWH-Grundlagen:
• Verständnis klassischer BI-/DWH-Konzepte (Datenmodellierung, Datenflüsse, Historisierung; SCD-Logik ist ein Plus)
• Cloud-Grundverständnis (Azure):
• Kenntnisse grundlegender Cloud-Konzepte (z. B. Identity & Access, Netzwerke/Endpoints, Storage-Prinzipien, Dev/Test/Prod)
• Engineering-Basics:
• Erfahrung mit Git und kollaborativer Entwicklung (Branching, Merge Requests, Code Reviews) sowie idealerweise erste Erfahrungen mit CI/CD
• Agile Arbeitsweise:
• Erfahrung als Entwickler*in in einem Scrum- oder agilen Team (oder starke Motivation, in einem solchen Setup zu arbeiten)
• Kommunikation:
• Sehr gute Deutschkenntnisse in Wort und Schrift sowie die Fähigkeit, klar und lösungsorientiert mit Fachbereichen und Entwicklungsteams zu kommunizieren

Über den Auftraggeber

Start: 01.06.2026

Ende: 31.12.2026, mit Option auf Verlängerung!

Auslastung: ca. 40 Stunden pro Woche

Standort: Köln / 60 % remote

Vertragsart: Contracting