Fullstack & Data Developer (m/w/d) Azure Data / Medallion Architecture / Python

Leistungsbeschreibung

Projektbeschreibung:

Wir befinden uns derzeit in der Modernisierung unseres intern entwickelten Asset Management Tools, das aktuell auf einem klassischen relationalen Datenbanksystem (RDBMS) basiert. Das Tool konsolidiert Daten aus verschiedenen heterogenen Quellen zur Verwaltung finanzieller und operativer Assets und umfasst Module für Tracking, Reporting und Analyse.

Derzeit werden alle Datenaufnahme-, Verarbeitungs- und Speicherprozesse direkt innerhalb einer Azure SQL Server-Datenbank durchgeführt.

Ziel:

Mit zunehmender Skalierung möchten wir die Architektur auf eine moderne, skalierbare und wartbare Datenplattform auf Basis von Databricks überführen. Unser gewählter Ansatz ist die Medallion-Architektur (Bronze-, Silber- und Gold-Layer), die eine standardisierte Datenaufnahme, -transformation und -bereitstellung ermöglicht und gleichzeitig zukünftige analytische sowie Machine-Learning-Anwendungen unterstützt. Zusätzlich sollen Power BI Reports direkt an diese Plattform angebunden werden.

Anforderungen

Aufgaben:

• Unterstützung beim Anschluss verschiedener Quellsysteme an die zentralen IT-Governance-Tools.
• Zusammenarbeit mit IT-Produktverantwortlichen der Quellsysteme sowie dem Team der IT-Governance-Tools, um Daten in das Common Data Model zu transformieren und zentral verfügbar zu machen.
• Konzeption und Implementierung von Schnittstellen für Datenextraktion, -transformation und -ladung (ETL/ELT) zu und von den IT-Governance-Tools.
• Design und Umsetzung von Medallion-Pipelines (Ingest → Refine → Serve) mit Databricks.
• Optimierung von Datenbankschemata für Analytics (Star-/Snowflake-Schema) sowie für operative Lesezugriffe.
• Implementierung von Unity Catalog, Datenherkunft (Data Lineage), Zugriffskontrollen, PII-Handling und Qualitätsprüfungen.
• Entwurf robuster Datenbankschemata und Medallion-Datenpipelines für Bestands und Inventarprozesse.
• Erstellung, Pflege und regelmäßige Veröffentlichung von technischer und funktionaler Dokumentation.

Zusätzliche Kompetenzen / Profilanforderungen:

• Nachweisbare Erfahrung mit dem Microsoft Azure Technologie-Stack, insbesondere Azure Data Factory (ADF) und Azure Databricks.
• Fundierte Kenntnisse in dimensionalem Modellieren und 3NF-Modellierung; sicherer Umgang mit CDC, verspäteten/inkonsistenten Daten und Schema-Evolution.
• Nachweisbare Erfahrung in der Entwicklung mit Python und SQL.
• Erfahrung in der Implementierung der Medallion-Architektur, Delta Lake, Unity Catalog, Workflows, SQL Warehouse und Delta Live Tables.
• Starke analytische Fähigkeiten und strukturiertes Denken.
• Ausgeprägte Problemlösungskompetenz und Fähigkeit zur teamorientierten Zusammenarbeit.
• Fließende Englischkenntnisse.

Über den Auftraggeber

Start: ASAP

Ende: 31.01.2026 plus Option auf Verlängerung

Auslastung: ca. 30 Stunden pro Woche

Onsite Stunden: 0

Offsite Stunden: 600

Standort: Hannover | 100 % remote