Aufgaben
- Der Schwerpunkt der Tätigkeit liegt zunächst auf Konzeption, Architektur und Governance – die Umsetzung einzelner Pipelines und Datenmodelle erfolgt in späteren Projektphasen
- Entwicklung einer skalierbaren Zielarchitektur für die Databricks-Plattform
- Definition von Designrichtlinien und Governance-Standards
- Erarbeitung eines Berechtigungskonzepts
- Konzeption von CI/CD-Strategien für Datenprodukte
- Ausgestaltung der Layer-Architektur unter Bezugnahme auf das Medallion-Konzept
- Beratung zu Staging-Konzepten (Deployment in Multi-Tier-Umgebungen, Quality Gates)
- Einbringen von Best Practices aus bisherigen Projekten zur Effizienz- und Qualitätssteigerung
- Abstimmung und Priorisierung von Anforderungen mit Fachbereichen und IT
-
Dokumentation von Architekturentscheidungen, Prozessen und Projektergebnissen
Profil
- Erfahrung mit Databricks in Konzeption und Implementierung im Bereich Data Engineering (Datenmodellierung, ETL, Orchestrierung von Ladeprozessen)
- Tiefgreifendes Verständnis von Layer-Datenmodellen (z.B. Medallion)
- Erfahrung in der Entwicklung von Berechtigungskonzepten /Kenntnisse in Continuous Ingestion / Continuous Development
- Fundiertes Verständnis moderner Datenplattformen und lösungsorientierte, strukturierte Arbeitsweise
- Sehr gute Kommunikations- und Moderationsfähigkeiten
- Sicherer Umgang mit SQL und Python / Verständnis von IT Service Management Prozessen (ITIL)
- Erfahrung in agilen Projekten, insbesondere Scrum
- Kenntnisse in Microsoft Azure im Kontext von Databricks / Data Engineerin
- Erfahrung mit Machine Learning und LLMs in Databricks
- Sicherer Umgang mit Jira und Confluence sowie in Excel und PowerPoint / Sehr gute Deutschkenntnisse in Wort und Schrift
Benefits
- Homeoffice-Möglichkeit
- Aussicht auf Projektverlängerung