Projektinformationen
- Internationales Energieunternehmen
Aufgaben
- Durchführung der Migration von Databricks Legacy DBFS zu Unity Catalog (inkl. Umstellung von DBFS Mount Paths auf S3 Paths und Volumes)
- Aktive Umsetzung der Migration für Jobs, Cluster, Volumes, External Tables, Managed Tables sowie Public & Private Databricks-Umgebungen
- Analyse, Anpassung und Refactoring bestehender Databricks Jobs und Notebooks, um vollständige Unity-Catalog-Kompatibilität sicherzustellen
- Technische Weiterentwicklung von Cluster-, Job- und Berechtigungskonzepten im Kontext von Unity Catalog
- Bearbeitung von ad-hoc Support- und Troubleshooting-Anfragen während der Migration
- Entwicklung eines standardisierten, wiederverwendbaren Migrationsansatzes für mehrere Data- & Business-Teams
- Analyse und Optimierung von Performance & Stabilität (z.B. bei langsamen Jobs, ineffizientem Spark-Verhalten, Ressourcenengpässen)
- Aufbau und Weiterentwicklung von Databricks Apps & Dashboards (nicht nur Power BI), inkl. Auswahl geeigneter Frameworks und Tools
- Enge Zusammenarbeit mit Data Engineering, Cloud Platform und Business Teams zur Abstimmung technischer und fachlicher Anforderungen
- Konzeption und erste Umsetzung KI-gestützter / agentischer Logiken im Databricks-Umfeld (z.B. Nutzung von Agentic Bricks, Auseinandersetzung mit AI-zentrierten Architekturen, Genie, MCP)
Profil
- Tiefgehende, hands-on Erfahrung mit Databricks (Spark, Delta Lake, Databricks APIs, Jobs, Notebooks, Cluster-Typen)
- Praktische Projekterfahrung mit Unity Catalog in aktiven Migrationen (Mount Paths ? S3 Paths/Volumes, Berechtigungsmodelle, Job-Anpassungen)
- Sehr gutes Verständnis von Apache Spark (Scheduling, Execution Model, DataFrames, Performance-Tuning)
- Sehr gute Kenntnisse in PySpark, Python und SQL
- Sicherer Umgang mit Databricks Jobs vs. Notebooks und deren Einsatzszenarien
- Interesse oder erste praktische Erfahrung im Bereich KI-gestützter / agentischer Ansätze in Data-Plattformen, speziell Agentic Bricks
- Erfahrung mit AWS, insbesondere S3 Buckets und deren Anbindung an Databricks sowie Grundverständnis der AWS-Infrastruktur rund um Databricks
- Erfahrung mit Infrastructure as Code, idealerweise Terraform
- Kenntnisse in Monitoring & Observability (z.B. AWS CloudWatch, Grafana, Kibana)
- Sehr gute Kommunikationsfähigkeiten in Englisch sowie eine ausgeprägte Hands-on-Mentalität
Benefits
- Unternehmensweite Einführung von Unity Catalog mit hoher Sichtbarkeit und strategischer Bedeutung
- Anspruchsvolle Hands-on-Migration statt rein konzeptioneller Tätigkeit
- Großer Gestaltungsspielraum und hohes Maß an Ownership in Architektur- und Plattformthemen
- Zusammenarbeit mit sehr starken Data- & Cloud-Engineering-Teams
- Tiefer Einblick in moderne Databricks-Architekturen inklusive Security, Governance und Performance
- Möglichkeit, moderne Databricks Apps, Dashboards und AI-nahe Use Cases aktiv mitzugestalten
- Frühe Auseinandersetzung mit agentischen und AI-zentrierten Konzepten (z.B. Agentic Bricks, Genie, MCP)
- Langfristiges Projekt möglich mit klarer strategischer Relevanz für die Datenplattform
