Aufgabe:
Entwicklung und Wartung von serverlosen Datenpipelines (ELTR) auf AWS oder vergleichbaren Cloud-Plattformen zur Integration und Verarbeitung von Daten Aufbau und Optimierung von Datenarchitekturen in Snowflake oder vergleichbaren Cloud Data Warehouses Implementierung und Verwaltung von ETL/ELT-Prozessen mit Python in einer serverlosen Umgebung Aufbau und Optimierung von Star Schema-Datenmodellen zur Unterstützung von BI- und Reporting-Anforderungen Sicherstellung der Datenqualität und -konsistenz durch Implementierung von Datenvalidierungen und -überwachungen Aufbau und Pflege von CI/CD-Pipelines zur Automatisierung von Deployments und Datenverarbeitungsprozessen Nutzung von Docker zur Containerisierung und Bereitstellung von Data Engineering Lösungen Performance-Tuning und Optimierung von Datenverarbeitungsprozessen zur Sicherstellung effizienter und skalierbarer DatenflüsseQualifikation:
Mehrjährige Berufserfahrung (mind. 3 Jahre) als Data Engineer oder in einer vergleichbaren Rolle Sehr gute Kenntnisse in SQL sowie Erfahrung mit Cloud Data Warehouses wie Snowflake, Redshift oder BigQuery Programmierkenntnisse in Python zur Entwicklung serverloser Workflows und Datenverarbeitungsskripte Erfahrung mit serverlosen Architekturen auf AWS (Lambda, Step Functions) oder vergleichbaren Cloud-Plattformen (z.B. Azure Functions, Google Cloud Functions) Kenntnisse in CI/CD-Pipelines (z.B. GitHub Actions, Jenkins, GitLab CI) zur Automatisierung von Deployments Erfahrung mit Docker zur Containerisierung und Bereitstellung von Datenverarbeitungsprozessen Kenntnisse in Datenmodellierung (z.B. Star Schema) und Best Practices für Data Warehousing Analytisches Denkvermögen und die Fähigkeit, komplexe Datenflüsse zu optimieren Teamfähigkeit und Kommunikationsstärke zur Zusammenarbeit mit Data Analysts und Business Stakeholdern Nice-to-Have: Erfahrung in der Anwendung von Machine Learning-Techniken Kenntnisse in Monitoring und Logging von Datenpipelines (z.B. mit CloudWatch, Prometheus, ELK Stack) Verständnis von Data Governance und Sicherheitsrichtlinien in Dateninfrastrukturen Kenntnisse in NoSQL-Datenbanken (z.B. MongoDB, Cassandra)Weitere Angebote in den Bereichen:
