About the role
................
Für unseren Kunden in Bern, suchen wir eine:n motivierte:n und aufgeschlossene:n Senior Data Engineer– Snowflake & Iceberg.
Ziel des Projekts ist der Aufbau einer vollständigen, zuverlässigen und produktionsfähigen CDC-Lösung zur Synchronisation von TigerData nach Snowflake auf Basis von Apache Iceberg.
Die Lösung soll hinsichtlich Zuverlässigkeit, Transparenz und Betriebsfähigkeit einen vergleichbaren Standard wie die bestehenden CDC-Prozesse mit Fivetran HVR erreichen,
Deine Aufgaben:
Analyse und Bewertung des von TigerData bereitgestellten CDC-Ansatzes auf Basis von Apache Iceberg
Definition und Konzeption einer geeigneten Zielarchitektur für die kontinuierliche Synchronisation von TigerData nach Snowflake
Konfiguration und Optimierung von Snowflake für die Verarbeitung der über Apache Iceberg bereitgestellten Daten
Konzeption und Implementierung der erforderlichen Iceberg-Komponenten und Datenstrukturen
Sicherstellung einer zuverlässigen Verarbeitung von Inserts, Updates und Deletes
Berücksichtigung von Schema Evolution, Datenkonsistenz, Datenlatenz, Recovery und Reconciliation
Aufbau von Monitoring-, Logging- und Fehlerbehandlungsmechanismen für einen stabilen Produktionsbetrieb
Technische Abstimmung mit TigerData und bei Bedarf direkt mit Snowflake
Unterstützung bei der Implementierung, Validierung und Produktivsetzung der End-to-End-Lösung
Dokumentation der technischen Architektur sowie Wissenstransfer an das interne Team
Dein Profil:
Mehrjährige praktische Erfahrung in der Konzeption und Umsetzung von Datenintegrations- und Replikationslösungen
Sehr gute Kenntnisse und praktische Projekterfahrung mit Snowflake
Nachweisbare Projekterfahrung mit Apache Iceberg
Fundiertes Verständnis von Change Data Capture (CDC), Datenreplikation und Streaming- bzw. Synchronisationsverfahren
Erfahrung im Aufbau und Betrieb produktionsfähiger CDC- und Datenintegrationsplattformen
Kenntnisse in den Bereichen Schema Evolution, Datenkonsistenz, Recovery, Reconciliation, Monitoring und Fehlerbehandlung
Erfahrung mit der Integration unterschiedlicher Datenplattformen und dem Aufbau robuster End-to-End-Datenflüsse
Fähigkeit, technische Lösungsansätze gemeinsam mit Softwareherstellern und internen Stakeholdern zu analysieren und voranzutreiben
Selbstständige, strukturierte und lösungsorientierte Arbeitsweise
Erfahrung mit Fivetran HVR oder vergleichbaren CDC- und Datenreplikationslösungen von Vorteil
Erfahrung mit der Anbindung von Time-Series-Datenbanken oder entsprechenden Datenplattformen von Vorteil
Fliessend in Deutsch und Englisch
Find Jobs in Switzerland on Arbeitnow
Für unseren Kunden in Bern, suchen wir eine:n motivierte:n und aufgeschlossene:n Senior Data Engineer– Snowflake & Iceberg.
Ziel des Projekts ist der Aufbau einer vollständigen, zuverlässigen und produktionsfähigen CDC-Lösung zur Synchronisation von TigerData nach Snowflake auf Basis von Apache Iceberg.
Die Lösung soll hinsichtlich Zuverlässigkeit, Transparenz und Betriebsfähigkeit einen vergleichbaren Standard wie die bestehenden CDC-Prozesse mit Fivetran HVR erreichen,
Deine Aufgaben:
Analyse und Bewertung des von TigerData bereitgestellten CDC-Ansatzes auf Basis von Apache Iceberg
Definition und Konzeption einer geeigneten Zielarchitektur für die kontinuierliche Synchronisation von TigerData nach Snowflake
Konfiguration und Optimierung von Snowflake für die Verarbeitung der über Apache Iceberg bereitgestellten Daten
Konzeption und Implementierung der erforderlichen Iceberg-Komponenten und Datenstrukturen
Sicherstellung einer zuverlässigen Verarbeitung von Inserts, Updates und Deletes
Berücksichtigung von Schema Evolution, Datenkonsistenz, Datenlatenz, Recovery und Reconciliation
Aufbau von Monitoring-, Logging- und Fehlerbehandlungsmechanismen für einen stabilen Produktionsbetrieb
Technische Abstimmung mit TigerData und bei Bedarf direkt mit Snowflake
Unterstützung bei der Implementierung, Validierung und Produktivsetzung der End-to-End-Lösung
Dokumentation der technischen Architektur sowie Wissenstransfer an das interne Team
Dein Profil:
Mehrjährige praktische Erfahrung in der Konzeption und Umsetzung von Datenintegrations- und Replikationslösungen
Sehr gute Kenntnisse und praktische Projekterfahrung mit Snowflake
Nachweisbare Projekterfahrung mit Apache Iceberg
Fundiertes Verständnis von Change Data Capture (CDC), Datenreplikation und Streaming- bzw. Synchronisationsverfahren
Erfahrung im Aufbau und Betrieb produktionsfähiger CDC- und Datenintegrationsplattformen
Kenntnisse in den Bereichen Schema Evolution, Datenkonsistenz, Recovery, Reconciliation, Monitoring und Fehlerbehandlung
Erfahrung mit der Integration unterschiedlicher Datenplattformen und dem Aufbau robuster End-to-End-Datenflüsse
Fähigkeit, technische Lösungsansätze gemeinsam mit Softwareherstellern und internen Stakeholdern zu analysieren und voranzutreiben
Selbstständige, strukturierte und lösungsorientierte Arbeitsweise
Erfahrung mit Fivetran HVR oder vergleichbaren CDC- und Datenreplikationslösungen von Vorteil
Erfahrung mit der Anbindung von Time-Series-Datenbanken oder entsprechenden Datenplattformen von Vorteil
Fliessend in Deutsch und Englisch
Find Jobs in Switzerland on Arbeitnow
Requirements
- Remote
- IT