Senior Data Engineer

O projekcie Budujesz platformy danych dla klientów z sektora bankowego. Projektujesz hurtownie i rozwiązania w architekturze data lakehouse. Pilnujesz procesów ETL oraz ELT i przetwarzasz duże zbiory danych w Sparku i Kafce. Rozmawiasz z biznesem o tym, jakie pytania chce zadać danym, i przekładasz to na model. Twój zakres obowiązków - Projektowanie i rozwój hurtowni oraz platform danych. - Tworzenie i optymalizacja procesów ETL oraz ELT. - Budowa rozwiązań w architekturze data lakehouse. - Przetwarzanie dużych zbiorów danych w Sparku i Kafce. - Przekładanie wymagań biznesowych na rozwiązania analityczne. - Projektowanie architektury danych dla nowych projektów. Czego oczekujemy - Minimum 5 lat komercyjnego doświadczenia na stanowisku data engineera. - Biegłej znajomości SQL i umiejętności optymalizacji zapytań. - Praktycznej wiedzy z budowy i utrzymania hurtowni danych. - Doświadczenia ze Sparkiem i Kafką w środowisku produkcyjnym. - Rozumienia koncepcji data lakehouse oraz procesów ETL. - Pełnej samodzielności w realizacji zadań technicznych. Proces rekrutacyjny - Rozmowa wstępna. - Rozmowa merytoryczna. - Decyzja.