Data Engineer (Wymagane: ADF, DataBricks)

Data Engineer (Wymagane: ADF, DataBricks) Miejsce pracy: Warszawa Technologie, których używamy Wymagane Python Databricks Microsoft Azure Azure SQL SQL ADF ADLS Kimball Data Vault Inmon O projekcie Cześć Poszukujemy doświadczonego Inżyniera Danych z bardzo dobrą znajomością języka polskiego i angielskiego. Jeśli masz kilkuletnie doświadczenie w pracy z platformą Microsoft Azure oraz praktyczne umiejętności w obszarze ADF, Databricks, ADLS i Azure SQL – to ogłoszenie jest dla Ciebie Start projektu: 21 kwietnia 2025 O projekcie: Projekt obejmuje rozwój i wdrażanie platformy danych bazującej na technologii Microsoft Azure. Osoba na tym stanowisku będzie odpowiedzialna za integrację, przekształcanie i modelowanie danych, ściśle współpracując z zespołami technicznymi oraz biznesowymi. Kluczowym zadaniem będzie zapewnienie wysokiej jakości danych dla celów analitycznych oraz odwzorowanie logiki biznesowej w rozwiązaniach technicznych. Wykorzystywane technologie i narzędzia: 1) Platforma chmurowa: Azure Data Factory, Azure Databricks, ADLS, Azure SQL, Azure Synapse, Azure DevOps 2) Bazy danych: SQL Server, SAP HANA, Snowflake 3) Języki: Python, SQL, PowerShell 4) Modelowanie danych: Data Vault, star/snowflake schema 5) Zarządzanie projektami i kodem: Git, JIRA, Confluence, ServiceNow Twój zakres obowiązków Projektowanie oraz implementacja procesów przetwarzania danych (ELT) w Azure Data Factory oraz Databricks. Integracja danych z różnorodnych źródeł (bazy danych, pliki, API). Tworzenie i utrzymywanie potoków danych w ekosystemie Azure. Modelowanie danych zgodnie z najlepszymi praktykami (Data Vault, Kimball). Udział w projektach migracji danych do chmury Azure. Współpraca z interesariuszami w zakresie analizy wymagań oraz dokumentowania procesów. Zapewnienie jakości danych poprzez ich profilowanie i walidację. Praca w zespołach scrumowych oraz projektowych. Nasze wymagania Znajomość języka Python na poziomie umożliwiającym tworzenie procesów ETL i transformacji danych. Umiejętność efektywnego wykorzystywania SQL (T-SQL, PL/SQL) do manipulacji danymi i ich analizy. Praktyczne doświadczenie w tworzeniu i zarządzaniu potokami danych w środowisku Azure. Umiejętność pracy z dużymi zbiorami danych oraz optymalizacji zapytań SQL. Znajomość najlepszych praktyk modelowania danych (Data Vault, Kimball, Inmon). Doświadczenie w korzystaniu z narzędzi ETL oraz podejściem ELT w chmurze i rozwiązaniach hybrydowych. Umiejętność monitorowania jakości danych, ich profilowania oraz walidacji. Znajomość systemów do zarządzania kodem i dokumentacją (Git, Confluence) oraz narzędzi do organizacji pracy zespołowej (JIRA). Tak organizujemy naszą pracę Tak pracujemy u klienta agile Benefity dofinansowanie zajęć sportowych prywatna opieka medyczna ubezpieczenie na życie możliwość pracy zdalnej elastyczny czas pracy spotkania integracyjne Etapy rekrutacji Rozmowa z rekruterem Crestt Rozmowy z klientem Decyzja Technologie i narzędzia: Platforma chmurowa: Azure Data Factory, Azure Databricks, ADLS, Azure SQL, Azure Synapse, Azure DevOps Bazy danych: SQL Server, SAP HANA, Snowflake Języki: Python, SQL, PowerShell Modelowanie danych: Data Vault, star/snowflake schema Zarządzanie projektami i kodem: Git, JIRA, Confluence, ServiceNow Wyrażam zgodę na przetwarzanie przez Administratora, którym jest CRESTT Sp. z o.o. z siedzibą w Warszawie, danych osobowych zawartych w mojej ofercie pracy (formularzu aplikacyjnym i CV) dla potrzeb niezbędnych do realizacji procesu rekrutacji i selekcji pracowników, w tym również w celu kontaktu ze mną za pośrednictwem telefonu i maila. Pełną informację odnośnie przetwarzania Twoich danych osobowych znajdziesz tutaj.

Location: Warszawa, PL

Posted Date: 4/18/2025