Senior Data Engineer (Python, Snowflake, Airflow)

Senior Data Engineer (Python, Snowflake, Airflow) Miejsce pracy: Warszawa Technologies we use Expected Python airflow Snowflake Data Cloud dbt ETL Pandas Apache Airflow AWS Google Cloud Platform Microsoft Azure Optional Kafka Spark About the project We are looking for an experienced Data Engineer to join a dynamic team in an exciting long-term project with one of our key clients in the Pharmaceutical industry. This project focuses on building and optimizing modern data pipelines and ensuring seamless integration across cloud-based data platforms. The ideal candidate will have strong experience in data engineering with Python, Snowflake, and Airflow, combined with a deep understanding of data integration, cloud infrastructure, and modern ETL processes. Your responsibilities Design, develop, and maintain data pipelines using Python, Airflow, and Snowflake. Collaborate with cross-functional teams to understand data requirements and build efficient solutions for data integration. Implement and optimize ETL/ ELT processes, ensuring high-quality data transformation and delivery. Work with cloud-based platforms (AWS, GCP, or Azure) to ensure seamless data storage and processing. Leverage DBT for data modeling and transformation tasks. Ensure continuous integration and delivery (CI/CD) pipelines are effectively supporting data workflows. Provide support for troubleshooting, optimizing, and maintaining existing data systems. Design and implement best practices for managing data architectures (including Data Vault, Kimball, SCD). Our requirements Strong experience in Data Engineering and data pipeline development Proficiency in Python, particularly for data processing, and familiarity with libraries like pandas, pyarrow, and SQLAlchemy. Solid experience with Snowflake (data warehousing), including working with warehouses and queries at scale. Hands-on experience with Apache Airflow for workflow orchestration. Strong knowledge of ETL/ELT processes and best practices. Familiarity with DBT and its use in data transformation. Experience with cloud platforms, such as AWS, GCP, or Azure. Understanding of modern data architecture concepts, including Data Vault, Kimball, and Slowly Changing Dimensions (SCD). Experience working in CI/CD environments for data pipelines. Optional Experience with machine learning (ML) or related technologies. Familiarity with containerization technologies such as Docker. Exposure to additional data tools like Kafka, Spark, or Hado This is how we organize our work This is how we work at the client's site SQUARE ONE RESOURCES sp. z o.o. At Square One Poland we link IT experts with the business. With over 25 years of experience, we specialize in recruitment processes on a global scale. Despite years of experience, we still have a startup DNA and this is our advantage. Our offices are located in London and Warsaw, however, we can reach clients from all over the world, from start-ups to big worldwide corporations. Klikając w przycisk „Aplikuj” lub w inny sposób wysyłając zgłoszenie rekrutacyjne, zgadzasz się na przetwarzanie Twoich danych osobowych przez SQUARE ONE RESOURCES sp. z o.o. z siedzibą w: Puławska 2, 02-566 Warszawa (Pracodawca), jako administratora danych osobowych w celu przeprowadzenia rekrutacji na stanowisko wskazane w ogłoszeniu. Twoje dane osobowe będą przetwarzane w oparciu o następujące podstawy prawne: (a) aby podjąć działania na Twoje żądanie przed zawarciem umowy (np. informacje o oczekiwanym wynagrodzeniu i dostępności do rozpoczęcia pracy); (b) w oparciu o nasz prawnie uzasadniony interes (np. imię, nazwisko, data urodzenia, dane kontaktowe, wykształcenie, kwalifikacje zawodowe, przebieg dotychczasowego zatrudnienia); c) w oparciu o Twoją zgodę, która wyrażona jest poprzez przeslanie dokumentów aplikacyjnych zawierających takie informacje jak np. wizerunek czy zainteresowania.Podanie wszystkich danych osobowych, o których mowa powyżej jest dobrowolne, natomiast dane wymienione w lit. a) i b) są niezbędne do wzięcia udziału w rekrutacji. Niepodanie danych skutkuje brakiem możliwości rozpatrzenia kandydatury. Podanie pozostałych danych jest dobrowolne, ale może pomóc w sprawnym przeprowadzeniu procesu rekrutacji.Masz prawo żądać dostępu do Twoich danych (w tym uzyskania ich kopii), sprostowania danych, ich usunięcia, ograniczenia przetwarzania, przeniesienia, jak również wniesienia sprzeciwu wobec ich przetwarzania. Masz także prawo wniesienia skargi do Prezesa Urzędu Ochrony Danych Osobowych.Twoje dane osobowe mogą zostać przekazane dostawcom usługi publikacji ogłoszeń o pracę, dostawcom systemów do zarządzania rekrutacjami, dostawcom usług IT (hosting), dostawcom systemów informatycznych.Podane przez Ciebie dane osobowe nie będą wykorzystywane w celu profilowania albo podejmowania decyzji w sposób zautomatyzowany.Twoje dane osobowe będą przetwarzane przez okres maks. 1 roku od zakończenia publikacji ogłoszenia, chyba, że wyraziłeś odrębną zgodę na wykorzystanie Twoich danych osobowych w przyszłych rekrutacjach.W celu realizacji praw lub w przypadku jakichkolwiek pytań związanych z przetwarzaniem Twoich danych osobowych skontaktuj się z nami pod adresem: plinfosquareoneresources.com.

Location: Warszawa, PL

Posted Date: 4/17/2025