Data Engineer (LLM project)

Data Engineer (LLM project) Miejsce pracy: Warszawa Technologie, których używamy Wymagane Python Snowflake SQL AWS Microsoft Azure Apache Airflow Git O projekcie Poszukujemy kandydatów na stanowisko Data Engineer. Praca jest dedykowana dla międzynarodowej firmy farmaceutycznej. Data Engineer dołączy do zespołu ds. rozwoju rozwiązań AI, który będzie tworzył najnowocześniejsze aplikacje wykorzystujące duże modele językowe (LLM). Zespół będzie tworzyć kompleksowe rozwiązania AI: od koncepcji, przez prototypowanie, produkcję, po operacje. Inżynier danych będzie odpowiedzialny za projektowanie, budowę i utrzymanie solidnej infrastruktury danych w celu obsługi aplikacji AI. Twój zakres obowiązków Współtworzenie aplikacji generatywnej AI: Współpraca z inżynierami AI, naukowcami zajmującymi się danymi, właścicielami produktów i innymi programistami Rozwój infrastruktury danych i integracja danych: Projektowanie i wdrażanie skalowalnych, wysokowydajnych pipelinów danych dla aplikacji AI/GenAI, zapewniających wydajne pobieranie, transformację, przechowywanie i pobieranie danych Integrowanie różnych baz danych, wymagające zrozumienia architektur danych / ekosystemu danych domenowych Zarządzanie bazą danych wektorową: Praca z bazami danych wektorowych (np. AWS OpenSearch lub Azure AI Search) w celu przechowywania i pobierania Inżynieria danych w chmurze: Tworzenie i utrzymywanie rozwiązania danych w chmurze przy użyciu AWS (OpenSearch, S3) lub Azure (Azure AI Search, Azure Blob Storage) Implementacja Snowflake: Projektowanie i optymalizowanie przechowywania i przetwarzania danych przy użyciu Snowflake w celu skalowalnych, natywnych dla chmury rozwiązań analitycznych Opracowanie pipelinów ETL/ELT Monitorowanie i konserwacja: Konfigurowanie monitorowania, alertów i rejestrowania dla pipelinów danych, zapewniając wysoką dostępność i niezawodność Nasze wymagania Co najmniej 3 lata na podobnym stanowisku Znajomość Python, Snowflake, SQL/NoSQL i natywnych języków baz danych wektorowych Znajomość technologii chmurowych AWS lub Azure Doświadczenie w budowaniu skalowalnych przepływów pracy ETL/ELT przy użyciu dbt, Apache Airflow lub podobnych Umiejętność projektowania i integrowania interfejsów API RESTful w celu wymiany danych Znajomość Git, CI/CD Bardzo dobry angielski (min B2/C1) Mile widziane Znajomość obszaru danych specyficznych dla AI i LLM Tak organizujemy naszą pracę Tak pracujemy u klienta koncentrujesz się na jednym projekcie masz wpływ na produkt koncentrujesz się na rozwoju produktu koncentrujesz się na utrzymaniu kodu Tak pracujemy nad projektem wzorce projektowe Continuous Deployment Continuous Integration dokumentacja To oferujemy 100% pracy zdalnej Praca w oparciu o kontrakt B2B Stawka (130-150) pln/h VAT ITP IT PERFORMANCE sp. z o.o. Jako ITP IT Performance specjalizujemy się w outsourcingu, konsultingu i rekrutacji głównie w obszarze IT. Klikając w przycisk „Aplikuj” lub w inny sposób wysyłając zgłoszenie rekrutacyjne, zgadzasz się na przetwarzanie Twoich danych osobowych przez ITP IT PERFORMANCE sp. z o.o. z siedzibą w: Długa 29, 00-238 Warszawa (Pracodawca), jako administratora danych osobowych w celu przeprowadzenia rekrutacji na stanowisko wskazane w ogłoszeniu. Twoje dane osobowe będą przetwarzane w oparciu o następujące podstawy prawne: (a) aby podjąć działania na Twoje żądanie przed zawarciem umowy (np. informacje o oczekiwanym wynagrodzeniu i dostępności do rozpoczęcia pracy); (b) w oparciu o nasz prawnie uzasadniony interes (np. imię, nazwisko, data urodzenia, dane kontaktowe, wykształcenie, kwalifikacje zawodowe, przebieg dotychczasowego zatrudnienia); c) w oparciu o Twoją zgodę, która wyrażona jest poprzez przeslanie dokumentów aplikacyjnych zawierających takie informacje jak np. wizerunek czy zainteresowania.Podanie wszystkich danych osobowych, o których mowa powyżej jest dobrowolne, natomiast dane wymienione w lit. a) i b) są niezbędne do wzięcia udziału w rekrutacji. Niepodanie danych skutkuje brakiem możliwości rozpatrzenia kandydatury. Podanie pozostałych danych jest dobrowolne, ale może pomóc w sprawnym przeprowadzeniu procesu rekrutacji.Masz prawo żądać dostępu do Twoich danych (w tym uzyskania ich kopii), sprostowania danych, ich usunięcia, ograniczenia przetwarzania, przeniesienia, jak również wniesienia sprzeciwu wobec ich przetwarzania. Masz także prawo wniesienia skargi do Prezesa Urzędu Ochrony Danych Osobowych.Twoje dane osobowe mogą zostać przekazane dostawcom usługi publikacji ogłoszeń o pracę, dostawcom systemów do zarządzania rekrutacjami, dostawcom usług IT (hosting), dostawcom systemów informatycznych.Podane przez Ciebie dane osobowe nie będą wykorzystywane w celu profilowania albo podejmowania decyzji w sposób zautomatyzowany.Twoje dane osobowe będą przetwarzane przez okres maks. 1 roku od zakończenia publikacji ogłoszenia, chyba, że wyraziłeś odrębną zgodę na wykorzystanie Twoich danych osobowych w przyszłych rekrutacjach.W celu realizacji praw lub w przypadku jakichkolwiek pytań związanych z przetwarzaniem Twoich danych osobowych skontaktuj się z nami pod adresem: officeitperformance.pl.

Location: Warszawa, PL

Posted Date: 4/15/2025