Senior ML Engineer (with DataBricks)

🌴 Forma pracy: fulltime, 100% zdalnie 👈

⏰ Start: 03.03.2025 👈

Cześć! 👋 

Dla naszego klienta z USA poszukujemy Senior ML Engineera. Klient zajmuje się wspieraniem firm w migracjach chmurowych. Projekty które prowadzi klient przeważnie są krótkoterminowe (często są przedłużane), a ze względu na stałość zapotrzebowania klient jest w stanie zaproponować nowy temat bezpośrednio po zakończeniu danego projektu.

Projekt, do którego obecnie poszukujemy spcecjalisty, dotyczy migracji modelu ML (bez wprowadzania zmian w modelu) z różnych narzędzi AWS do DataBricks dla firmy tworzącej platformę do zarządzania danymi klientami. Klient przeprowadza migrację narzędzie ML i wymaga doświadczenia zarówno w AWS jak i zastosowaniu ML w DataBricks (z naciskiem na Databricksy oraz MLFlow).

Praca przewidziana jest na około 3 miesiące z możliwym przedłużeniem. Praca w zespole, nad którym będzie czuwać architekt nad którym będzie czuwać architekt (z zespołu z USA) odpowiedzialny za główną komunikację z klientem. Mimo to zależy nam by kandydaci wykazywali się dobrymi umiejętnościami komunikacyjnymi.

Projekt dla klienta z USA, natomiast nie wymagamy pracy w pełnej zakładce godzinowej - jesteśmy otwarci na dostosowanie godzin pracy (np. od 10:00 do 18:00).

Zadania:

📍 Ocena wymagań projektowych, analiza obecnej oraz stworzenie nowej architektury modelu

📍 Przygotowanie platformy do integracji z Databricks oraz zapewnienie zgodności i konfiguracji Unity Catalog

📍Przetwarzanie i transformacja danych z agregacją metryk dla dwóch powiązanych zadań Glue

📍Tworzenie pipeline’ów ETL do przetwarzania danych o wizytach na platformie i użytkownikach, uwzględniających spłaszczanie danych na potrzeby modelu

📍 Implementacja MLOps z wykorzystaniem MLflow

📍 Uruchomienie modelu na Databricks Serving Endpoints w celu testowania opóźnień

📍 Stworzenie ram testowych i wsparcie zespołu Tealium w testowaniu

📍 Przygotowanie planu implementacji do uruchomienia na żywo

📍 Dokumentacja wyników pracy z wykorzystaniem Unity Catalog

Wymagania:

⚡️ 6+ lat doświadczenia w obszarach data engineering

⚡️ Solidne doświadczenie w obszarach ML

⚡️ Doświadczenie z MLOps oraz MLflow

⚡️ Bardzo dobra znajomość Apache Spark oraz platformy DataBricks

⚡️ Doświadczenie w pracy w środowisku AWS

⚡️ Doświadczenie w przeprowadzaniu podobnych migracji

⚡️ Umiejętności interpersonalne i zespołowe

⚡️ Umiejętność podejmowania inicjatywy i samodzielność

⚡️ Angielski na poziomie umożliwiającym swobodną komunikację w zespole

Mile widziane:

⚡️ Doświadczenie w projektowaniu i optymalizacji przepływów danych za pomocą, DBT, SSIS, TimeXtender lub podobnych rozwiązań (ETL, ELT)

⚡️ Doświadczenie z dowolnymi platformami big data lub noSQL (Redshift, Hadoop, EMR, Google Data itp.)

Jak działamy i co oferujemy?

🎯 Stawiamy na otwartą komunikację zarówno w procesie rekrutacji jak i po zatrudnieniu - zależy nam na klarowności informacji dotyczących procesu i zatrudnienia

🎯 Do rekrutacji podchodzimy po ludzku, dlatego upraszczamy nasze procesy rekrutacyjne, żeby były możliwie jak najprostsze i przyjazne kandydatowi

🎯 Pracujemy w imię zasady "remote first", więc praca zdalna to u nas norma, a wyjazdy służbowe ograniczamy do minimum

🎯 Oferujemy prywatną opiekę medyczną (Medicover) oraz kartę Multisport dla kontraktorów