Senior Data Engineer (GenAI)

Everything is possible with the right people

In4ge jest firmą rekrutacyjną, w której wierzymy, że wszystko jest możliwe dzięki odpowiednim ludziom. Naszym celem jest połączenie najbardziej utalentowanych pracowników z odpowiednimi firmami, tworząc synergiczne relacje, które przyczyniają się do wzrostu i sukcesu każdej ze stron. Uważamy, że prawdziwą wartość stanowią ludzie pracujący wspólnie w atmosferze wzajemnego szacunku i zaufania.

Opis stanowiska:

Poszukujemy doświadczonego Data Engineera, który będzie kluczowym członkiem zespołu rozwijającego rozwiązania GenAI. Szukamy osób, które posiadają praktyczne doświadczenie w przetwarzaniu i inżynierii danych na potrzeby modeli LLM, chatbotów, agentów AI oraz RAG, a także potrafących projektować i optymalizować skalowalne infrastruktury danych.

Na tym stanowisku będziesz odpowiedzialny za tworzenie i zarządzanie zaawansowanymi pipeline'ami danych, integrację danych dla systemów AI oraz zapewnienie ich efektywnego przetwarzania, jakości i bezpieczeństwa. Współpracując z zespołami ML, AI i DevOps, będziesz wdrażać nowoczesne rozwiązania umożliwiające rozwój i operacjonalizację modeli GenAI.

Zakres obowiązków:

• Projektowanie, wdrażanie i optymalizacja pipeline’ów danych wspierających LLM, chatboty, agentów AI i RAG.
• Integracja i transformacja danych – przetwarzanie danych strukturalnych i nieustrukturyzowanych na potrzeby modeli AI.
• Zarządzanie hurtowniami danych i jeziorem danych – budowa i utrzymanie środowisk Data Lake, Data Warehouse i rozwiązań typu Lakehouse.
• Wdrażanie i optymalizacja systemów ETL/ELT oraz procesów przetwarzania strumieniowego i batchowego.
• Zarządzanie jakością i bezpieczeństwem danych w kontekście wdrażania rozwiązań GenAI.
• Ścisła współpraca z zespołami ML, AI i DevOps w zakresie operacjonalizacji modeli AI.
• Monitorowanie i optymalizacja kosztów przetwarzania danych w środowiskach chmurowych.

Wymagania:

• 10 lat doświadczenia w inżynierii danych, w tym min. 5 lat na stanowisku Data Engineera.
• Doświadczenie w budowie i wdrażaniu infrastruktury danych dla GenAI (LLM, chatboty, AI, RAG).
• Biegła znajomość technologii chmurowych (AWS, GCP, Azure) oraz usług do przetwarzania danych (BigQuery, Snowflake, Databricks, Redshift).
• Znajomość języków programowania: Python, SQL, Scala.
• Doświadczenie w projektowaniu i optymalizacji ETL/ELT (Apache Airflow, dbt, Spark, Kafka, Flink).
• Zrozumienie wymagań operacyjnych modeli AI i umiejętność dostosowywania infrastruktury danych do ich potrzeb.
• Znajomość najlepszych praktyk w zakresie zarządzania jakością i bezpieczeństwem danych.
• Umiejętność pracy w zespole interdyscyplinarnym – współpraca z Data Scientistami, inżynierami AI i DevOps.

Mile widziane:

• Doświadczenie w operacjonalizacji modeli AI/ML (MLflow, Kubeflow).
• Znajomość technologii RAG i optymalizacji wyszukiwania semantycznego.
• Certyfikacje chmurowe (AWS Certified Data Analytics, Google Professional Data Engineer, Azure Data Engineer).