Requirements: Polish
Company: LANCESOFT POLAND SPLKA Z OGRANICZONA ODPOWIEDZIALNOSCIA
Region: Warsaw , Masovian Voivodeship
technologies-expected :
- Python
- AWS
- SQL
- Snowflake Data Cloud
responsibilities :
- Jako czlonek zespolu OneData Federated Delivery, dzialajacego w ramach filaru Secure Foundations Tech Ecosystem, bedziesz odpowiedzialny za budowanie i utrzymywanie potokw danych (data pipelines) z rznych zrdel.
- Twoja praca pomoze kierownictwu firmy w zrozumieniu i podejmowaniu dzialan opartych na wynikach strategicznych, a takze wesprze zespoly produktowe i uslugowe w kierowaniu sie do wlasciwych grup uzytkownikw oraz mierzeniu efektw inicjatyw zwiekszajacych produktywnosc z wykorzystaniem GenAI.
- Bedziesz pobierac dane surowe z narzedzi takich jak Jira, GitHub, AWS, ServiceNow oraz innych infrastruktur chmurowych, a nastepnie przygotowywac je do analizy w hurtowni danych Snowflake w tym przetwarzac, oczyszczac, laczyc i modelowac dane.
- Staniesz sie czescia zwinnego zespolu danych, ktry sklada sie z inzynierw danych oraz analitykw danych. Bedziesz blisko wsplpracowac z zespolem, aby zapewnic, ze dane sa dopasowane do potrzeb i dostarczaja wartosc biznesowa.
- Bedziesz stosowac oraz promowac najlepsze praktyki inzynierii danych, takie jak CI/CD, obserwowalnosc (monitoring), bezpieczenstwo.
requirements-expected :
- Tworzenie nowych rozwiazan, rozwj istniejacych, rozwiazywanie bledw i wsparcie produkcyjne w ramach rozwoju ETL przy uzyciu natywnych uslug AWS.
- Integracja zbiorw danych z wykorzystaniem uslug AWS, takich jak Glue oraz Lambda.
- Wysylanie e-maili i powiadomien za pomoca AWS SNS.
- Tworzenie procesw ETL z uzyciem Python i PySpark.
- Monitorowanie procesw ETL przy uzyciu CloudWatch Events.
- Laczenie sie z rznymi zrdlami danych (np. S3) oraz walidacja danych z uzyciem Athena.
- Bieglosc w pracy zgodnie z metodyka Agile.
- Doswiadczenie w pracy z DBT oraz praktykami inzynierii oprogramowania (Terraform, srodowiska Dev/QA/Prod, CI/CD z uzyciem GitHub Actions, guardrails, testy bezpieczenstwa).
- Znajomosc zaawansowanego SQL i glebokie zrozumienie zapytan SQL (preferowany Snowflake).
- Doswiadczenie w pracy z Snowflake oraz zrozumienie architektury Snowflake, w tym pojec takich jak tabele wewnetrzne i zewnetrzne, stages, polityki maskowania danych (masking policies).
- Glebokie umiejetnosci techniczne w zakresie AWS Glue (Crawler, Data Catalog)
- Praktyczne doswiadczenie z Pythonem
- Znajomosc SQL
- Doswiadczenie z CloudFormation i Terraform
- Znajomosc CI/CD z wykorzystaniem GitHub Actions
- Modelowanie danych przy pomocy DBT
- Dobre zrozumienie uslug AWS, takich jak:
- S3
- SNS
- Secrets Manager
- Athena
- Lambda
- Dodatkowo pozadana jest znajomosc ktregos z nastepujacych narzedzi: Jira, GitHub, Snowflake.