Requirements: Polish
Company: apreel Sp. z o.o.
Region: Wroclaw , Lower Silesian Voivodeship
Projekt: Data platform - HD w Cloud (ELT w oparciu o silnik procesowania danych na Azure Databricks lub BigQuery na GCP oraz natywne uslugi dla Ingestu, Transformacji i Orkiestracji danych) data modellingu (modelowanie struktur DB). Budujemy zespl, ktrego zadaniem bedzie zbudowanie takiej platformy, a potem poszczeglnych procesw. Wybr chmury jeszcze trwa.
UWAGI:
DWH w podejsciu ELT z architektura medalionowa (warstwy Bronze, Silver i Gold) tzw. Lakehouse. Niestety na obecnym etapie nie wiemy jeszcze, czy bedziemy osadzac Data Platform w chmurze Azure czy GCP. Tym samym stawiamy na interdyscyplinarnosc (kompetencje zarwno w Azure i GCP), a potencjalnie rozwazane komponenty to:
Azure:
- Storage: ADLS
- Ingest: ADF i Databricks
- Transformacje: Datatbricks/dbt
- Orkiestracja: ADF/Airflow
- DataGov i DataQuality: UnityCatalog/Purview
GCP:
- Storage: CloudObjectStorage
- Ingest: Pub/Sub i Dataflow
- Transformacje: BigQuery/dbt
- Orkiestracja: Composer/Airflow
- DataGov i DataQuality: Dataplex
Oferta:
- Lokalizacja: Wroclaw/ praca 100% zdalna
- Start: asap
- Wsplpraca: projekt szacowany co najmniej do lipca 2026
- Zatrudnienie: przez apreel na zasadach B2B
- Stawka: 170-195 PLN netto/h +VAT
Wymagane kompetencje:
- Modelowanie struktur bazodanowych w podejsciu DDD (DataDomainDriven Designing), wypracowywanie fizycznych modeli danych, Data Modelling na podstawie wsadu z Data Governance (tj. na podstawie glosariusza danych oraz modelu konceptualnego/ ew. logicznego)
- Data Mapping
- kompetencje zarwno w Azure i GCP
- Przygotowywanie warstwy Data Contracts (wymagan HD do systemw zrdlowych pod merytoryczna plaszczyzne kontraktu na dane) na podstawie zamodelowanych uprzednio struktur dla poszczeglnych domen danych
- [Potrzebne bedzie wiec doswiadczenie we wsplpracy z systemami zrdlowymi przy redagowaniu wymagan i tworzeniu data kontraktw na bazie fizycznych modeli domenowych w DWH.]
- Wsplpraca przy procesie Ingestu danych z systemw zrdlowych w scenariuszach: (1) bezposredni querying baz danych (tj.odpytywanie tzw. bulk read modelu/CDC), (2) poprzez komunikacje z API lub (3) Event Streaming
- Implementacja modeli danych dla poszczeglnych domen w Data Platform (warstwa Bronze, Silver i Gold) w podejsciu ELT
Mile widziane:
- Umiejetnosc redagowania przejrzystych dokumentw technicznych np. specyfikacji technicznej kontraktu, definicji pl, warunkw ekstrakcji itp.
- Doswiadczenie w tworzeniu dokumentacji pod mapowania danych zrdlowych do docelowych struktur w DWH
- Umiejetnosc interpretacji fizycznego/logicznego modelu danych (ERD, modele relacyjne)
- Wiedza na temat zagadnien Data Quality, Data Lineage i zasad zarzadzania danymi
- Umiejetnosc korzystania z narzedzi do zarzadzania metadanymi (np. Azure Purview, etc.)
Projekt: Data platform - HD w Cloud (ELT w oparciu o silnik procesowania danych na Azure Databricks lub BigQuery na GCP oraz natywne uslugi dla Ingestu, Transformacji i Orkiestracji danych) data modellingu (modelowanie struktur DB). Budujemy zespl, ktrego zadaniem bedzie zbudowanie takiej platformy, a potem poszczeglnych procesw. Wybr chmury jeszcze trwa.
UWAGI:
DWH w podejsciu ELT z architektura medalionowa (warstwy Bronze, Silver i Gold) tzw. Lakehouse. Niestety na obecnym etapie nie wiemy jeszcze, czy bedziemy osadzac Data Platform w chmurze Azure czy GCP. Tym samym stawiamy na interdyscyplinarnosc (kompetencje zarwno w Azure i GCP), a potencjalnie rozwazane komponenty to:
Azure:
- Storage: ADLS
- Ingest: ADF i Databricks
- Transformacje: Datatbricks/dbt
- Orkiestracja: ADF/Airflow
- DataGov i DataQuality: UnityCatalog/Purview
GCP:
- Storage: CloudObjectStorage
- Ingest: Pub/Sub i Dataflow
- Transformacje: BigQuery/dbt
- Orkiestracja: Composer/Airflow
- DataGov i DataQuality: Dataplex
Oferta:
- Lokalizacja: Wroclaw/ praca 100% zdalna
- Start: asap
- Wsplpraca: projekt szacowany co najmniej do lipca 2026
- Zatrudnienie: przez apreel na zasadach B2B
- Stawka: 170-195 PLN netto/h +VAT
,[] Requirements: Cloud, Azure Databricks, BigQuery, GCP, Data modelling, R, DDD, Data mapping, Azure, C, API, DWH, DWH, ADLS, ADF, Databricks, dbt, Airflow, PUB Tools: Jira, Confluence, GitLab, GIT, Jenkins, Agile, Scrum. Additionally: Remote work.