Requirements: Polish
Company: Kaczmarski Group
Region: Wroclaw , Lower Silesian Voivodeship
Jak pracujemy w projektach?
Pracujemy w metodyce Kanban
Realizujemy swoje projekty holistycznie majac pelna kontrole nad architektura rozwiazania
Wspieramy sie standaryzacja rozwiazan i automatyzacja generowania kodu w celu budowania srodowiska typu low-code
Przywiazujemy uwage do zarzadzania metadanymi oraz automatycznego budowania dokumentacji przeplywu danych (data-lineage)
Tworzymy innowacyjne rozwiazania/produkty - wsparcie biznesu
Narzedzia, z ktrych korzystamy:
Apache Ariflow 2
Apache Spark 3 z wykorzystaniem PySpark
Visual Studio Code oraz JupyterHub
Microsoft SQL Server 2022
Twj zakres obowiazkw:
Analiza zrdel danych (data discovery) oraz automatyzacja procesu ich pozyskiwania do systemw analitycznych
Integracja z wewnetrznymi i zewnetrznymi interfejsami API (rest api, odata)
Wsparcie projektw migracyjnych z rozwiazan MS Integration Services do Spark + Airflow
Budowanie struktur danych w relacyjnej hurtowni danych (MS SQL) oraz Data Lake (delta.io)
Testowanie i dokumentowanie wykonywanych prac programistycznych.
Monitorowanie procesw przetwarzania danych i reagowanie na potencjalne bledy
Rozwijanie narzedzi automatyzujacych prace programistyczne (m.in. wewnetrzna biblioteka standardowa, aplikacje konsolowe, cookiecutter oraz jinja templates)
Nasze wymagania:
Bardzo dobra znajomosc programowania w Python (v. 3.6+) min 2 lata doswiadczenia
Dobra znajomosc procesowania danych w Python z wykorzystaniem Apache Spark lub Pandas/Dask min rok doswiadczenia
Dobra znajomosc pracy z relacyjna baza danych (preferowana MS SQL) poprzez interfejs pyodbc lub sqlalchemy
Podstawowa znajomosc Apache Airflow 2+
Znajomosc i umiejetnosc implementacji OOP oraz SOLID,
Umiejetnosc pisania testw jednostkowych i integracyjnych - TDD, znajomosc frameworka pytest
To oferujemy
prace zdalna (1 dzien w miesiacu z biura)
mozliwosc realizacji wlasnych pomyslw i projektw;
udzial w nieszablonowych i innowacyjnych projektach dla splek z grupy Kaczmarski Group;