Requirements: Polish
Company: Kaczmarski Group
Region: Wroclaw , Lower Silesian Voivodeship
Jak pracujemy w projektach? Pracujemy w metodyce Kanban Realizujemy swoje projekty holistycznie majac pelna kontrole nad architektura rozwiazania Wspieramy sie standaryzacja rozwiazan i automatyzacja generowania kodu w celu budowania srodowiska typu low-code Przywiazujemy uwage do zarzadzania metadanymi oraz automatycznego budowania dokumentacji przeplywu danych (data-lineage) Tworzymy innowacyjne rozwiazania/produkty - wsparcie biznesu Narzedzia, z ktrych korzystamy: Apache Ariflow 2 Apache Spark 3 z wykorzystaniem PySpark Visual Studio Code oraz JupyterHub Microsoft SQL Server 2022 Twj zakres obowiazkw: Analiza zrdel danych (data discovery) oraz automatyzacja procesu ich pozyskiwania do systemw analitycznych Integracja z wewnetrznymi i zewnetrznymi interfejsami API (rest api, odata) Wsparcie projektw migracyjnych z rozwiazan MS Integration Services do Spark Airflow Budowanie struktur danych w relacyjnej hurtowni danych (MS SQL) oraz Data Lake (delta.Io) Testowanie i dokumentowanie wykonywanych prac programistycznych. Monitorowanie procesw przetwarzania danych i reagowanie na potencjalne bledy Rozwijanie narzedzi automatyzujacych prace programistyczne (m.In. wewnetrzna biblioteka standardowa, aplikacje konsolowe, cookiecutter oraz jinja templates) Nasze wymagania: Bardzo dobra znajomosc programowania w Python (v. 3.6) min 2 lata doswiadczenia Dobra znajomosc procesowania danych w Python z wykorzystaniem Apache Spark lub Pandas/Dask min rok doswiadczenia Dobra znajomosc pracy z relacyjna baza danych (preferowana MS SQL) poprzez interfejs pyodbc lub sqlalchemy Podstawowa znajomosc Apache Airflow 2 Znajomosc i umiejetnosc implementacji OOP oraz SOLID, Umiejetnosc pisania testw jednostkowych i integracyjnych - TDD, znajomosc frameworka pytest To oferujemy prace zdalna (1 dzien w miesiacu z biura) mozliwosc realizacji wlasnych pomyslw i projektw; udzial w nieszablonowych i innowacyjnych projektach dla splek z grupy Kaczmarski Group;