Popis projektu

• integrace nových zdrojů dat, API, různých databází a streamovacích platforem (Kafka)
• vývoj a správa datových toků v Azure Data Lake ve vrstvách Bronze, Silver a Gold
• práce s metadatatovým frameworkem a navrhování metadatatově řízených řešení
• nastavování a správa CI/CD pipelines a účast při releasovacím procesu
• vývoj a údržba DWH tabulek v Azure SQL, včetně implementace SCD2 a hvězdicového schématu
• tvorba a optimalizace ETL/ELT procesů v Pythonu/PySpark
• po onboardingu 2-3 dny onsite

‍

Požadavky projektu

• alespoň 1 rok praktických zkušeností s daty v Azure Data Lake (Bronze, Silver, Gold)
• minimálně 1 rok zapojení do CI/CD procesů a releasování kódu
• alespoň 1 rok zkušeností s vývojem tabulek v Azure SQL
• nejméně 2 roky praxe s vývojem DWH tabulek (SCD2, hvězdicové schéma)
• praktické zkušenosti s Pythonem/PySpark v oblasti ETL, transformací a optimalizace výkonu
• schopnost pracovat s metadatatovými frameworky a metadatatově řízenými řešeními
• praktická zkušenost s integrací zdrojů (API databáze, Kafka)
• angličtina na úrovni min B2, pro komunikaci v mezinárodním týmu a tvorbu dokumentace

‍