Popis projektu

• vývoj Python notebooků v prostředí Azure Synapse / Fabric, které budou extrahovat metadata s databází, ETL frameworku a Power BI datasetů
• extrakce metadat z Azure Synapse uložených procedur, databázových pohledů, ETL objektů a Power BI datasetů
• parsování kódu generovaného interním frameworkem, využívajícím ETL definition tabulky a dostupnou interní dokumentaci
• transformace metadat do formátu kompatibilního s Apache Atlas entities a jejich integrace do Azure Purview
• implementace integrace pomocí Purview REST API s využitím knihovny PyApacheAtlas
• návrh a správa procesu orchestrací v rámci pipeline a verzování artefaktů v GitHub/Azure DevOps
• práce s objemem stovek až tisíců objektů (tabulky, pohledy, procedury, reporty) v rámci jednotného datového katalogu (Purview Data Map, Unified Catalog)
• spolupráce s interními týmy při pochopení procedur a frameworků a přenos znalostí do výsledného řešení
• dokumentace kódu a architektury pro zajištění udržovatelnosti a dalšího rozvoje

‍

Požadavky projektu

• pokročilé zkušenosti s:
  • Pythonem pro vývoj aplikací, práci s daty a textem (minimálně 3 roky praxe)
  • návrhem a implementací procesů pro extrakci, transformaci a integraci metadat
  • orientací v cizím kódu a jeho převodem do udržovatelných řešení
• zkušenosti s:
  • parsováním kódu a úpravami kódu generovaného frameworky (alespoň 2 roky praxe)
  • databázemi včetně SQL procedur, databázových pohledů a ETL objektů
  • spoluprací v týmu s využitím verzovacích systémů (GitHub, Azure DevOps) a vývojových postupů
  • prací s Azure Synapse a datovými úložišti (Azure Data Lake)
• pokročilá znalost:
  • konceptů správy metadat a nástrojů jako Azure Purview / Apache Atlas (minimálně 1 rok praxe)
  • používání Purview REST API a knihovny PyApacheAtlas
• znalost:
  • orchestrace pipeline v rámci Azure Synapse / Fabric
  • naming conventions a katalogizace dat (Purview Data Map, Unified Catalog)
• výhodou:
  • znalost Power BI M Query a BI metadat
  • předchozí zkušenosti s integrací metadat do lineage nástrojů

‍