Como obter um relatório do estado de execução dos processos ETL?

Este documento descreve os passos para obter um relatório do estado de execução dos processos ETL. Todos os dados de execução das tarefas de ETL são armazenados na base de dados operacional do Business Analytics (base de dados Organization). O seguinte query sql permite obter uma lista das extrações executadas (de fontes de dados operacionais para a base de dados Staging), por data/hora de início e fim, bem como os respetivos resultados por cada package executado:

SELECT 
                 [Task]              = ET.[Name],
		 [Package]           = ETP.[Name], 
		 [Iteration]         = EIP.[Iteration], 
		 [State]             = PS.[Name], 
		 [TotalRecords]      = EIP.[TotalRecords], 
		 [TotalErrorRecords] = EIP.[TotalErrorRecords], 
                 [Start]             = EIP.[StartDateTime], 
		 [End]               = EIP.[EndDateTime], 
		 [Metadata]          = EIP.[Metadata],
		 [ResultMetadata]    = EIP.[ResultMetadata],
		 [ErrorDetail]       = EIP.[ErrorDetail]
FROM            
[Integration].[ExtractionInstancePackages] EIP 
LEFT JOIN [Integration].[ExtractionTaskPackages] ETP ON ETP.[Id] = EIP.[ExtractionTaskPackageId]
LEFT JOIN [Integration].[PackageStates] PS           ON PS.[Id] =  EIP.[PackageStateId] 
LEFT JOIN [Integration].[ExtractionTasks] ET         ON ET.[Id] = ETP.[ExtractionTaskId] 
ORDER BY EIP.[StartDateTime] DESC

À semelhança das extrações, os dados referentes a integrações (da base de dados Staging para a Data Warehouse), podem ser obtidos através do seguinte query sql:

SELECT 
                 [Task]                = IT.[Name],
		 [Package]             = ITP.[Name], 
		 [Iteration]           = iIP.[Iteration], 
		 [State]               = PS.[Name], 
		 [TotalNewRecords]     = IIP.[TotalNewRecords], 
		 [TotalDeletedRecords] = IIP.[TotalDeleteRecords], 
		 [TotalUpdatedRecords] = IIP.[TotalUpdateRecords], 
		 [TotalErrorRecords]   = IIP.[TotalErrorRecords], 
                 [Start]               = IIP.[StartDateTime], 
		 [End]                 = IIP.[EndDateTime], 
		 [Metadata]            = IIP.[Metadata],
		 [ResultMetadata]      = IIP.[ResultMetadata],
		 [ErrorDetail]         = IIP.[ErrorDetail]
FROM            
[Integration].[IntegrationInstancePackages] IIP 
LEFT JOIN [Integration].[IntegrationTaskPackages] ITP ON ITP.[Id] = IIP.[IntegrationTaskPackageId]
LEFT JOIN [Integration].[PackageStates] PS            ON PS.[Id] =  IIP.[PackageStateId] 
LEFT JOIN [Integration].[IntegrationTasks] IT         ON IT.[Id] = ITP.[IntegrationTaskId] 
ORDER BY IIP.[StartDateTime] DESC

[icon name="info-circle" class="" unprefixed_class=""] Sugestão de implementação: Incorporar estas listas em dashboard no frontend de visualização.