RecursosMonitorização
Monitorização
Voltar | Lista de artigos
Como obter um relatório do estado de execução dos processos ETL?
Este documento descreve os passos para obter um relatório do estado de execução dos processos ETL. Todos os dados de execução das tarefas de ETL são armazenados na base de dados operacional do Business Analytics (base de dados Organization). O seguinte query sql permite obter uma lista das extrações executadas (de fontes de dados operacionais para a base de dados Staging), por data/hora de início e fim, bem como os respetivos resultados por cada package executado:
SELECT [Task] = ET.[Name], [Package] = ETP.[Name], [Iteration] = EIP.[Iteration], [State] = PS.[Name], [TotalRecords] = EIP.[TotalRecords], [TotalErrorRecords] = EIP.[TotalErrorRecords], [Start] = EIP.[StartDateTime], [End] = EIP.[EndDateTime], [Metadata] = EIP.[Metadata], [ResultMetadata] = EIP.[ResultMetadata], [ErrorDetail] = EIP.[ErrorDetail] FROM [Integration].[ExtractionInstancePackages] EIP LEFT JOIN [Integration].[ExtractionTaskPackages] ETP ON ETP.[Id] = EIP.[ExtractionTaskPackageId] LEFT JOIN [Integration].[PackageStates] PS ON PS.[Id] = EIP.[PackageStateId] LEFT JOIN [Integration].[ExtractionTasks] ET ON ET.[Id] = ETP.[ExtractionTaskId] ORDER BY EIP.[StartDateTime] DESCÀ semelhança das extrações, os dados referentes a integrações (da base de dados Staging para a Data Warehouse), podem ser obtidos através do seguinte query sql:
SELECT [Task] = IT.[Name], [Package] = ITP.[Name], [Iteration] = iIP.[Iteration], [State] = PS.[Name], [TotalNewRecords] = IIP.[TotalNewRecords], [TotalDeletedRecords] = IIP.[TotalDeleteRecords], [TotalUpdatedRecords] = IIP.[TotalUpdateRecords], [TotalErrorRecords] = IIP.[TotalErrorRecords], [Start] = IIP.[StartDateTime], [End] = IIP.[EndDateTime], [Metadata] = IIP.[Metadata], [ResultMetadata] = IIP.[ResultMetadata], [ErrorDetail] = IIP.[ErrorDetail] FROM [Integration].[IntegrationInstancePackages] IIP LEFT JOIN [Integration].[IntegrationTaskPackages] ITP ON ITP.[Id] = IIP.[IntegrationTaskPackageId] LEFT JOIN [Integration].[PackageStates] PS ON PS.[Id] = IIP.[PackageStateId] LEFT JOIN [Integration].[IntegrationTasks] IT ON IT.[Id] = ITP.[IntegrationTaskId] ORDER BY IIP.[StartDateTime] DESC[icon name="info-circle" class="" unprefixed_class=""] Sugestão de implementação: Incorporar estas listas em dashboard no frontend de visualização.
Esta página foi útil?
Obrigado pelo seu voto.
login para deixar a sua opinião.
Obrigado pelo seu feedback. Iremos analisá-lo para continuarmos a melhorar!