Total de visualizações de página

segunda-feira, 16 de dezembro de 2013

Maturidade em Dados-DMM-Data Maturity Model-Parte VI


A última categoria do DMM Qualidade de Dados tem também dois grandes componentes, com 6 áreas de processos. O primeiro componente é FRAMEWORK DE QUALIDADE DE DADOS  e o segundo é GARANTIA DA QUALIDADE DE DADOS, conforme a figura DMM-08, abaixo.


Figura DMM-08- Qualidade de Dados

Esse componente trata do assunto que , no fundo, é o objetivo final de tudo isso. A Qualidade dos dados e as suas consequências e benefícios. A categoria tem dois componentes: Um trata da estratégia a ser adotada, definida num framework e o outro trata da Garantia da Qualidade de Dados. Simplificadamente uma forma de planejar e a outra de aplicar. O framework de Qualidade de dados inicia com um processo chamado Desenvolvimento da Estratégia de Qualidade de dados(32) Esse processo visa definir os planos de ação para a melhoria do estado corrente de Qualidade dos dados(QD) para atingir os objetivos da organização. Deve ser uma  estratégia de QD definida baseada  na análise do estado corrente de qualidade de dados comparado com os requisitos de qualidade necessários  para alcançar os objetivos  de negócios e planos estratégicos. Ela deverá estar  alinhada com os objetivos gerais de GD e ligados com os requisitos de negócios. O objetivo central é criar uma cultura compartilhada de QD começando com a gerência executiva e integrada  ao longo das operações da empresa. A fim de realizar isso, a empresa deve concordar com um perfil consistente de QD que possa ser medido ao longo de múltiplas unidades de negócios e aplicações. Isso permitirá aos patrocinadores de negócios, usuários de dados, apoio de infra e gerência sênior  se ligarem aos processos de gerência de QD para quantificar valores(ROI, etc) e alinhar com objetivos como risco computacional, transparência, melhores análises, automação de processo de negócios, serviços de clientes, capacidade de aderência e perdas de oportunidades. 

A seguir vem Medição e Análise da Qualidade de Dados(33) que objetiva definir as atividades  para medir qualidade de dados através do seu ciclo de vida, incluindo a criação de objetivos das medidas, bem como o mecanismo de obter, armazenar, analisar, abstrair, agregar, reportar, interpretar e iniciar ações de correção , caso apropriado. Deve-se definir um processo de medição de qualidade  de dados associado com a implementação de um sistema para gerenciar as ações corretivas. As medidas produzem um meio de feedback estruturado para os stakeholders e ajudam  a sinalizar pontos a serem observados e gerenciados e mantem a GD alinhada com os objetivos de negócios. Medições e análise incorporam análise das necessidades de clientes; o projeto, desenvolvimento, modificação e execução das regras de negócios;  implementam mecanismos de revisão de custo/benefício; e priorizam iniciativas de melhorias em QD baseadas em critérios de ROI da empresa. A medição de QD pode ser extremamente útil quando apresentada como “scorecards” para stakeholders, ajudando a sua compreensão e interpretação. Quando projetando o programa de medições  de QD é importante focar em: o processo que dispara a necessidade das medições ;  como  ações corretivas são integradas ao processo de GD; a revisão de governança de medidas para garantir que elas permanecem relevantes aos objetivos de negócios e  ênfase de medições nos pontos mais críticos dos processos de negócios. No fundo esse processo está associado com o processo de apoio de medições do CMMI(MA) e do MPS.BR(MED) e com o processo Medições(11) do DMM e deve, objetivamente, desenvolver um conjunto de métricas de QD para satisfazer os requisitos de negócios.
Dentro do componente de Garantia da Qualidade de dados há o processo de Data Profiling(34) que visa definir  um  processo de identificação do real  estado e  significado e da estrutura dos dados correntes. É um dos primeiros passos associados com as boas práticas de GD. É um processo  crítico e ainda muito negligenciado . Muitas organizações fazem o “profiling” de seus dados quando estão implementando um DW, carregando  repositórios de metadados, realizando uma migração operacional, planejando integração ou qualquer outro ponto quando os “data stores” são significativamente modificados. É um dos ingredientes chaves para uma abordagem de GD com sucesso. O processo de “profiling”  de dados é visto como um conjunto de esforços de descoberta “do que” está armazenado nos BD e como os valores  podem diferir daqueles listados em repositórios de metadados(de suas definições). Profiling normalmente examina as áreas como valores de dados, range de  valores de dados, distribuição de frequência, falta de coerência com o metadados, algumas estatísticas, formatos não padrão de registros, etc . Muitas estratégias de convencimento de GD começam justamente por aqui, apontando os riscos de “data flaws” encontrados nos seus arquivos fundamentais.
A seguir vem o processo de Avaliação de Qualidade de Dados(35), que objetiva Realizar a avaliação de QD envolve a combinação de metodologias, processos, e regras de negócios usadas nas medições e análise de QD. A avaliação de  QD conduz a um plano de  melhoria formal de QD para alcançar expectativas de qualidade e é necessário para apoiar processos de negócios. O objetivo da avaliação de QD é medir a QD e priorizar melhorias(se necessárias). O output da avaliação será no formato de “scorecard”  que poderá ser usado para avaliar  iniciativas de melhorias de QD e garantir que estão alinhadas com as tolerâncias de riscos, limites de exposição, obrigações de stakeholders  e objetivos de negócios da organização. Sinteticamente objetiva: Estabelecer e sustentar um plano de melhoria de QD baseado em “scorecard” de QD e desenvolver, refinar e usar as métricas de QD em alinhamento com os objetivos de negócios da empresa e expectativas de efetividade.
A seguir vem Qualidade de dados de integração(36) que objetiva garantir que os dados tem padrão de qualidade ao longo do seu ciclo de vida de tal forma que podem ser integrados em “data stores” operacionais  e atendem aos requisitos de usuários de negócios. De novo manifesta preocupação com o fator “integração”. Foca na gerência da QD(incluindo a identificação de conteúdo faltante, processos de enriquecimento de dados, validação contra padrões internos) para prevenir erros antes que os dados sejam propagados através de ambientes de produção. Atividades associadas com QD na integração cobrem o estabelecimento de padrões de QD com fornecedores, uso de aparato estatístico, estabelecimento de limiares e  faixas de tolerância para vários uso de dados em coordenação com data owners/data stewards e a criação de mecanismos de comunicação bidirecional com fornecedores. Essa atividade também cobre todos os passos que devem ser tomados para qualquer correção de erros de dados que sejam descobertos. Procura estabelecer gerência consistente de qualidade no ponto de entrada dos dados e também em múltiplos pontos de “checkagem”; estabelecer , avaliar e refinar padrões de QD para fontes internas  e externas de dados; gerenciar pontos de inserção de erros como  conversão, transformação e processos de enriquecimento de dados de forma que os dados  estejam em condições satisfatórias antes de entrar no ambiente operacional.

Finalmente vem o processo de Limpeza de dados(37) que visa definir mecanismo, regras e processos usados para validar dados contra conjunto predefinido de regras de negócios e corrigir dados imprecisos. O processo de limpeza de dados foca na correção de dados para atender aos requisitos de usuários finais , como medido pelas regras de negócios de QD contemplando várias dimensões de qualidade(precisão, completude, consistência, timeliness(disponibilidade),conformidade,etc). As regras de negócios são críticas na medida em que provêem um mecanismo padrão para identificar anomalias que podem ser ligadas a processos operacionais. A limpeza de dados deve ser realizada no ponto mais próximo da captura dos dados e deve ser precedida por um profiling de dados, avaliação de regras de negócios e análise de conformidade. Deve haver uma estratégia clara definida (com owners) para limpeza de dados para garantir  que as regras de limpeza sejam conhecidas e para evitar processos de limpeza duplicados em múltiplos pontos do ciclo de gerência da informação. O objetivo geral é limpar os dados no ponto de captura baseado em regras de negócios documentadas e verificadas. As correções de dados devem ser comunicadas para( e alinhadas com) todos os repositórios “downstream”(impactados na sequência do fluxo) e sistemas “upstream”(de onde se originaram os dados). É importante ter um processo consistente e documentado para escalonamento de “issues” e verificação de alterações para  provedores (originadores)  internos e vendedores externos   de dados .