O estado atual da Governança e Gestão de dados nos EUA-11

#16-ISO-8000. A palestra sobre a ISO-8000, mostrou a aproximação daquela organização ( que tem uma maior presença europeia)  com os aspectos de gestão e governança de dados. “Filha”  da ISO-9000, que versa sobre Gerência de Qualidade em geral, a 8000 trata diretamente dos aspectos de dados e de sua governança. A norma ISO-8000 foca na análise dos requisitos de dados e no entendimento de seu ciclo de vida. Os requisitos de dados deverão atender aos objetivos de negócios da organização e deverão ter o comprometimento da alta gerência. O ciclo de vida será monitorado nos perfis definidos de qualidade, de acordo com os requisitos de negócio. A Qualidade de dados será um processo formal que deverá ser planejado e acompanhado, tendo para tal,  camadas de pessoas, serviços e tecnologias definidas. O acompanhamento se dará pela “Validação” do alcance dos requisitos de dados planejados e pela “Verificação”  em cada um dos seus diferentes estágios no ciclo de vida. Os conceitos de Verificação e Validação são clássicos na engenharia de software. A Validação verifica se o que foi feito(ou entregue) está de acordo com as necessidades e requisitos especificados. Ou seja você controla  se o que foi feito “é o correto”. Sim, analisamos se fizemos o correto, o que foi pedido ou na essência olha-se o  “What”. Já a Verificação controla se o que foi feito foi desenvolvido de maneira correta. Ou seja, analisamos se fizemos “corretamente”. Na essência olhamos o “How”. As dimensões de dados analisadas serão definidas também em função dos requisitos, mas passarão certamente  por acurácia(conceito meio primo-irmão da precisão, porem, com nuances diferentes),proveniência(provenance, conceito associado com a origem+ciclo de vida dos dados, ou linhagem de dados), disponibilidade, etc. Motivado pela iniciativa, tentei adquirir a Norma no site da ISO Internacional, mas fui instruído a fazê-lo no site da nossa ANBT. Entrei no site da ABNT e verifiquei que a norma estava disponível para venda aqui. Fiz os procedimentos devidos, cartão de crédito, tela de compra, autorização do cartão, etc, etc. Terminada a compra, recebi um arquivo vazio, pelo qual paguei quase R$200,00. Entrei na maratona de contatar o serviço para ver o que teria acontecido. Fui atendido por um suporte que começou o processo de orientação para tentar baixar o arquivo que, na realidade, deveria conter a Norma. Depois de inúmeros downloads, inclusive de arquivos XML, XSS, etc , ele me diz que infelizmente percebeu que a norma (que eu havia comprada e pela qual havia pago no site da ABNT-Associação Brasileira de Normas Técnicas) não poderia ser vendida, pois deveria ser comprada com outras, com as quais se relaciona,etc,etc,etc.

___Isso tudo seria um grande erro do pessoal da outra regional, que não entendeu que a Norma ISO-8000 deveria..., disse ele....  OK, obrigado, desisti. Ai, parti para o ressarcimento do meu pagamento, que foi outra aventura, sobre a qual poupo vocês. Observe que estamos falando de Normas de qualidade. Recorri a minha amiga Gisele Villas Boas, que trabalha no “metier”  da ISO, e que prometeu me ajudar.....

O estado atual da Governança e Gestão de dados nos EUA-10

#15-Governança de Dados ou Governança de Informações?

Com a evolução dos conceitos sobre como gerenciar os dados, algumas dúvidas semânticas se mostram recorrentes: É sobre Dados ou sobre Informações que pretendemos implementar um programa de Governança? Embora haja definições diferentes para dados(estrutura elementar da cadeia informacional, que será transformada em informação no patamar seguinte) e informação(semântica e contextualização dos dados para geração de fatos), a governança de dados tem se confundido com a governança de informações, quando a visão é o controle desses recursos. Se analisarmos a literatura mais recente sobre os dois temas vamos notar  que há livros, por exemplo, com títulos com as duas definições. Entretanto se você mergulhar nos conteúdos deles(já fiz isso em vários)  vai observar que a temática é absolutamente a mesma. Numa pesquisa rápida na Amazon (Janeiro/2016) encontramos aproximadamente 20 livros com títulos contendo as palavras “Data Governance” e uns 7 ou 8 com as palavras “Information Governance”. Esses últimos, estão na maioria das vezes associados com aspectos de riscos, segurança, “aderência/compliances” e litígios em aspectos de dados, conforme mostram também alguns artigos do Gartner Group, disponíveis na internet. Isso, entretanto não conduz a nenhuma conclusão definitiva, na medida em que contextos de riscos, segurança de dados, etc também se encontram expressos nos modelos DAMA e DMM, por exemplo, centrados na palavra “Data”. No Brasil há publicados dois livros que versam sobre esse tema e ambos usam a expressão “Governança de Dados”. O primeiro , de minha autoria (BI2-Modelagem e Qualidade), lançado em 2011-Editora Elsevier, embora com o título sobre BI2-Inteligência de negócios, tem um capítulo todo dedicado ao tema (Governança de dados). O outro, de autoria de Bergson Rego, de 2013, da Editora Brasport, tem o seu conteúdo diretamente atrelado à Gestão e Governança de dados. Outros livros sobre Governança de Dados, como o de David Plotkin (Data Stewardship-An  actionable guide to effective data management and data governance -2014), discutem e apontam os diferentes tipos de data stewards(gestores de dados),  atuando em todas as fronteiras da empresa. Há os enterprise data stewards, businesss data stewards, domain data stewards, project data stewards, technical data stewards e operational data stewards. Isso, de certa forma, demonstra que o conceito de gestor de dados, inseparável do de governança de dados, perpassa os diversos segmentos da empresa, indo do negócio ao operacional. A própria DAMA-Dama Management Association, tem no “core” do seu diagrama, o conceito de Governança de dados. Os modelos de maturidade, como DMM do CMMI Institute, também tem uma categoria de Governança de dados, com um processo chamado Gerência de Governança. Alguns autores internacionais, como Sunil Soares, têm livros nos dois lados: há o “Big Data Governance”, da MC Press-2012, mostrando a influência da palavra Big em conjunto com governança de dados. Há também outro, cujo título é  “Selling Information Governance to the Business”, da MC Press-2011, já com o uso de “governança”  acoplado com  a palavra  “Information”. Com o surgimento dos grandes volumes produzidos na sociedade digital, houve a  então criação da “Big Data Governance”, mantendo a tendência para o lado “data”. Não há publicação ou referências  sobre “Big Information Governance”. O surgimento dos CDO-Chief Data Officers, como papéis que objetivam a gestão e governança dos dados de toda organização, trazendo no seu título a palavra “data”, também ilustra a percepção de que o sentido de dados governados é amplo e abrangente chegando, na realidade, até às informações, no segundo degrau da escala dado-informação-conhecimento e sabedoria. Há entretanto alguns autores que acentuam a diferença entre as duas linhas, advogando uma abordagem separada. A argumentação é, de forma reduzida,  que quando há um sabor mais voltado para o “negócio”, estaríamos falando de “Governança de informações” e quando estivermos falando de “tecnologia”, estaríamos com “Governança de dados”.  Expandindo-se, pode-se dizer que caso estejamos definido Políticas para uso adequado (dos dados), seu valor de negócios, sua semântica em glossário de negócios, o seu ciclo de vida com definições sobre retenção e “disposal”,  análise de riscos pertinentes ao seu uso/retenção indevida, aspectos de “compliance/aderência” com  entidades regulatórias , litígios em função de dados, além de “ownership” da informação, o domínio seria da “Governança de informações”. Se, por outro lado o foco fosse um pouco mais físico, operacional, preparatório e basal, como políticas sobre metadados, linhagem, qualidade/limpeza, de-duplicação, níveis de serviços, segurança, impactos de mudanças, etc,  o caso estaria no âmbito da Governança de dados. Essa divisão tem sobreposições claras, com alguns pontos morando na interseção dessas duas fronteiras: Os aspectos de segurança e privacidade circulam nessa região, bem como outros pontos como  mapeamento de dados/metadados e retenção e eliminação de documentos com armazenamento/ operações de dados.

Essa dicotomia tem aspectos positivos pois estratifica uma visão processual em duas camadas diferentes, mas exige alguns cuidados. O perigo dessa estratégia  é que ela venha a sugerir estruturas funcionais e papéis diferentes, o que pode, no início, dificultar a adoção do Programa de Governança. Se a  implementação de Governança de dados(numa visão mais abrangente/holística) já é um desafio muito grande, imagine implementar as duas governanças em sabores diferentes, caso haja a necessidade de separação estrutural/funcional. No resumo da ópera, em prol da praticidade, o conceito de dados e de informações, no contexto de Governança e gestão, deve, na minha visão, ser inicialmente intercambiáveis. Pode até haver processos diferentes, como certamente haverá, mas tudo estaria sob o cone de uma única Governança de Dados inicial. Empresas mais amadurecidas, talvez numa segunda geração de DG (Data Governance) poderão separa-la, criando uma estrutura de IG(Information Governance). Lembre-se que a nossa área de Informática é uma das linhas da ciência mais prolificas na criação de novos vocábulos. A TI sofre de “vocabulite semântica em grau elevado”. Muito disso se dá, pela necessidade de se produzir certos tons de diferenças, o que na nossa indústria de consultoria e aconselhamento tecnológico , pode significar indução a novidades ou oportunidade de negócios e não necessariamente diferenças significativas a serem observadas. Pense nisso, pense prático...

Referências:

1-Differences between Information Governance and Data Governance-You Tube, disponível em : www.youtube.com/watch?v=CpohoQcApoc. Acesso em 11 jan. 2016.

2-Informatica Blog, disponível em :blogs.informatica.com/2014/09/03/information-governance-vs-data-governance-who cares/#fbid=PdxJV4o2rcm. Acesso em  11 jan. 2016. 

3-Plotkin, D. Data Stewardship-An actionable guide to effective data management and data governance. MK-Elsevier, 2014.

O estado atual da Governança e Gestão de dados nos EUA-09

#14-Outra palestra keynote foi com o responsável pelo DW do IRS(Internal Revenue Service), ou o equivalente ao nosso Imposto de Renda. A palestra foi cercada de expectativa, de tal sorte que, no dia anterior, um dos organizadores sugeriu a presença de todos, aventando a possibilidade de, após a apresentação, os americanos correrem e fazerem a declaração retificadora...(rsrs da plateia). Entretanto, a palestra foi toda centrada em torno de tecnologias emergentes e suas influências na Governança e Qualidade de dados. Jeff Butler, o keynote speaker, demonstrou muito conhecimento sobre as camadas de tecnologias existentes e as previstas.  A palestra teve um excelente foco no desenvolvimento comparativo das variadas camadas de tecnologia, impulsionadas pelo efeito data-tsunami. A essência da palestra girou em torno da crescente oferta de camadas de tecnologias(nuvem, Bancos NOSQL, Hadoop/MapReduce, processamento massivo distribuído em máquinas commodities, processamento em memória, etc) comparadas com as novas fontes de  produção de dados(sensores,RFID, Logs, clickstream, satélites, voz e vídeo, documentos,etc). Além disso, apresentou uma visão sobre as limitações impostas pelo desenvolvimento tecnológico, citando que a lei de Moore(evolução exponencial da capacidade dos processadores) alcançará o seu limite em 2020, não havendo ainda uma forma plenamente desenvolvida de alternativas para circunscrever as restrições da miniaturização e da dissipação de calor, fatores físicos restritivos na indústria dos chips.  A se observar nos próximos 4 anos. O IRS(Internal Revenue Service), imposto de renda dos EUA, desenvolveu através de sua área de pesquisa, um grande DW para prover informações sobre os contribuintes americanos. É o maior repositório de informações do órgão e oferece um conjunto de dados, metadados e camadas de buscas analíticas para o uso interno e o de algumas instituições do governo.(Treasury-Departamento do tesouro, GAO-Government Accountability Office,etc), Tem 1500 usuários devidamente cadastrados com uma taxa diária de 10.000 consultas. O DW tem 2 PB(petabytes) de informação, extraídos de 40 diferentes fontes. Tem um total de 3000 tabelas e 176.000 colunas. Há um tratamento especial de metadados, com informações sobre 33 Data Bases, aproximadamente com 1000 tabelas, 64000 colunas e mais de 1.000.000 de atributos. O grande desafio apresentado pela analista do IRS é o eterno equilíbrio entre a disponibilidade(timeliness) e a precisão dos dados oferecidos. Para se oferecer os dados com maior precisão e acurácia, claramente precisa-se de maior tempo de tratamento, o que impacta a  rapidez da oferta ou a disponibilidade mais imediata. Outro desafio citado é a dimensão de “relevância” dos dados, que busca garantir a coerência entre eles  e seus metadados. Os metadados estão organizados em repositórios separados  e ganham , no sistema,  uma visão diferente das praticadas nos universos de bancos de dados físicos, normalmente atrelados ao dicionário do SGBD. O metadado , nesse contexto, se aproxima dos conceitos de glossário de negócios, auxiliando no pleno entendimento da informação e na geração de conhecimento para a organização e seus usuários.