Governança de Dados e a Agilidade

Lean Data Governance: Outro assunto emergente, dentro do tema de Governança de dados, se refere ao seu encontro com os métodos ágeis. Há uma clara necessidade de se aproximar os dois conceitos, na medida em que os métodos ágeis facilitam o desenvolvimento de soluções, mas os dados deverão ser preservados via políticas, padrões e processos, a fim de se evitar o “data-chaos”, que hoje se aproxima das empresas. Não interessa o caos de dados, produzido por agilidade. Ambas as abordagens devem ser importantes para a organização. Scrum, consagrada e com adoção sem volta , garante desenvolvimentos rápidos e entregas frequentes e precisas. Entretanto, é fundamental que tais entregas de códigos estejam acompanhadas de dados corretos. Simples assim.? Nem tanto.. Os métodos ágeis, tradicionalmente refratários a certos níveis de controle que comprometam a rapidez de suas ações, deverão abrir espaço para que os aspectos de dados sejam considerados como um ativo e não como uma peça absolutamente colateral do processo Scrum. Um ponto de convergência entre as duas abordagens deverá ser buscado, com o apoio e a aprovação da alta gerência. Conceitos atrelados a um Sprint inicial de  dados são possíveis  modificações a pensar. Embora os rótulos “agile”, “lean”, etc estejam na moda, há poucos autores pensando sobre o tema, quando o cenário é Gestão de dados. Há Scott Ambler, Ken Collier, Lawrence Corr e Ralph Hughes  e os mais destacados que são : Kelle O´Neal da First San Francisco Partners(empresa de Consultoria, agora em parceria com John Ladley e a sua IMCue Solutions) e Robert Seiner(da KIK Consulting). Esses são os que eu conheço e acompanho.

O primeiro(Scott Ambler) é um velho conhecido da área de Bancos de dados que se apaixonou pelos movimentos ágeis já no seu nascedouro(quando os primeiros sinais dos manifestos ágeis foram publicados)  e promoveu o conceito de “Agile Data”, com diversas proposições para a mistura dos dois genomas(Agilidade e Dados). Entretanto, o foco inicialmente  dado por Scott Ambler(veja link  http://agiledata.org/) é muito mais de “Agile Data Base Governance”, do que “Agile Data Governance”. E isso faz certa diferença, que deverá ser observada com o devido cuidado. Todas as suas ideias são centradas na linha de que a “Governança de TI” é a que deve ser a prevalente, e que a de dados é uma componente dela, como  é a de sistemas, por exemplo. Sua visão, de certa forma,  se choca, com os conceitos de dados vistos como ativo organizacional(portanto pertencente à organização) e não mais um recurso de exclusividade da TI(anos 60-70-80). Embora a aplicação de preceitos de agilidade seja válida em projetos de BD, levantando aspectos de aderência  para padrões, modelos, metadados,etc, isso deverá ser costurado e alinhado  com visões acima dos projetos, coerentes com modelos, arquiteturas e estratégias. Por exemplo, dentro da visão do Release Planning , poderia se ter algo que se alinhe em níveis de Estratégia de dados. Isso também certamente adicionará na receita Scrum, novas etapas(sprints, atividades,etc), hoje normalmente desconsideradas em função da prioridade tempo. Além disso, Scott baseava  algumas de suas premissas em pesquisas antigas(uma mostrada no site, data de 2006, feita pelo Dr Dobbs), portanto já ultrapassadas em muitas de suas diretivas. Scott Ambler faz afirmações generalistas que se encaixam perfeitamente no conceito de GD Ágil, mas a sua essência é claramente voltada para o estágio físico dos dados. Isso deixa dúvida sobre a amplitude e completude dos conceitos de GD, como se busca nesse momento. O mundo, hoje, se preocupa com os dados, desde o seu nascedouro (o seu ciclo de vida, o seu significado via glossário, gestores tomando conta e ownerships com “accountability”, prestando contas sobre eles)  e não somente quando eles se tornam inquilinos de tabelas relacionais. Nesse momento, sem as devidas observações acima, os erros de dados já podem ter acontecidos e  não tem “recovery”. Ai mora a diferença. Entretanto, parece haver luzes recentes sobre a necessidade de se aproximar dados e agilidade. Numa espécie de evolução dos métodos ágeis tradicionais, estão surgindo novas propostas do Agilismo.  DAD(Disciplined Agile Delivery)  e SAFE(SCALED Agile Framework) são duas delas, que certamente auxiliarão nesta aproximação fundamental de dados e agilidade. Voltaremos depois...

PMBOK e DMBOK-Quando dois corpos se aproximam

“Quando dois corpos se aproximam” poderia ser o nome de uma previsão de colisões de astros ou de um livro qualquer de Nicholas Sparks. Na realidade, nesse contexto, é um truque de marketing “in-bound” com o objetivo de se analisar a convergência e afinidade entre os frameworks do PMBOK e do DMBOK. Dois dos mais conhecidos “BOK”-Body Of Knowledge (BOK), esses conceitos há muito somente estavam tendo encontros marcados pela simples presença das letras B-O-K, em seus logotipos. Andavam de mãos dadas com BABOK e outras proposições semelhantes, integradas somente pelo nome e não pela afinidade de objetivos. Na realidade, há muito mais aproximação entre esses dois elementos do que sugerem os seus manuais e guias. Pelo simples fato de que a Gerência de projetos (foco do PM-BOK) não pode prescindir da gerência de dados (foco do DM-BOK), nem vice-versa, esses dois elementos já deveriam ter se encontrado há tempos. Entretanto, só recentemente o PMBOK trouxe para o seu âmbito, essa discussão de dados de projetos, com detalhes mais evoluídos. Falta ainda um pouco mais sobre a conexão entre ele e os conceitos  de projetos de dados. Dados de projetos e Projetos de dados, embora soe como um aparente jogo de palavras, são elementos com alta afinidade. Na última edição do PMBOK-Guide 5th edition, houve o desenvolvimento de alguns conceitos em direção ao patamar de Conhecimento, trilhando a hierarquia clássica de Dados, Informação, Conhecimento (Knowledge) e Sabedoria (Wisdom), que recebeu o acrônimo DIKW. Os dados foram segregados em três níveis:

·         Dados de desempenho de trabalho (Work performance data): Essa camada de refere às observações e medidas identificadas durante o desempenho dos trabalhos do projeto;

·         Informações de desempenho de trabalho (Work performance information): Essa camada representa os resultados da análise dos dados de desempenho, integrados através de diversas áreas, como o “status” de implementação de solicitações de mudanças, ou previsões para completar atividades, por exemplo; 

·         Relatórios de desempenho de trabalho (Work performance reports): Nessa camada, o PMBOK não define “conhecimento” diretamente e estabelece que aqui esteja a representação física ou eletrônica das informações de desempenho de trabalho, compiladas em documentos de projetos, com o objetivo de gerar decisões, ações ou alertas. Entender as informações nesses veículos (relatórios) e traduzi-las em decisões precisas e ricas é função da competência de gerentes que leem os relatórios. Aqui, na realidade, estariam os conhecimentos gerados, observados, aprendidos e registrados por agentes partícipes do projeto, em pontos do seu ciclo, mas o conceito ficou um pouco camuflado.

Depois dessa primeira incursão do PMBOK em direção ao DIKW gerados em contextos de projetos que seguem processos, o PMBOK precisa pensar na importância do seu casamento com Projetos de Dados. Isso se dará pelo entrelace com corpos de conhecimentos do DMBOK, como DW/BI, MDM, Qualidade e Metadados. E isso discutiremos em outra oportunidade.  

O estado atual da Governança e Gestão de dados nos EUA-12

#17-Outro assunto discutido no painel final do evento de Baltimore, sobre Gestão e Qualidade de Dados foi a falta de cursos focados diretamente em gestão e governança de dados. Apesar do aparecimento, nos últimos anos, de várias ofertas de treinamento em Ciência de dados, o foco na gestão de dados com visão negocial não está presente nas grades das principais universidades americanas. O curso de Ciência de dados tem um olhar diferente, dando ênfase a aspectos de tratamento estatístico de dados, principalmente depois do fenômeno Big data. Na área de gestão e qualidade de dados, não existem definições específicas sobre os papéis necessários para a atuação, nem o tipo de formação, reclamaram os americanos. No Brasil essa lacuna  é a mesma (há ou havia somente uma oferta deste tipo de curso numa Universidade, em SP) e a saída aparente , conforme discutido, é buscar a intensificação de palestras e treinamentos  de curto prazo sobre a importância dos dados, sua valoração como ativo organizacional  e sua conexão com estratégias de negócios. Há mais de 5 anos, tenho ministrado nas Pós-graduações onde atuo, disciplinas que tratam dessa temática. No curso de pós de BI-Business Intelligence , de Bancos de dados e de Arquitetura de Sistemas Distribuídos da PUC-MG,  e de Governança de TI e Engenharia de SW da FUMEC, desenvolvo a disciplina de Governança e Gestão de dados, procurando a semeadura dos conceitos. Há uma nítida manifestação de interesses dos alunos por um aprofundamento no tema, via trabalhos de conclusão do curso. Para 2016, pretendemos lançar na Fumsoft, uma série de  eventos de pequena duração, na linha que chamamos de “Data Talking”. Serão palestras ou mini-cursos(4 a 8 horas) , dados por especialistas, sobre os aspectos de dados, passando da Governança e Gestão para tratamento em “normal” data ou “Big” data; abordagens analíticas, discussões sobre a nova geração de produtos NOSQL e sua influência no ecossistema de dados das organizações, etc. A primeira edição desta série será em 26 de Fevereiro, com a participação de Cláudio Lucio do Val Lopes e Carlos Barbieri, falando sobre Governança de dados com Big Data. A discussão focara no encontro desses dois conceitos, ressaltando as diferenças entre Governar "normal data" e "Big Data". Cláudio Lúcio(da A3Data), um dos maiores especialistas do BR em Big Data focará no conceito de Big Data e eu mostrarei os aspectos de GD nesses projetos. Maiores informações, no link :

http://www.fumsoft.org.br/noticias/big-data-gestao-e-governanca-de-dados

Os interessados deverão ficar atentos e podem me procurar para se incluírem na lista de divulgação, caso não estejam ainda.

O estado atual da Governança e Gestão de dados nos EUA-11

#16-ISO-8000. A palestra sobre a ISO-8000, mostrou a aproximação daquela organização ( que tem uma maior presença europeia)  com os aspectos de gestão e governança de dados. “Filha”  da ISO-9000, que versa sobre Gerência de Qualidade em geral, a 8000 trata diretamente dos aspectos de dados e de sua governança. A norma ISO-8000 foca na análise dos requisitos de dados e no entendimento de seu ciclo de vida. Os requisitos de dados deverão atender aos objetivos de negócios da organização e deverão ter o comprometimento da alta gerência. O ciclo de vida será monitorado nos perfis definidos de qualidade, de acordo com os requisitos de negócio. A Qualidade de dados será um processo formal que deverá ser planejado e acompanhado, tendo para tal,  camadas de pessoas, serviços e tecnologias definidas. O acompanhamento se dará pela “Validação” do alcance dos requisitos de dados planejados e pela “Verificação”  em cada um dos seus diferentes estágios no ciclo de vida. Os conceitos de Verificação e Validação são clássicos na engenharia de software. A Validação verifica se o que foi feito(ou entregue) está de acordo com as necessidades e requisitos especificados. Ou seja você controla  se o que foi feito “é o correto”. Sim, analisamos se fizemos o correto, o que foi pedido ou na essência olha-se o  “What”. Já a Verificação controla se o que foi feito foi desenvolvido de maneira correta. Ou seja, analisamos se fizemos “corretamente”. Na essência olhamos o “How”. As dimensões de dados analisadas serão definidas também em função dos requisitos, mas passarão certamente  por acurácia(conceito meio primo-irmão da precisão, porem, com nuances diferentes),proveniência(provenance, conceito associado com a origem+ciclo de vida dos dados, ou linhagem de dados), disponibilidade, etc. Motivado pela iniciativa, tentei adquirir a Norma no site da ISO Internacional, mas fui instruído a fazê-lo no site da nossa ANBT. Entrei no site da ABNT e verifiquei que a norma estava disponível para venda aqui. Fiz os procedimentos devidos, cartão de crédito, tela de compra, autorização do cartão, etc, etc. Terminada a compra, recebi um arquivo vazio, pelo qual paguei quase R$200,00. Entrei na maratona de contatar o serviço para ver o que teria acontecido. Fui atendido por um suporte que começou o processo de orientação para tentar baixar o arquivo que, na realidade, deveria conter a Norma. Depois de inúmeros downloads, inclusive de arquivos XML, XSS, etc , ele me diz que infelizmente percebeu que a norma (que eu havia comprada e pela qual havia pago no site da ABNT-Associação Brasileira de Normas Técnicas) não poderia ser vendida, pois deveria ser comprada com outras, com as quais se relaciona,etc,etc,etc.

___Isso tudo seria um grande erro do pessoal da outra regional, que não entendeu que a Norma ISO-8000 deveria..., disse ele....  OK, obrigado, desisti. Ai, parti para o ressarcimento do meu pagamento, que foi outra aventura, sobre a qual poupo vocês. Observe que estamos falando de Normas de qualidade. Recorri a minha amiga Gisele Villas Boas, que trabalha no “metier”  da ISO, e que prometeu me ajudar.....