Treinamento em Governança de Dados-Maio de 2019-Neogrid-Porto Alegre

Treinamento em Governança de Dados-Maio de 2019

Treinamento em Governança de Dados (GD), na empresa Neogrid(em Porto Alegre-RS). A empresa é uma multinacional brasileira de SW, com presença na Europa, América do Norte e Central. Rica discussão de GD com LGPD(Lei Geral de Proteção de Dados-BR), na empresa que já tem GDPR(General Data Protection Regulation-UE).

https://www.facebook.com/carlos.barbieri.31

DGIQ-2018-San Diego-Califórnia-11 a 14 de junho-2018 -Parte II

Continuação do post anterior.

e)Tendências emergentes e o futuro da GD-Governança de dados

No último painel do DGIQ-2018, participaram Sunil Soares, renomado consultor e o autor com mais livros sobre GD atualmente no mercado, parelho com David Loshin, Ann Buff , participante ativa do DGPO(Data Governance Professional Organization), HoChun Ho, chefe de GD da JLL, gigante mundial do ramo de imóveis(real estate) e Rex Ahlstrom, diretor da Backoffice Associates, ferramenta de dados muito respeitada nos EUA, Europa, Asia e Oceania, mas desconhecida no Brasil. Quem mediou a discussão foi Anthony Algmin, consultor independente de dados. As perguntas/temas colocados para discussão:

E1)A possível evolução do papel de CDO: Esse ponto ainda mostra uma indefinição de como vai ser o movimento do papel do CDO em direção ao futuro. Há muitos CDO´s nos EUA e na Europa. No Brasil, menos de uma dúzia, eu acho. Grande parte das grandes empresas mundiais tem esse papel, normalmente definido como a figura contratada para transformar os dados em elemento “monetizável”, não pela sua  venda direta(conceito supostamente imaginado), mas como elemento de transformação e criação de novos produtos e modelos de negócios. Curiosamente nesta sessão, havia somente 1 CDO presente. A percepção transmitida é que , independentemente do nome do papel, o conceito de preparação, uso dos dados e sua gestão como ativo da empresa veio para ficar, conforme disse o chefe de GD da JLL. Tenha a empresa um CIO ou CDO, ou ambos. Esteja a GD sob o CDO, CFO, CMO, etc, os dados serão vistos com outros olhos. Ponto

E2)O casamento entre GD e IA(Inteligência Artificial): Essa relação mais estreita entre GD e IA apareceu com destaque nas palestras de ferramentas de dados, conforme falei acima. Ann Buff, Sunil Soares e HoChun Ho, entretanto lembraram de algo sobre o qual já escrevi neste Blog (vide artigos anteriores). “Os aspectos éticos dos dados”.  Esse ponto, ainda será amadurecido, mas a preocupação já existe. Na minha visão, a GD(Governança de dados) e QD(Qualidade de dados) tangenciarão o conceito (que ainda não existe formalmente definido) de Governança/Gestão de resultados de dados, visando o controle sobre os algoritmos de machine learning chamados impenetráveis(inscrutable). São algoritmos que, pelos números de interações e modificações de variáveis não oferecem a rastreabilidade de como se chegou naquele resultado final. E , não se pode esquecer que certas regulações exigem  que resultados sobre análise de dados de pessoas(clientes, empregados, parceiros, etc) sejam devidamente explicados. Por exemplo, se um algoritmo dessa natureza for aplicado num processo de seleção, ou na inferência sobre certas características de uma pessoa, lembre-se que, pelo GDPR (em vigor desde 25 de Maio/2018), há a o direito à explicação. Assim, a empresa, via GD sendo responsável pelos aspectos de segurança e privacidade dos dados de alguém, e um algoritmo de Data Science inferindo algo que não pode ser explicado, sugere um potencial “problema” desenhado para um futuro próximo. Pensar nessa nova área de dados não deverá ser algo para se negligenciar. 

    

E3)BlockChain: Esse assunto foi considerado verde pelos debatedores, que o posicionaram como (ainda) um possível fenômeno “hype”. Na minha modesta visão, esse conceito será mais explorado nos modelos de BD Distribuídos, o que poderá levar à viabilização do padrão de transacionalidade “ACID-like” em bancos totalmente distribuídos. Mas esse assunto “Blockchain”, não foi sequer considerado “relevante” pela mesa dos debatedores.

E4)GDPR: A Regulação Europeia chegou, no dia 25 de Maio passado e com isso as empresas sob esse foco se obrigaram a estabelecer uma GD meio que às pressas, mas que será para sempre. Assisti a uma apresentação de uma ferramenta de glossário de dados (Datum), oferecendo as vantagens de se poder ter os dados PII devidamente catalogados(quais dados a empresa tem na classificação PII), com possibilidade de conhecimento de sua linhagem(como os dados estão sendo processados, de onde vieram, para onde foram), os responsáveis por eles,etc,etc. No DGIQ de 2016, pela primeira vez tive contato com o conceito, que estava começando nos EUA e trouxe para o Brasil, quando escrevi sobre GDPR(veja artigos anteriores). Fui um dos primeiros, se não o primeiro. Hoje vejo, que o Brasil acordou (meio tarde, claro), quando recebo notícias de que a GDPR brazuca está sendo reativada. Projeto de Lei do Senador Antônio Carlos Valadares (de 2012), o “GDPR-BR” volta à tona, com reuniões já marcadas para Agosto, quando um grande Seminário reabrirá a discussão pública do tema. Antes tarde ...... 

E5)Single source of truth: Esse conceito foi trazido quando as proposições de BD dos anos 70 se mostraram incapaz de domar as replicações de dados. Surgiu como driver das tecnologias de MDM-Master Data management, que tomaram posição forte, propondo a versão única dos dados. Para minha surpresa, ouvi de algumas empresas, de grande porte e atuação global, que o conceito SST(Single Source of Truth) dos dados também estaria com os dias contados, sendo substituído por uma onda que se chamaria “Dados em Contextos”. No fundo, seria o retorno aos modelos de dados, com permissão de replicação, porém controlada pela GD. Essas manifestações senoidais das tecnologias em geral e as de dados em particular sempre existirão e o que se deve fazer é aguardar e viver cada momento dos bits e bytes, sem o entusiasmo dos vendedores de soluções. 

  

3)Encontrei com alguns “amigos de dados,” como Danette McGilvray, que é uma das mais famosas especialistas em qualidade de dados. Circula pelo mundo dando aulas e palestras sobre QD(já esteve no Brasil) e sempre, que possível,  sentamos para conversar. Foi a criadora do Manifesto de Dados(juntamente com John Ladley e outros),  que foi traduzido para o português por mim e por Bergson L. Rego. A versão em português foi a primeira, depois da versão original e agora já existe a francesa e a espanhola está sendo feita. Danette tem um livro sobre QD, dos mais citados e ela pediu para conversamos sobre a nova edição que pretende fazer. Logo depois, recebi um email, que foi enviado para muitos da área, solicitando possíveis evoluções nos conceitos de QD, que ela aplica no seu livros-10 Passos da QD). Também encontrei com David Plotkin, de quem fui aluno no curso (Data Stewardship) no DGIQ de 2016. Plotkin é apaixonado pelo Brasil, já esteve no Amazonas e sempre falamos. Tem um livro publicado onde aprofunda no trabalho dos Gestores de dados(data stewards), que recomendo (Data Stewardship-An Actionable Guide to Effective Data Management and Data Governance). Plotkin era o chefe de GD do Banco Wells Fargo e agora foi para o banco MUFG-Bank of Tokio-Mitsubish, o maior banco do Japão. Danette e Plotkin ministram os cursos opcionais(Qualidade de dados e Data Stewardship) que fecham o evento na 5afa e 6afa. 

  

4)Resumo: O DGIQ continua sendo o grande evento sobre Governança e Qualidade de dados atualmente no mundo. Promovido duas vezes por ano, um na Costa Leste e outro na Costa Oeste reúne um conjunto de experiências e posições extremamente rica. É claro que se deve analisar e escolher cuidadosamente as palestras, tutoriais e cursos oferecidos, pois pelo gigantismo do evento, replica-se informações transmitidas, em certo grau. Mas vale a pena, para confirmar os seus passos como consultor, ajustar caminhos, descartar hypes e modismos e esperar novos termos e conceitos que logo chegarão (Curadoria de dados é um deles...).

Conforme prometido, essa foi a sinopse dos principais temas discutidos. 

Voltarei ao assunto no Linkedin, e/ou nos cursos de Pós ou de GD. Abraços .

DGIQ-2018-San Diego-Califórnia-11 a 14 de junho-2018 -Parte I

DGIQ-2018-San Diego-Califórnia-11 a 14 de junho-2018 -Parte I

Visão geral sobre o DGIQ-2018, em San Diego-CA.

1)Participantes:

Foi considerado pelos organizadores como o maior DGIQ, desde a sua criação em 2008, com um total de mais de 600 pessoas de várias partes do mundo. Além da presença maciça dos americanos e canadenses, o restante do mundo também apareceu por aqui. A América do Sul começa a despertar para os aspectos de GD e vieram 6 do Chile, 3 da Colômbia e até o Suriname, vizinho das Guianas, esteve com 2 representantes. A África também despertou e há 3 da Nigéria e um da África do Sul. A Europa, depois do GDPR, esteve presente com França, Portugal (com 2), Irlanda, Alemanha, Dinamarca. Há reps da Arábia Saudita, Kuwait, Japão, Cingapura, Qatar, Austrália. O México, coladinho em San Diego, mandou 1 rep somente. O Brasil, como sempre, fica distante deste evento. No ano passado havia além de mim, uma analista do Banco Central. Hoje estou sozinho. OK, Esse ano tem Copa do mundo, eleição, whatever...

2)Assuntos dominantes:

a)Glossário de dados/Metadados:

Houve uma distribuição de temas sobre Governança de dados, em vários níveis, com tutoriais introdutórios, intermediários e outros mais avançados.  Um assunto nitidamente crescente foi sobre Metadados e Glossário de negócios. Assisti um tutorial avançado e uma palestra sobre o tema. O tutorial, muito bom, sobre catálogo de dados, foi de Lowell Fryman, experiente especialista em metadados, com livros escritos e participação nos Livros Vermelhos da IBM(Red Books),  recentemente contratado por uma empresa que vende essa tecnologia(Collibra). Muito profissional, o tema foi tratado de forma agnóstica, sem menção ao produto. Os conceitos apresentados evidenciam o assunto do momento que é a necessidade de se conhecer organizacionalmente os dados existentes, realizar a sua catalogação, mapear sua linhagem, etc. Não estamos falando de Dicionários de Dados atrelados às ferramentas de SGBD, ETL, Modelagem de dados, etc. O conceito é sobre os dados da empresa, catalogados com seus metadados circundantes, dentro da visão de negócios(conceitual/lógica). Com uma tecnologia já relativamente estabelecida, os produtos deste segmento começam a buscar espaços de evolução nas suas plataformas. A IBM , por exemplo, aproveitando o seu  famoso Watson, plataforma de IA, vencedora do programa de TV Jeopardy, encaixou nas camadas de dados do seu Information Server (extração, transformação, profiling, limpeza,etc) a possibilidade de uso dos elementos de  IA-inteligência artificial( machine learning), prometendo mais rapidez e  inteligência no tratamento de dados e de metadados. Assim , a extração de um dado, feita de um schema de BDs, poderá ser acompanhada de uma análise inferencial que apontará seus prováveis relacionamentos, por exemplo. É o conceito de Machine learning se encontrando com o Metadados.

b)GD: 

Ficou a clara constatação de que, com a chegada de Big Data e com a onda de  transformação digital, onde os dados são elementos fundamentais, a GD chegou para ficar. As empresas deverão nesses próximos anos, usar os seus dados, não mais somente como elementos de tomada de decisão, mas fundamentalmente para produzir novos modelos de negócios, onde esses ativos participam. As empresas que apresentaram “cases” já mostram uma GD muito evoluída, citando os obstáculos pelos quais passaram (ou passam). De comum, a clara indicação de que GD é um desafio cultural, que o “P” do Patrocínio é vital para o sucesso e o “P” das Pessoas e Papéis idem. Neste último estão o alinhamento com ideias de colaboração e participação, uma certa flexibilização com relação às mudanças necessárias e a propensão à adesão a um programa que somente visa melhorar a empresa, via a gestão dos dados. Em resumo, os obstáculos que a GD enfrenta não estão somente na camada de dados desorganizados. Para isso há técnicas e ferramentas. O problema é mais relacionado aos conceitos de “proprietarismo dos dados” enraizado por muitos anos. Menos hardware e software e mais Peopleware. Houve até uma palestra especificamente sobre isso (DG meets Psichology-How to influence individuals within organizations). Colocar ordem nos dados de uma empresa, seja de que tamanho for, é algo desafiador. Durante muito tempo, esses elementos de dados, hoje cada vez mais importantes, ficaram à deriva, numa fase, digamos mais orientada aos processos.  Isso produziu o que aqui foi chamado de débito de dados (Data Debt), uma invenção semântica fresquinha, que acabou de sair do forno da indústria da consultoria. No fundo, é uma metáfora baseada no modelo Scrum, onde há o débito técnico. No fundo, de novo, é o sentido de débito produzido quando, por exemplo, as empresas replicaram livre e descontroladamente  os seus arquivos, ou deram pouca atenção à qualidade de seus elementos de dados, produzindo sanções ou multas, além de tomadas de decisões erradas. Com os novos tempos, essas ações indevidas agora mandam a conta, seja na forma de um projeto reparador de Dados Mestres ou a  criação de GD com definição e rigor nas Políticas, Padrões, Processos e Procedimentos.

c)GD e Agilidade

Aqui também tivemos um tema que cresce, pois há a clara necessidade de se conciliar os métodos de desenvolvimentos de sistemas ágeis, com o imperioso controle de dados. De novo, as soluções serão a conscientização das equipes de desenvolvimento, a presença de um gestor de dados no time de Scrum e a aprovação dos dados do projeto, não somente pelo PO ou SM, mas também pela GD.   

d)GD=Negócio: 

O óbvio, que já foi definido como uma das piores formas de distração, apareceu também. Às vezes, o óbvio é tão translúcido que você não atenta para ele. Uma das suas manifestações: A GD deverá ser “vendida” como um programa nas empresas, não somente pelas vantagens conceituais que oferece, mas  principalmente pela resolução direta dos problemas de dados existentes que hoje  as assustam pela força da regulação,  gerando riscos de multas e sanções e incomodam os tomadores de decisão pela inconsistência de seus dados. Por esse motivo é que a grande incidência de empresas com GD muito bem estabelecidas gravitam em torno de Compliance e Risco, como organizações de Health Care e Instituições financeiras.  No próximo post, continuaremos com a visão de futuro da GD.

Pesquisa GD x Data Science

Caros, boa tarde

Aqui é o Barbieri, tudo bem?

Seguinte: estou finalizando o meu 4. livro(agora sobre Governança de dados)  e estou precisando de um pequeno favor de todos que passam por aqui. Estou finalizando um capítulo sobre Qualidade de dados e Ciência de dados (como a primeira interfere na segunda) e preciso de contatos de -cientistas de dados- que já estejam trabalhando com projetos dessa natureza,  e que possam responder  às perguntas simples(abaixo). Com elas, pretendo capturar essa temperatura de conexão entre as duas linhas (gerência/qualidade de dados x ciência de dados). Agradeceria se vc, que me lê neste momento e que trabalha diretamente com -ciência de dados- ou que tem conhecidos neste domínio, pudesse me apontar alguns nomes que pudessem responder. Se necessário, farei o contato. Basicamente são as questões abaixo. Todos que colaborarem terão os devidos créditos, com nome, papel, empresa registrados no meu novo livro. 

As perguntas são:

A-Como você garante a qualidade de dados nos seus projetos de Ciência de dados?

B-Como você avalia se o "insight"(resultados) que você obteve do projeto de analytics está "correto" ou "bom" ou "relevante" para o domínio do problema?

C-Quais são os erros típicos cometidos quando analisando dados num projeto desta natureza? Como evitá-los?

D-Como saber se os "data sets" que estão sendo usados são grandes o suficiente para serem significativos?

Peço que as respostas sejam enviadas para o meu email: 

carlos.barbieri@gmail.com 

A síntese obtida das respostas será publicada aqui neste espaço também.

Agradeço muito,

Grande abraço

Aguardo

CBarbieri