Total de visualizações de página

domingo, 24 de junho de 2018

DGIQ-2018-San Diego-Califórnia-11 a 14 de junho-2018 -Parte II



Continuação do post anterior.

e)Tendências emergentes e o futuro da GD-Governança de dados
No último painel do DGIQ-2018, participaram Sunil Soares, renomado consultor e o autor com mais livros sobre GD atualmente no mercado, parelho com David Loshin, Ann Buff , participante ativa do DGPO(Data Governance Professional Organization), HoChun Ho, chefe de GD da JLL, gigante mundial do ramo de imóveis(real estate) e Rex Ahlstrom, diretor da Backoffice Associates, ferramenta de dados muito respeitada nos EUA, Europa, Asia e Oceania, mas desconhecida no Brasil. Quem mediou a discussão foi Anthony Algmin, consultor independente de dados. As perguntas/temas colocados para discussão:

E1)A possível evolução do papel de CDO: Esse ponto ainda mostra uma indefinição de como vai ser o movimento do papel do CDO em direção ao futuro. Há muitos CDO´s nos EUA e na Europa. No Brasil, menos de uma dúzia, eu acho. Grande parte das grandes empresas mundiais tem esse papel, normalmente definido como a figura contratada para transformar os dados em elemento “monetizável”, não pela sua  venda direta(conceito supostamente imaginado), mas como elemento de transformação e criação de novos produtos e modelos de negócios. Curiosamente nesta sessão, havia somente 1 CDO presente. A percepção transmitida é que , independentemente do nome do papel, o conceito de preparação, uso dos dados e sua gestão como ativo da empresa veio para ficar, conforme disse o chefe de GD da JLL. Tenha a empresa um CIO ou CDO, ou ambos. Esteja a GD sob o CDO, CFO, CMO, etc, os dados serão vistos com outros olhos. Ponto

E2)O casamento entre GD e IA(Inteligência Artificial): Essa relação mais estreita entre GD e IA apareceu com destaque nas palestras de ferramentas de dados, conforme falei acima. Ann Buff, Sunil Soares e HoChun Ho, entretanto lembraram de algo sobre o qual já escrevi neste Blog (vide artigos anteriores). “Os aspectos éticos dos dados”.  Esse ponto, ainda será amadurecido, mas a preocupação já existe. Na minha visão, a GD(Governança de dados) e QD(Qualidade de dados) tangenciarão o conceito (que ainda não existe formalmente definido) de Governança/Gestão de resultados de dados, visando o controle sobre os algoritmos de machine learning chamados impenetráveis(inscrutable). São algoritmos que, pelos números de interações e modificações de variáveis não oferecem a rastreabilidade de como se chegou naquele resultado final. E , não se pode esquecer que certas regulações exigem  que resultados sobre análise de dados de pessoas(clientes, empregados, parceiros, etc) sejam devidamente explicados. Por exemplo, se um algoritmo dessa natureza for aplicado num processo de seleção, ou na inferência sobre certas características de uma pessoa, lembre-se que, pelo GDPR (em vigor desde 25 de Maio/2018), há a o direito à explicação. Assim, a empresa, via GD sendo responsável pelos aspectos de segurança e privacidade dos dados de alguém, e um algoritmo de Data Science inferindo algo que não pode ser explicado, sugere um potencial “problema” desenhado para um futuro próximo. Pensar nessa nova área de dados não deverá ser algo para se negligenciar. 
    
E3)BlockChain: Esse assunto foi considerado verde pelos debatedores, que o posicionaram como (ainda) um possível fenômeno “hype”. Na minha modesta visão, esse conceito será mais explorado nos modelos de BD Distribuídos, o que poderá levar à viabilização do padrão de transacionalidade “ACID-like” em bancos totalmente distribuídos. Mas esse assunto “Blockchain”, não foi sequer considerado “relevante” pela mesa dos debatedores.

E4)GDPR: A Regulação Europeia chegou, no dia 25 de Maio passado e com isso as empresas sob esse foco se obrigaram a estabelecer uma GD meio que às pressas, mas que será para sempre. Assisti a uma apresentação de uma ferramenta de glossário de dados (Datum), oferecendo as vantagens de se poder ter os dados PII devidamente catalogados(quais dados a empresa tem na classificação PII), com possibilidade de conhecimento de sua linhagem(como os dados estão sendo processados, de onde vieram, para onde foram), os responsáveis por eles,etc,etc. No DGIQ de 2016, pela primeira vez tive contato com o conceito, que estava começando nos EUA e trouxe para o Brasil, quando escrevi sobre GDPR(veja artigos anteriores). Fui um dos primeiros, se não o primeiro. Hoje vejo, que o Brasil acordou (meio tarde, claro), quando recebo notícias de que a GDPR brazuca está sendo reativada. Projeto de Lei do Senador Antônio Carlos Valadares (de 2012), o “GDPR-BR” volta à tona, com reuniões já marcadas para Agosto, quando um grande Seminário reabrirá a discussão pública do tema. Antes tarde ...... 

E5)Single source of truth: Esse conceito foi trazido quando as proposições de BD dos anos 70 se mostraram incapaz de domar as replicações de dados. Surgiu como driver das tecnologias de MDM-Master Data management, que tomaram posição forte, propondo a versão única dos dados. Para minha surpresa, ouvi de algumas empresas, de grande porte e atuação global, que o conceito SST(Single Source of Truth) dos dados também estaria com os dias contados, sendo substituído por uma onda que se chamaria “Dados em Contextos”. No fundo, seria o retorno aos modelos de dados, com permissão de replicação, porém controlada pela GD. Essas manifestações senoidais das tecnologias em geral e as de dados em particular sempre existirão e o que se deve fazer é aguardar e viver cada momento dos bits e bytes, sem o entusiasmo dos vendedores de soluções. 
  
3)Encontrei com alguns “amigos de dados,” como Danette McGilvray, que é uma das mais famosas especialistas em qualidade de dados. Circula pelo mundo dando aulas e palestras sobre QD(já esteve no Brasil) e sempre, que possível,  sentamos para conversar. Foi a criadora do Manifesto de Dados(juntamente com John Ladley e outros),  que foi traduzido para o português por mim e por Bergson L. Rego. A versão em português foi a primeira, depois da versão original e agora já existe a francesa e a espanhola está sendo feita. Danette tem um livro sobre QD, dos mais citados e ela pediu para conversamos sobre a nova edição que pretende fazer. Logo depois, recebi um email, que foi enviado para muitos da área, solicitando possíveis evoluções nos conceitos de QD, que ela aplica no seu livros-10 Passos da QD). Também encontrei com David Plotkin, de quem fui aluno no curso (Data Stewardship) no DGIQ de 2016. Plotkin é apaixonado pelo Brasil, já esteve no Amazonas e sempre falamos. Tem um livro publicado onde aprofunda no trabalho dos Gestores de dados(data stewards), que recomendo (Data Stewardship-An Actionable Guide to Effective Data Management and Data Governance). Plotkin era o chefe de GD do Banco Wells Fargo e agora foi para o banco MUFG-Bank of Tokio-Mitsubish, o maior banco do Japão. Danette e Plotkin ministram os cursos opcionais(Qualidade de dados e Data Stewardship) que fecham o evento na 5afa e 6afa. 
  
4)Resumo: O DGIQ continua sendo o grande evento sobre Governança e Qualidade de dados atualmente no mundo. Promovido duas vezes por ano, um na Costa Leste e outro na Costa Oeste reúne um conjunto de experiências e posições extremamente rica. É claro que se deve analisar e escolher cuidadosamente as palestras, tutoriais e cursos oferecidos, pois pelo gigantismo do evento, replica-se informações transmitidas, em certo grau. Mas vale a pena, para confirmar os seus passos como consultor, ajustar caminhos, descartar hypes e modismos e esperar novos termos e conceitos que logo chegarão (Curadoria de dados é um deles...).
Conforme prometido, essa foi a sinopse dos principais temas discutidos. 

Voltarei ao assunto no Linkedin, e/ou nos cursos de Pós ou de GD. Abraços .

segunda-feira, 18 de junho de 2018

DGIQ-2018-San Diego-Califórnia-11 a 14 de junho-2018 -Parte I


DGIQ-2018-San Diego-Califórnia-11 a 14 de junho-2018 -Parte I


Visão geral sobre o DGIQ-2018, em San Diego-CA.

1)Participantes:

Foi considerado pelos organizadores como o maior DGIQ, desde a sua criação em 2008, com um total de mais de 600 pessoas de várias partes do mundo. Além da presença maciça dos americanos e canadenses, o restante do mundo também apareceu por aqui. A América do Sul começa a despertar para os aspectos de GD e vieram 6 do Chile, 3 da Colômbia e até o Suriname, vizinho das Guianas, esteve com 2 representantes. A África também despertou e há 3 da Nigéria e um da África do Sul. A Europa, depois do GDPR, esteve presente com França, Portugal (com 2), Irlanda, Alemanha, Dinamarca. Há reps da Arábia Saudita, Kuwait, Japão, Cingapura, Qatar, Austrália. O México, coladinho em San Diego, mandou 1 rep somente. O Brasil, como sempre, fica distante deste evento. No ano passado havia além de mim, uma analista do Banco Central. Hoje estou sozinho. OK, Esse ano tem Copa do mundo, eleição, whatever...

2)Assuntos dominantes:

a)Glossário de dados/Metadados:

Houve uma distribuição de temas sobre Governança de dados, em vários níveis, com tutoriais introdutórios, intermediários e outros mais avançados.  Um assunto nitidamente crescente foi sobre Metadados e Glossário de negócios. Assisti um tutorial avançado e uma palestra sobre o tema. O tutorial, muito bom, sobre catálogo de dados, foi de Lowell Fryman, experiente especialista em metadados, com livros escritos e participação nos Livros Vermelhos da IBM(Red Books),  recentemente contratado por uma empresa que vende essa tecnologia(Collibra). Muito profissional, o tema foi tratado de forma agnóstica, sem menção ao produto. Os conceitos apresentados evidenciam o assunto do momento que é a necessidade de se conhecer organizacionalmente os dados existentes, realizar a sua catalogação, mapear sua linhagem, etc. Não estamos falando de Dicionários de Dados atrelados às ferramentas de SGBD, ETL, Modelagem de dados, etc. O conceito é sobre os dados da empresa, catalogados com seus metadados circundantes, dentro da visão de negócios(conceitual/lógica). Com uma tecnologia já relativamente estabelecida, os produtos deste segmento começam a buscar espaços de evolução nas suas plataformas. A IBM , por exemplo, aproveitando o seu  famoso Watson, plataforma de IA, vencedora do programa de TV Jeopardy, encaixou nas camadas de dados do seu Information Server (extração, transformação, profiling, limpeza,etc) a possibilidade de uso dos elementos de  IA-inteligência artificial( machine learning), prometendo mais rapidez e  inteligência no tratamento de dados e de metadados. Assim , a extração de um dado, feita de um schema de BDs, poderá ser acompanhada de uma análise inferencial que apontará seus prováveis relacionamentos, por exemplo. É o conceito de Machine learning se encontrando com o Metadados.

b)GD: 

Ficou a clara constatação de que, com a chegada de Big Data e com a onda de  transformação digital, onde os dados são elementos fundamentais, a GD chegou para ficar. As empresas deverão nesses próximos anos, usar os seus dados, não mais somente como elementos de tomada de decisão, mas fundamentalmente para produzir novos modelos de negócios, onde esses ativos participam. As empresas que apresentaram “cases” já mostram uma GD muito evoluída, citando os obstáculos pelos quais passaram (ou passam). De comum, a clara indicação de que GD é um desafio cultural, que o “P” do Patrocínio é vital para o sucesso e o “P” das Pessoas e Papéis idem. Neste último estão o alinhamento com ideias de colaboração e participação, uma certa flexibilização com relação às mudanças necessárias e a propensão à adesão a um programa que somente visa melhorar a empresa, via a gestão dos dados. Em resumo, os obstáculos que a GD enfrenta não estão somente na camada de dados desorganizados. Para isso há técnicas e ferramentas. O problema é mais relacionado aos conceitos de “proprietarismo dos dados” enraizado por muitos anos. Menos hardware e software e mais Peopleware. Houve até uma palestra especificamente sobre isso (DG meets Psichology-How to influence individuals within organizations). Colocar ordem nos dados de uma empresa, seja de que tamanho for, é algo desafiador. Durante muito tempo, esses elementos de dados, hoje cada vez mais importantes, ficaram à deriva, numa fase, digamos mais orientada aos processos.  Isso produziu o que aqui foi chamado de débito de dados (Data Debt), uma invenção semântica fresquinha, que acabou de sair do forno da indústria da consultoria. No fundo, é uma metáfora baseada no modelo Scrum, onde há o débito técnico. No fundo, de novo, é o sentido de débito produzido quando, por exemplo, as empresas replicaram livre e descontroladamente  os seus arquivos, ou deram pouca atenção à qualidade de seus elementos de dados, produzindo sanções ou multas, além de tomadas de decisões erradas. Com os novos tempos, essas ações indevidas agora mandam a conta, seja na forma de um projeto reparador de Dados Mestres ou a  criação de GD com definição e rigor nas Políticas, Padrões, Processos e Procedimentos.

c)GD e Agilidade

Aqui também tivemos um tema que cresce, pois há a clara necessidade de se conciliar os métodos de desenvolvimentos de sistemas ágeis, com o imperioso controle de dados. De novo, as soluções serão a conscientização das equipes de desenvolvimento, a presença de um gestor de dados no time de Scrum e a aprovação dos dados do projeto, não somente pelo PO ou SM, mas também pela GD.   

d)GD=Negócio: 

O óbvio, que já foi definido como uma das piores formas de distração, apareceu também. Às vezes, o óbvio é tão translúcido que você não atenta para ele. Uma das suas manifestações: A GD deverá ser “vendida” como um programa nas empresas, não somente pelas vantagens conceituais que oferece, mas  principalmente pela resolução direta dos problemas de dados existentes que hoje  as assustam pela força da regulação,  gerando riscos de multas e sanções e incomodam os tomadores de decisão pela inconsistência de seus dados. Por esse motivo é que a grande incidência de empresas com GD muito bem estabelecidas gravitam em torno de Compliance e Risco, como organizações de Health Care e Instituições financeiras.  No próximo post, continuaremos com a visão de futuro da GD.

sábado, 10 de fevereiro de 2018

Pesquisa GD x Data Science

Caros, boa tarde

Aqui é o Barbieri, tudo bem?

Seguinte: estou finalizando o meu 4. livro(agora sobre Governança de dados)  e estou precisando de um pequeno favor de todos que passam por aqui. Estou finalizando um capítulo sobre Qualidade de dados e Ciência de dados (como a primeira interfere na segunda) e preciso de contatos de -cientistas de dados- que já estejam trabalhando com projetos dessa natureza,  e que possam responder  às perguntas simples(abaixo). Com elas, pretendo capturar essa temperatura de conexão entre as duas linhas (gerência/qualidade de dados x ciência de dados). Agradeceria se vc, que me lê neste momento e que trabalha diretamente com -ciência de dados- ou que tem conhecidos neste domínio, pudesse me apontar alguns nomes que pudessem responder. Se necessário, farei o contato. Basicamente são as questões abaixo. Todos que colaborarem terão os devidos créditos, com nome, papel, empresa registrados no meu novo livro. 

As perguntas são:

A-Como você garante a qualidade de dados nos seus projetos de Ciência de dados?
B-Como você avalia se o "insight"(resultados) que você obteve do projeto de analytics está "correto" ou "bom" ou "relevante" para o domínio do problema?
C-Quais são os erros típicos cometidos quando analisando dados num projeto desta natureza? Como evitá-los?
D-Como saber se os "data sets" que estão sendo usados são grandes o suficiente para serem significativos?

Peço que as respostas sejam enviadas para o meu email: 

carlos.barbieri@gmail.com 

A síntese obtida das respostas será publicada aqui neste espaço também.

Agradeço muito,

Grande abraço
Aguardo
CBarbieri

sábado, 20 de janeiro de 2018

Governança/Gestão e a ética em dados-Parte 6


Os números (não ?) mentem

Confúcio, teria dito que há três formas de mentira: a encoberta, a descoberta e a estatística. Exageros, à parte, uma parte da estatística lida com incertezas, é considerada uma ciência probabilística e por isso, a história sugere cautela, quando certas premissas definidas sobre os dados, os algoritmos utilizados na sua análise e a forma de visualização dos resultados não forem devidamente considerados. Acesse o site (tylervigen.com). Ele tem como objetivo anotar com sarcasmo e ironia as impropriedades das correlações espúrias que se pode obter através de análises estatísticas formais, porém sem muitos cuidados. O site, claro, tem um tom de deboche sobre o tema, mostrando correlações exóticas e absurdas, por exemplo, como o número de filmes em que  Nicolas Cage aparece e o número de pessoas que morrem por afogamento nos EUA.  Ou como o consumo per capita de queijo, nos EUA, guarda estreita correlação com o número de pessoas que morrem enroscados nos seus lençóis, mostra outro exemplo. Os gráficos apresentados, à primeira vista, iludem o observador, pois as linhas das duas correlações são absolutamente coerentes, no tempo e nos valores plotados. São gráficos que mostram que a manipulação de variáveis e suas correlações inexistentes podem ser feitas, mesmo para relações não-causais(sem relação de causa e efeito), produzindo resultados ingênuos e extravagantes.  O livro “Os números (não) mentem” de Charles Seife, também aborda o mesmo tema e chama esses resultados enganosos e aceitos ingenuamente como “ramdomiopia”. A citação do sábio chinês, o site de Tyler Vigen e o livro “Os números (não) mentem“, de Charles Seife , são evidências de visões(que podem ser até exageradas, mas não infundadas) que acabam por sugerir cautela no uso dessa ciência, cuja força é inferencial.  Já publiquei aqui mesmo um artigo sobre a máquina de inferência que foi usada pela campanha de Trump e repito novamente, agora nesse contexto de cuidados com as máquinas que aprendem. Exageros afora, ao analisarmos o livro de Charles Seife, em português traduzido para “Os números(não) mentem” cujo título em português foi muito mais condescendente do que o original(The dark arts of Mathematical deception), que em uma tradução livre seria “ a arte sombria das falácias matemáticas”, fica bem claro esse alerta. Neste livro, o autor não cria brincadeiras, como o do site tylervigen.com. No livro, Charles Seife rastreou um conjunto de conclusões estatísticas espúrias, mas que foram publicadas como consistentes, veiculadas em canais poderosos de informação, endossadas e assinadas por gente de respeito, mas que no final representavam um forte exemplo de “ramdomiopia”. Por exemplo, um gráfico oficial mostra a correlação científica entre o consumo crescente de aspartame com a explosão de casos de câncer cerebral. Ou, o aumento no consumo de energia correlacionado com  o aumento da expectativa de vida. Observe que esses dois exemplos, fogem da borda do sarcasmo e ganham ares de verdades estatísticas sérias. Puras manifestações de “ramdomiopia” , conforme contra-argumenta o autor, produzidas por correlações encontradas, mas que não garantem uma relação real e estatisticamente legítima. No fundo essas falácias matemáticas nascem, por percepções incompletas do fenômeno analisado, por falta de observações subjacentes dos dados, por apresentarem força na explicação do passado, porém sem capacidade garantida de prever o futuro. Também fazem uso dos chamados “números de Potemkim”, equivalentes estatísticos dos muros de Potemkin, macete visual(painéis pintados) criado por um príncipe, para driblar a imperatriz Catarina da Rússia, que desconhecia a imensidão do vazio de certa região daquele pais, por onde ela resolveu passar.
Segundo Seife, algumas premissas reforçam a “ramdomiopia”  e exigem cautela:

1-Se você quiser convencer alguém de uma bobagem sem tamanho, basta acrescentar um número;
2-Idéias absolutamente sem nexos podem ganhar respeitabilidade através de aplicação de algoritmos estatísticos;
3-Há uma grande dificuldade do ser humano de tratar a aleatoriedade. Por isso, inconscientemente, há essa compulsão por estabelecer relações de causa e efeito, onde elas não existem. Vê-se imagens de humanos em estrelas no céu ou o rosto de Madre Tereza na superfície de um bolinho de canela, diz Seife. A religiosidade confirma isso, e  entra como um fator fundamental nessa equação, explicando o inexplicável por meio de credos e crenças. 

Referências:
1-Vigen, T.  “Spurious correlations-Correlation does not equal causation”. Hachette Books. 2017.

2-Seife, C. “Os números(não) mentem”. Editora Zahar.2012.