BI2 especial--Big Data e o 11 de Setembro

Como pode o conceito de  Big Data ter influência em eventos como o “September eleven”, que hoje o mundo reverencia? Na realidade, o conceito foi fundamental na solução do grande enigma que rondava os dias após o atentado: Quem foram os ousados terroristas que perpetraram o maior de todos os atentados da história? Como identificá-los? Veja como o conceito de Big Data teve sua parcela de influência. Nos EUA existem algumas empresas altamente especializadas num segmento, que genericamente chamamos de “Data Broker”, ou seja companhias cujo “business”  consiste em coletar, organizar e disponibilizar para assinantes, informações sobre pessoas físicas, jurídicas e suas diversas correlações. Um exemplo dessas bem sucedidas empresas  é a  ChoicePoint, sediada em Atlanta, que coleta montanhas de dados sobre decisões judiciais, transações fiscais e imobiliárias, avisos de nascimento e mortes, etc., formando uma  gigantesca base estratificada por diversas áreas e que podem ser transformados em informações vendáveis  para clientes na modalidade de software como um serviço (SaaS). A ChoicePoint tem bancos de dados  estimados em 250TB, nos quais armazena informações sobre mais de 200 milhões de residentes nos EUA. As informações são levantadas, por um exército de coletores que vasculham fontes diversas e depois as consolidam em um grande banco de dados. A empresa foi comprada recentemente pela Reed Elsevier por US$4,1 bilhões. A Reed Elsevier pertence ao grupo Lexis-Nexis, gigante especializado na área de provimento de informações e soluções de negócios que tem como clientes escritórios de advocacia, empresas do governo, agentes de segurança, escritórios de contabilidade e empresas em geral interessadas em obter informações. A Lexis Nexis já havia comprado outra empresa denominada SEISINT, que também trabalhava no setor de informações públicas. Essa empresa, SEISINT, também especializada no tratamento e venda de informações, começou na Flórida e teve uma participação interessante durante o ataque às Torres Gêmeas, em 11 de setembro de 2001. No dia 12/09/2001, Hank Asher, então dono da SEISINT, discutia os ataques às Torres Gêmeas, com um amigo, da área de segurança (Department of Law Enforcement) da Flórida. Do seu apartamento em Nova Iorque, Asher acessou o DB de sua empresa, com mais de 10 bilhões de informações sobre cidadãos residentes, carteira de motoristas, dados de cartórios, óbitos, aluguéis, etc. Em pouco tempo produziu uma lista de 1.200 suspeitos e um arquivo com 120.000 potenciais envolvidos, via sistema desenvolvido por ele, aplicando técnicas de mineração de dados. Imediatamente a  sede da empresa, em Boca Raton, na Flórida, naquela semana virou QG de CIA, FBI, Serviço de Migração, Serviço de Alfândega (Customs). Os dados sobre milhões de residentes nos EUA apareciam como boa fonte para identificar os suspeitos do maior ataque sofrido pelos americanos. Ao final da investigação, dos sequestradores identificados posteriormente, cinco estavam na lista originalmente montada por Hank Asher. Algumas semanas depois, eles, em conjunto, criaram o Matrix-Multi-State Anti-Terrorism Information Exchange, sistema que gravita na zona cinzenta entre a imperiosa necessidade de melhoria da segurança nacional e os fantasmas que ameaçam a quebra dos direitos de privacidade da sociedade americana. Em 2004, a empresa SEISINT foi comprada por US$ 775 milhões pela Lexis-Nexis.(parte extraída do livro BI2-Modelagem e Qualidade , de Carlos Barbieri)

BI2-Big Data-Parte-I

Você sabe o que é Big Data?


Você sabe o que é Big Data? Não sabe direito, mas tem uma idéia sutil do que seja... ah é?. O conceito se aplica para arquivos, Bancos de dados, Data Marts e Data Warehouses com volumes de centenas de terabytes e petabytes e olhando os números abaixo, você poderá entender o porquê desses novos conceitos:

• Entre o início da História e o ano de 2003, estimadamente foram produzidos cerca de 5 exabytes. Exabytes(sem h) é a unidade que corresponde a 1000(escala decimal) ou 1024(escala binária) petabytes, que por sua vez é 1000 ou 1024 terabytes, que por sua vez é 1000 ou 1024 gigabytes. A partir daí, você conhece....Já tem no seu pendrive, no seu celular, tablet, etc;

• Acontece que essa mesma quantidade de dados, de 2003 em diante passou a ser produzida a cada 2 anos. Entendeu o fenômeno? Produção massiva de dados, criando a cada 2 anos a mesma quantidade de dados que foi produzida desde o início dos tempos ..Passadas as escalas de exabytes, chegaremos às escalas nunca antes imaginadas de zettabytes(nível acima de exabytes)_ e yottabytes, a última escala denominada até agora. Nesse momento, algum organismo de definição de padrões já deve ter o radical para indicar 1000 ou 1024 yottabytes, ou seja um número cuja magnitude não temos idéia. Algo assim, como os recursos públicos desviados por aqui, cujo valor deve ser além dos yottabytes. Talvez seja (id)yottabytes, que seria uma homenagem singela a nós mesmos.....;

• Sabe o porquê disso: Veja a seguir:

• A cada minuto 600 novos “posts” de blogs são colocados na internet;

• A cada minuto 34000 novos tweets são criados no Twitter;

• A cada minuto 240.000 mensagens são colocadas no Facebook ;

• O You Tube, coloca em 2 meses, o equivalente de conteúdo digital igual ao que foi produzido pelas grandes redes americanas(ABC,NBC e CBS), desde 1948;

• O IDC estima que exista hoje um conteúdo de 45GB para cada habitante do planeta, o que daria 281 bilhões de GB, ou seja 281 exabytes;

• Por US$600 você compra um HD capaz de armazenar todas as músicas já feitas até hoje;

• Há hoje, em julho de 2011, cerca de 5 bilhões de celulares no mundo, sendo a grande parte tocadores de músicas, gravadores de voz e câmeras fotográficas;

• Esse é o conceito de BIG Data: volume, processamento e armazenamento em escalas nunca antes imaginadas. Você acha que isso vai ou não modificar a nossa forma de pensar a Informática, os Bancos de dados, as abordagens de BI, etc?

BI2-Modelagem e Qualidade- Carlos Barbieri

O livro BI2-Modelagem e Qualidade, que você folheará a partir de Junho, teve três grandes motivações na sua concepção:  A primeira foi o ainda intenso interesse demonstrado pela comunidade de informações(acadêmica e técnica) pelo livro anterior BI-Business Intelligence-Modelagem e Tecnologia, esgotado. Esgotado, diga-se de passagem, não necessariamente por seus méritos, mas pelo desaparecimento da empresa, que o editou. Que Deus a tenha...
Editado em 2001, o livro ainda continua sendo uma fonte  bastante citada, conforme evidencia o Dr. Google, nas suas mais de 30 páginas de links referenciados. Isso é reiterado por diversos e-mails que recebo periodicamente, vindo de universidades e profissionais , a respeito de como obtê-lo, mesmo dez anos depois do seu lançamento. Assim o BI2 cumprirá parte de seu objetivo, ampliando,revisando e atualizando os conceitos existentes no seu irmão mais velho e trazendo novas discussões sobre altos volumes, novas formas de acesso e de estruturação de informações.
A segunda grande motivação se deu pela minha incursão, ao longo desses últimos seis anos, na implementação de projetos de qualidade, através do Programa MPS.BR da Softex. Foram mais de 50 implementações através da Fumsoft-MG. Embora o movimento MPS.BR seja fortemente focado em qualidade de processos de software e serviços correlatos, fui despertado por uma daquelas vozes internas que nos sopram aos ouvidos, principalmente nas madrugadas insones que sucedem a derrota do time querido. Ela  me perguntava o  porquê da qualidade de dados não ter  ainda alcançado um patamar de importância corporativa semelhante à qualidade dos processos.  De pronto, respondi: ­­__ Depende,  esfarelando qualquer resquício de lógica e me valendo do clichê fundamental da indústria da consultoria. Mesmo assim, prometi ao meu alterego cruzmaltino pensar,pesquisar e escrever a respeito. Até porque em  toda a minha vida profissional estive profundamente envolvido com dados. Desde a minha tese de Mestrado no Inpe, nos anos 70, passando pela minha  carreira profissional de quase 30 anos na Cemig, onde comecei como DBA, comandei a área de Dados e me aposentei como responsável pela área de Tecnologia. Sempre me envolvi com eles. Mesmo assim, os diversos trabalhos de consultoria por aí afora, a escrita de um dos primeiros livros sobre Modelagem de Dados publicados no Brasil, e o primeiro livro de BI,  sempre me apontaram esse caminho, mas nunca me ajudaram na resposta ao alterego insone. Quando ouvi pela primeira vez sobre os movimentos de Governança de dados, entendi que o momento que eu sempre imaginara importante para os dados, estava prestes a chegar. E por que colocar num livro de BI, assuntos de qualidade e governança de dados? A resposta é clara e forte como a silhueta das montanhas de Minas. As informações colocadas e estocadas nos grandes depósitos hoje(sejam DW ou DMarts) têm oferecido um lado sombrio, quando analisadas sob a luz da qualidade. Não são poucas as empresas onde ouço que o BI vai bem, porém a qualidade das informações por ele produzidas,.. nem tanto...  

A terceira motivação se dá pela minha paixão velada pelos dados, sejam eles os cubinhos com faces enumeradas de 1 a 6,  ou os elementos atômicos de informações e geração de conhecimentos. A língua portuguesa tem essa feliz coincidência semântica, inexistente nas outras. Essa minha fixação em dados(informações) foi aguçada pela perspectiva do crescimento absolutamente incontrolável do conteúdo do universo digital. Com o aparecimento de celulares, redes sociais, câmeras, etc, o elemento “dado” passou a  circundar as nossas vidas, como nunca antes, chamando atenção,  não só pelo seu volume estonteante, mas principalmente pela maneira pela qual nos impactarão . Essas novas formas de análises que serão feitas sobre  nós quando investidos de  leitores, blogueiros, internautas, twiteiros, transeuntes observados por câmeras, etc, também foram pesquisadas, no que chamei de BHI(Behavior Intelligence). Já se foi o tempo em que o BI era somente dados de varejo e transações comerciais. No lugar de transações, veremos interações e atitudes.
Enfim, o livro procura ser um pouco provocador no sentido de que as empresas deverão se preocupar com os dados como um ativo organizacional, da mesma forma com que  nós os “human bits”,  estaremos vivendo o lado doce e amargo da nossa nova personalidade de “seres digitais”.  
Para melhor orientá-los  na leitura do BI2, gostaria de mostrar as trilhas do volume. 

No capítulo 1 , vocês terão  uma visão gerencial, com o viés histórico sobre a evolução ou revolução dos aspectos de dados, informação e conhecimento, testemunhado por esse escriba, desde o momento em que rodei  o primeiro  programa Fortran, na época da CPU à  lenha.

No capitulo 2 , procurei associar o conceito de reputação e de novos posicionamentos das empresas a respeito de competição, virtualidade, marcas, etc, com aspectos subliminares de qualidade.

No capítulo 3, tangencio o  assunto qualidade de processos, muito mais com intuito de contextualização de uma qualidade parceira  do que com a pretensão de ser detalhista nesse domínio. 

No capítulo 4, falamos sobre Qualidade e Governança de Dados, discutida num viés condicional  e fundamental para uma boa implementação de BI e a consequente assunção dos dados como ativos organizacionais das empresas. Nesse capítulo discutiremos os conceitos seminais de Governança de dados, algumas propostas para sua implantação e certos modelos de maturidade aplicados . É um dos capítulos, que pretendo provocadores.  

Os capítulos 5 e 6 focam em BI, com os seus conceitos estruturantes e os aspectos correlacionados ao assunto, como Conhecimento, Inteligência competitiva, etc. Manteve a essência do livro anterior, focando aspectos colaterais do BI.

O capítulo 7, falamos sobre Data Mining, que escrevi com Fábia Russano Yazaki, amiga e grande estatística e que hoje trabalha na ONU em NYC, onde nos encontramos quase que religiosamente nos janeiros gelados da Big Apple. O conteúdo é também muito próximo do originalmente publicado no primeiro livro, mas foi revisado e  ligeiramente expandido à luz das novas aplicações da matemática computacional.

Os capítulos 8, 9 e 10 são dedicados aos projetistas e arquitetos de DW, DMart e soluções de bases de dados, tendo um conteúdo caracteristicamente técnico. Não dá para escrever com “graça” e lirismo, parágrafos que versam sobre indexações multidimensionais, com mapas de bits ou chaves randômicas. No capítulo 8 falamos sobre conceitos avançados de modelagem dimensional, que permanecem estáveis desde Kimball e Inmon. No capítulo 9,  a discussão é sobre projetos de aplicações de BI, com incursão em modelos iterativos, como forma de encolher os grandes cronogramas de projetos dessa natureza. O capítulo 10 tem um foco bem “bit-byte” mesmo. Diversas formas de indexações e suas evoluções foram pesquisadas e analisadas. Na parte final do capítulo, focamos em grandes volumes, com soluções sendo desenvolvidas, exatamente para esses novos cenários, como Hadoop, indexações colunares,etc.    
O capítulo 11 tem um sabor especial e de novo, tenta provocar. Ele sintetiza os conceitos em torno do que chamei de BI2, ou sejam as diversas alternativas de aplicações de BI em domínios diferentes. Falamos do BHI(Behavior Intelligence), BI aplicado a GP(Gerência de Projetos), Geo-BI, BI com agilidade, etc, além dos aspectos de volumes de dados e seus impactos em segurança e privacidade.  
Esse é o enredo do BI2: jogar algumas luzes em cima do BI estabilizado há mais de 15 anos, provocando reflexões sobre qualidade e governança dos dados, altos volumes com “Big Data”, MDM, projetos iterativos e novas formas de aplicações.  

Espero que gostem. Boa leitura.


Correções: depois do lançamento, observamos alguns erros de editoração, que corrigimos abaixo
1a correção: As figuras  de 8.13 a 8.19 apresentam um erro em algumas colunas que deveriam ter sido esmaecidas(escurecidas, conforme desenho original enviado) e não foram. Abaixo, seguem as figuras corretas:

A IBM e os novos antibióticos

Uma interessante notícia veiculada hoje aqui na Europa, pelo Daily Telegraph, mostra que a IBM quando, nos anos 70, definiu pelo slogan "Mais do que máquinas", tinha realmente algo para oferecer além dos servidores e softwares. Na  incessante busca pela  miniaturização, a  IBM  acabou  chegando ao desenvolvimento de nanoestruturas, elementos  que, de tão pequenos, são capazes de serem atraídos por células infectadas, tal qual um ímã biológico. Isso abre um espaço para a criação de uma nova era de antibióticos, onde os fármacos poderão ser direcionados para as células doentes, deixando as boas de lado, numa emulação de um ataque planejado, com alvos bem definidos. O artigo foi publicado na revista Nature Chemistry. Nem o mais visionário dos informatas da minha era do computador à lenha, imaginou que um dia a Big Blue ajudaria na criação do antibiótico magnético e entraria  no combate à nossa velha e conhecida prostatite.