BI2-BI e a Governança de Dados- A interseção

Quando eu trabalhava na Cemig, me envolvendo com os bancos de dados que davam suporte aos sistemas  de faturamento e arrecadação, um dos assuntos que sempre vinha à tona era a medição dos valores de consumo de energia. O processo era absolutamente manual, com a figura do leiturista percorrendo rotas pré-definidas, por onde ele ziguezagueava pelos bairros, realizando a leitura dos valores de consumo, numa espécie de “ tête a tête”  com os medidores. Medidores são aqueles aparelhos que ficam escondidos atrás de umas portinholas metálicas, com cara de relógio que não marcam horas e  com escalas que não entendemos claramente. São aqueles reloginhos cujos ponteiros gostávamos de ver numa espécie de corrida circular, quando pequenos. Esses marcadores numéricos ou digitais apontam valores que são transferidos para uma folha de anotação que o leiturista traz, já com a identificação da chave do consumidor. Por vezes, esses processos eram interrompidos por cães ferozes que surgiam de repente no alpendre das residências, fazendo com que os leituristas se tornassem uma espécie de fortes candidatos aos jogos olímpicos, na modalidade 50 metros, ou salto com obstáculos. Esse processo continua até hoje, mas já ganhou tons de modernidade. Hoje já é possível que o registro de consumo  seja feito através de leitores remotos, num diálogo bluetooth,  ou pela transmissão de rádio-frequência, evitando assim que o leiturista tenha que se postar defronte aos medidores. Isso não impede a sua visita aos pontos de consumos, embora permita evitar confrontos desconfortáveis com rotweilers pouco sociáveis.

Em 2012, a SCE(Southern California Edison), gigante  elétrica da região mais importante do oeste americano, começará uma nova fase, com a implantação dos SmartReaders , ou seja os leitores inteligentes, para mais de 5 milhões de seus consumidores. Os leitores inteligentes são equipamentos digitais instalados no ponto de consumo, que funcionam como um ponto da rede elétrica e também um “ nó” da rede de dados. Ou seja, os medidores farão parte de uma rede de dados que conectará cada ponto de consumo à empresa, permitindo a leitura de hora em hora para consumidores residenciais e de 15 em 15 minutos para consumidores comerciais. Essa nova topologia permitirá a transformação da rede elétrica tradicional num conceito de smart grid, onde os elementos de engenharia elétrica(transformadores, disjuntores,etc)  que formam uma rede de  transmissão e distribuição serão conectados de forma muito mais inteligente do que por elementos eletro-mecânicos.

Bom, mas qual a correlação disso tudo com BI, Governança de dados e Big Data? Simples:  Com relação a Big data, as empresas elétricas se prepararam com o advento do smartmeter, para uma nova ordem de armazenamento de dados de consumo. Vamos considerar a ocorrência de 24 leituras por dia, multiplicadas por 365 dias por ano, para os mais de 5 milhões de consumidores. Considerando que os dados medidos tenham, por exemplo 1000 bytes, teremos aproximadamente   50TB por ano. Isso habitará um  Data Warehouse que integrará dimensões tempo(data-hora-minuto-segundo), localização(referências geográficas do ponto de consumo), identificação do ponto de rede elétrica, com os fatos armazenando as diferentes leituras das variáveis elétricas, conforme o modelo dimensional, a seguir, que ilustra o conceito. Com a montagem desses dados na forma dimensional, a empresa agregará valor através da possibilidade de acesso, via internet, dos consumidores aos seus dados. Assim, cada consumidor poderá  rapidamente obter o seu perfil  de consumo, por hora do dia, ou por dia da semana, ou por mês do ano, moldando o seu comportamento de consumidor e podendo reduzir ou otimizar seus gastos na conta. A empresa, por outro lado, poderá, através de promoções enviadas aos consumidores, modificar tarifas em tempo quase real, definidas em função do horário de consumo, incentivando os consumidores a , por exemplo, tomar banho, fora do horário de pico, e consequentemente, pagar menos. Com os dados em grande quantidade, os indicadores de interrupção nos domínios de duração e frequência também poderão ser facilmente obtidos, definindo de forma mais clara o nível de SLA que a “utility” oferecerá aos seus consumidores. Os aspectos de Governança entram na equação, forçando a empresa  a definir procedimentos de dados, aspectos de segurança na transmissão e no armazenamento, padronização de metadados, uso dos dados , regulações vigentes sobre o assunto e os riscos que implicarão esse novo volume de dados. E assim, os pulsos  analógicos da rede elétrica se encontrarão com os bits da rede de dados, transformando a grande grade inteligente(smart grid) em zeros e uns. Logo, logo os pontos de consumo ganharão um endereço IP e a grande aldeia global estará mais chique e menos choque!

Figura-Modelo dimensional

BI2-A inspiração e a arte de escrever podem ser “automatizadas” ?

Na revista Veja de 14 de Setembro de 2011, uma reportagem chama a atenção, se não pelo título “ O autor fast food”, mas pela forma inventiva e colaborativa que o escritor James Patterson, grande fabricante de best-seller, desenvolveu no seu domínio de criação. A “fera”  Patterson, que já vendeu mais de 230 milhões de exemplares, bate todos os outros  grandes autores juntos(Dan Brown, Stephen King etc) e hoje é o maior vendedor de livros do planeta. O grande lance do autor é a forma como escreve os seus best-sellers. Ele desenvolveu um processo de escrever livros de sucesso. Isso mesmo: um processo ágil, digamos assim. Ele projeta a ideia central da história, como que registrando o seu product backlog, faz um diagrama esquemático sobre o “ todo” do enredo e depois distribui para a sua equipe de colaboradores (em torno de 7), que desenvolvem as partes, que depois serão integradas pelo autor. O livro é desenvolvido em vários “sprints”  paralelos. Tal como um processo de software orientado a objetos e componentes, James Patterson criou o conceito de componentização de subenredos e integração contínua de inspirações. Claro que  algumas reuniões  periódicas(daily scrum, ou retrospective meeting) com a equipe de colaboradores garantem as interfaces dos componentes com o “trunk” principal. Com um faturamento estimado de US$84 milhões de dólares/ano, Patterson terceiriza e componentiza algo que os escritores de cepa nunca antes ousaram imaginar: a inspiração. Mas as coisas ainda vão longe, muito mais do que imaginam nossos tímidos neurônios ludibriados. Segundo o New York Times, de 10/09/11, foi lançado no mercado americano um produto de software da empresa Narrative Science, localizada em  Evanston, Illinois. Esse produto, fruto de muitos anos de pesquisa em data mining e inteligência artificial, cria textos, somente baseados em números e estatísticas montadas em tabelas. Por exemplo, se você entregar para ele uma tabela contendo o “scout” de um jogo de futebol, o programa será capaz de criar um texto escorreito, ou seja um conjunto de linhas que você juraria ter sido escrito por um bípede, como nós, e não por um algoritmo  entremeado por “uns” e “zeros”. Os autores, durante muitos anos foram os responsáveis pelo laboratório de Intelligent Information da Universidade de Northwestern, onde desenvolveram os conceitos e o código, capaz, pasmem, de gerar textos com narrativas perfeitas, prontos em alguns segundos, conforme  a observação atenta de alguns analistas e jornalistas. Como em todas as ocasiões quando algoritmos inteligentes geram coisas que até então somente nós fazíamos, sobressaltam as dúvidas: Esses softwares vieram aqui para ajudar ou para nos substituir? O jornalismo tradicional não foi(ainda) substituído pela tecnologia, mas ambos se dão muito bem, num estado marital, cada vez mais integrado. A publicidade digital (ainda) não varreu a publicidade impressa para debaixo da lata, e ambas (ainda) convivem harmoniosamente. Segundo os seus autores, a “idéia pincel”, como diz Caetano Veloso, é ajudar nos apressados  ambientes de redações, quando houver necessidade de maior produção de texto, sem o aumento do budget da editora ou do jornal. Algumas empresas como a Fox Networks e Big 10 Conference já adotam o produto visando a criação de textos sintéticos sobre jogos de baseball ou softball, colocados no web site depois de um minuto do final das partidas. Também “scouts”  de lutas de boxes, de futebol, basquete etc  tem sido transformados em textos  fluídos instantaneamente publicados. O produto, diga-se de passagem, é bem mais do que um simples criador de textos originado por algoritmos Java. Além de ser um produtor rápido de textos, o software também analisa dados passados, retidos nos seus Bancos de dados de textos e pode fazer inferências sobre “coisas”, como  jogos por acontecer, possibilidades de vitória.  Ou seja, o danado,  além de escrever rápido, ainda é capaz de ter um certo raciocínio inferencial.  Enquanto a primeira alternativa adotada por Patterson trabalha com inspiração distribuída para ganhar em escala, a segunda alternativa, via Narrative Science, automatiza a produção do texto, desde que a inspiração esteja na forma numérica e tabular. Em outras palavras, basta ter uns números em excel, para se produzir um texto word. Ou seja, daqui a pouco tempo, um texto como esse não será mais assinado por um Carlos Barbieri, mas sim por algo chamado de QuickText, ou FastText, ou WriteforMe . Nesse momento, estarei descansando na minha meia-água em Hope Woods, um condomínio fechado, verde e silencioso, bucólico e discreto, onde a vizinhança não atrapalha e ninguém admira o luar, nem critica o sol a pino. Fica no final da Cristiano Machado, nas imediações da fábrica da San Marino......