Total de visualizações de página

sábado, 24 de setembro de 2011

BI2-Big Data-Parte III- Relatório da McKinsey Global Institute-Maio/2011


Foi publicado em Maio de 2011, uma detalhada análise dos efeitos do Big Data nos diversos segmentos de negócios, para os próximos anos. O trabalho  Big data: The next frontier for innovation, competition and productiviy, foi elaborado pelo MGI_Mc Kinsey Global Institute, braço de pesquisa da conceituada McKinsey, com dois focos diferentes; um econômico e outro gerencial, tentando moldar as influências desse novo conceito nos domínios da economia e dos negócios. Na realidade, a percepção sobre Big Data deve ser em vista em duas direções: a de causa e a de efeitos. O fenômeno Big Data, será a “causa”  de melhorias analíticas aplicadas na busca de informações e de conhecimento e será “efeito” de uma série de novos processos e necessidades de negócios, estendidas para domínios, antes não observados.
Os dados produzidos pelas empresas, centrados nos seus clientes, fornecedores, colaboradores, etc se juntam aos produzidos por milhões de sensores espalhados em celulares, carros, câmeras, etc para criar , em altíssimo volume, o conceito de Big Data. Os dados, sejam “big” ou não, cada vez mais se transformam em ativos fundamentais das empresas e se alinham com outros fatores de produção, como ativos fixos e capital humano nas atividades econômicas modernas e nas engrenagens de crescimento e inovação.
O foco desse relatório se firma no valor agregado que esse novo tipo de insumo pode trazer para as organizações ou setores da economia e tenta, de certa forma, quantificar o seu valor.
O trabalho foi desenvolvido pela equipe McKinsey e contou com a valiosa colaboração da Academia, na figura das Universidades de Califórnia, San Diego, através do seu Centro Global para Informação da Indústria (Global Information Industry Center), além de figuras importantes envolvidas na área de informação da Universidade Berkeley, do conceituado MIT e outros.
Alguns pontos importantes apontados no relatório da McKinsey indicam a propensão de algumas áreas como potencialmente influenciadas/influenciadoras do conceito de Big Data.
Área de Administração Pública:
         Na Europa, nesse segmento, são  estimado gastos de   250bilhões de euros/ano;
         O conceito de Big Data influenciará na facilidade de atendimentos, como pré-preenchimento de dados em documentos(Imposto de renda, por exemplo), devido à maior amplitude de informações existente ;
         Permitirá a exposição de variações de efetividade entre diferentes unidades públicas de atendimento, buscando maior produtividade e qualidade dos serviços;
         Permitirá uma melhor segmentação de público visando maior efetividade no seu  atendimento. A Agência Nacional de Empregos da Alemanha, por exemplo, reduziu gastos em 10 bilhões de  euros/anuais, depois de melhor classificar os seus  “clientes”, ou em outras palavras os “desempregados”;
         O crescimento do conceito de Big Data impulsionará também a aplicação de algoritmos automáticos para realizar revisões de documentos;
         O conceito também facilitará mecanismos públicos de transparência de gastos, como o existente na Inglaterra e acessível em   www.wheredoesmymoneygo.com
Localização pessoal:
         Com o crescimento dos “devices” portáteis será incrementado o Mobile marketing, ou seja aquele que permite que , pelo seu GPS, você receba uma oferta, por message ou e-mail, etc, quando estiver “ fisicamente” perto de uma loja, ou defronte a vitrine da loja em promoção. Isso incrementará as ações baseadas na localização, visto que você agora é um conjunto de bits portáteis;
         Também aparecerão/aumentarão as oportunidades de uso dos celulares para “mobile” shopping, de onde você fará a transação comercial, autorizando o débito na sua a operadora de cartão.
         Além desses pontos, também dados originados das formas mais “esquisitas” aparecerão. Por exemplo, a empresa SecureAlert tem como negócio acompanhar os movimentos dos presos que estando em liberdade condicional, carregam aquela espécie de tornozeleira digital(ankle cuffs), um tipo de GPS, que envia os dados de sua localização. Nos EUA há em torno de 15000 pessoas nessas condições. Os seus passos, ou a sua aproximação indevida de pessoas/localizações definidas(devem ficar em casa ou não podem se aproximar de desafetos, testemunhas  registradas no processo de liberação, por exemplo) são monitoradas. Esses bilhões de sinais enviados são analisados, visando o cumprimento da legislação e criando o que sugeria , no filme Minority Report,  o conceito de  “crime prognosticators”, ou seja a inferência de que algum problema potencial possa ser criado. Inclusive há a possibilidade de interferir no comportamento, através do envio de um sinal sonoro(alarme) que pode agir como “freio”, antes de avisar as autoridades competentes a respeito daquela violação. Esse “analytics” de comportamento exige o armazenamento de Big Data e por consequência um tratamento rápido desse gigantesco volume de dados.   Outro exemplo de aplicações de localização, embora não pessoal é o da empresa XPress Enterprises. Essa empresa, uma das maiores no segmento de caminhões nos EUA, tem uma frota de mais de 10.000 unidades.  Cada caminhão, dotado de sistema de rastreamento, que registra informações diversas sobre consumo de combustível, uso de freios, uso do ar condicionado, locais de descansos dos motoristas etc, além do posicionamento georeferenciado do veículo. Todos esses dados, claro são submetidos a um intenso tratamento analítico, que em última análise, tenta otimizar o custo de cada viagem. Num desses estudos, a empresa conseguiu a redução de custos de US$24 milhões/ano, através da monitoração das temperaturas ambientes da cabine, com uma diminuição de consumo de combustível. 
Varejo:
         O Big data incrementará o chamado  “Cross selling”. Observe que 30% das vendas da Amazon vem daquela observação singela que te cerca sempre nas compras on-line:“Quem compra esse..., também compra .........”. Isso é o “ cross-selling”, que será cada vez mais aprofundado com a maior de quantidade  de informações registrada a respeito de cada um de nós;
         O chamado “marketing baseado em localização”, conforme visto no item de localização pessoal(geoposicionamento) alavancará as vendas de varejo;
         A análise de comportamento “in-store”, permitindo uma análise instantânea do seu perfil de comprador quando você entrar no supermercado e passar o seu ID no carrinho de compras, por exemplo;
         A evolução do CRM, com a micro-segmentação de clientes(chegando quase ao nível de personalização, ou o chamado CRM 1:1);
         A evolução da análise de comportamento( chamada de “Sentiment Analysis”, ou BHI-Behavior Intelligence, com a extensão de ferramentas de BI, mining e “analytics”  a domínios ainda inexplorados;
         O conceito de Big Data também permitirá a otimização de estoque(Assortment optimization), otimização de preço, otimização de prateleiras e de localizações, etc;
         Aparecerão claras melhorias em operações de “Supply-Chain”  com consequentes ideias novas sobre modelos de negócios.
Saúde:
         O Health Care, programa de saúde pública nos Estados Unidos,  é estimado em cerca de  US$300 bilhões por ano ;
         O uso de Big Data permitirá uma melhor correlação entre cooperado, operador de serviços de saúde, tratamentos, medicamentos, procedimentos etc visando a uma maior efetividade operacional (redução de custo , maior produtividade e ganho );
         Será incrementada a pesquisa sobre a efetividade de tratamento, com o aparecimento/evolução de sistemas de suporte a decisão clínica(evitar prescrições incompatíveis com dados históricos do paciente), permitindo maior  transparência sobre dados médicos;
         O conceito de Big Data será influenciado/influenciará ações de monitoração remota de pacientes(sensores) e a análise permitirá aplicação de mineração avançada sobre perfis de pacientes(analytics com segmentação de pacientes, com maior risco/propensão a certas doenças), incrementando o campo da análise preditiva;
         O relatório da McKinsey pode ser obtido na referência:
Outras referências:
Data Analytics: Crunching the future-Ashlee Vance. Bloomberg Businessweek, publicado em 08/09/2011 e acessado em 15/09/2011, através de www.businessweek.com

sexta-feira, 16 de setembro de 2011

BI2-Big Data-Parte II- Fonte do Big Data



Pense no seguinte: O mundo experimenta um crescimento de negócios e parceiros, mercados e oportunidades,  produzindo um maior volume de dados tradicionais, ou seja aqueles "estruturados", residentes em bancos de dados, planilhas etc  e com os quais sempre trabalhamos.Arquivos de clientes, convênios, conveniados, equipamentos etc continuarão a crescer. OK...Por outro lado,  também os dados semi-estruturados ou não estruturados começam a explodir. Aos dados estruturados de uma ficha médica, por exemplo, se juntam dados "não estruturados" de imagens, ou textos de receitas ou resultados de exames daquele paciente. Ao lado de uma ficha de cliente, podemos ter fotos suas ou dos produtos de sua preferência. Dentro do celular que você usa tem dados estruturados como os endereços, contatos, telefones etc  mas também tem um conjunto de músicas de sua preferência, além das fotos dos filhos e netos. Assim, o Big Data está surgindo também em função de novos domínios de interesses da sociedade, que começamos a consumir com avidez, em função das facilidades crescentes da internet e das benesses da portabilidade . Por exemplo:
·         Há hoje no Brasil, por exemplo, mais  de 220 milhões de celulares, ou seja temos, em  média,  mais de um celular por habitante. Cada ligação efetuada pode ser entendida como um fluxo de informações que deverá ser registrada, por um certo tempo e conterá no mínimo informações do número de origem, do número chamado, estampa de data/tempo, além de  informações operacionais. Calcule o número de ligações efetuadas e imagine a sombra dos “exabytes” se aproximando. Esses são os dados estruturados. Agora imagine o número de fotos, músicas, e-mails, torpedos etc que eles nos permitem produzir ou portar ;  
·         As empresas, com site na nuvem, que tentam entender o comportamento do seu “business” usam mecanismos de detecção de  atitudes do seu visitante. Empresas de buscas, como Google, Yahoo, ou empresas de marketing digital, especializadas em “ads” na internet, tem a necessidade de registar o “clickstream” de um visitante num site. É importante entender o comportamento daquele internauta quando passeia pelos corredores virtuais (páginas) daquele site. Imagine o número de cliques que acontece num segundo em toda a nuvem. Esses cliques deverão ser registrados com uma série de dados, passando por endereço IP que efetuou o clique, a URL acessada, a URL de origem(veio de um buscador, ou entrou direto, via HTTP://), a sempre necessária estampa de tempo, etc. Bilhões de clicks são produzidos num dia na nuvem e essas dados embutem informações preciosas. E o mais importante: deverão ser armazenados e analisados;
·         A produção de imagens e fotos, via câmeras ou celulares, tem tido um crescimento exponencial nesses dias de smartphones e tablets. Os agentes de segurança em vários países  do mundo usam as imagens de câmeras digitais armazenadas em dispositivos de empresas ou de prédios residenciais para ajudar nas suas ações investigativas. A Polícia Militar de SP já  tem planos de conectar as suas centrais de segurança com os sistemas particulares de prédios e empresas, mediante autorização, claro, de forma a integrar suas ações de prevenção em segurança pública. Assim, os dados não estruturados, provenientes de imagens e fotos que se convertem em bits estão na pauta crescente do Big Data;
·         O crescimento de sistemas de análise digital de imagens médicas tem também sugerido um aumento exponencial de Big Data na área de saúde. Equipamentos e softwares têm sido desenvolvidos para atuar de forma integrada nos exames de imagens, com possibilidade, cada vez maior, de aplicações de algoritmos de mining no apoio às interpretações de imagens. Módulos e bibliotecas, cada vez mais precisas, tem sido desenvolvidas objetivando melhorar os aspectos analíticos de imagens médicas, como localização (onde se situa precisamente um tumor, por exemplo), metrificação/cálculo  de superfícies e volumes(qual a dimensão e o volume de uma próstata afetada, por exemplo), separação de bordas(especificação mais precisa de onde começa, por exemplo, um tecido sadio e onde se inicia uma parte afetada). Esse crescente aumento de dados nos sistemas de saúde, seja público ou privado contribuirá muito para a expansão do Big Data. Em BH, por exemplo, a expansão é clara: a chegada de novos operadores de saúde como Amil, A+, a expansão de empresas tradicionais no mercado (Pardini Imagens) são sintomas do aumento da produção de dados e informações, no contexto do Big Data;
·         Também está previsto para 2014, dependendo de aprovações das autoridades, a liberação do uso de “smart pills”, ou seja cápsulas contendo microchips, capazes de coletar informações intracorpóreas e transmiti-las para o celular do paciente.  Isso permitira uma observação e consequentemente ações mais precisas sobre dosagem de drogas anti-rejeição, no caso de transplantes, ou mesmo detecção de condições fisiológicas gerais, como temperatura etc. O projeto pioneiro foi desenvolvido pela Proteus(empresa de biotecnologia americana) e custeado pela gigante suíça  da indústria farmacêutica, Novartis, a um custo aproximado de US$25 milhões. Assim, os dados serão também produzidos, enviados e armazenados a partir do interior do corpo humano, numa espécie de  instanciação do filme Viagem Fantástica, sucesso da década de 60;
·         Para fechar: O Big Data estruturado já existia, na forma de Bancos de dados, Datawarehouses, Datamarts etc e agora são volumes relativamente pequenos se comparados às suas contrapartidas não estruturadas, em crescimento hiperbólico. Prepare-se, pois em função da sociedade digital, qualquer fonte de dados, por mais particular que possa ser, carregará um conjunto de informações que poderá ser interessante do ponto de vista  pessoal, de negócios, ou de comportamento / “sentimento”. Você e seu "entorno" são bits valiosos....

domingo, 11 de setembro de 2011

BI2 especial--Big Data e o 11 de Setembro


Como pode o conceito de  Big Data ter influência em eventos como o “September eleven”, que hoje o mundo reverencia? Na realidade, o conceito foi fundamental na solução do grande enigma que rondava os dias após o atentado: Quem foram os ousados terroristas que perpetraram o maior de todos os atentados da história? Como identificá-los? Veja como o conceito de Big Data teve sua parcela de influência. Nos EUA existem algumas empresas altamente especializadas num segmento, que genericamente chamamos de “Data Broker”, ou seja companhias cujo “business”  consiste em coletar, organizar e disponibilizar para assinantes, informações sobre pessoas físicas, jurídicas e suas diversas correlações. Um exemplo dessas bem sucedidas empresas  é a  ChoicePoint, sediada em Atlanta, que coleta montanhas de dados sobre decisões judiciais, transações fiscais e imobiliárias, avisos de nascimento e mortes, etc., formando uma  gigantesca base estratificada por diversas áreas e que podem ser transformados em informações vendáveis  para clientes na modalidade de software como um serviço (SaaS). A ChoicePoint tem bancos de dados  estimados em 250TB, nos quais armazena informações sobre mais de 200 milhões de residentes nos EUA. As informações são levantadas, por um exército de coletores que vasculham fontes diversas e depois as consolidam em um grande banco de dados. A empresa foi comprada recentemente pela Reed Elsevier por US$4,1 bilhões. A Reed Elsevier pertence ao grupo Lexis-Nexis, gigante especializado na área de provimento de informações e soluções de negócios que tem como clientes escritórios de advocacia, empresas do governo, agentes de segurança, escritórios de contabilidade e empresas em geral interessadas em obter informações. A Lexis Nexis já havia comprado outra empresa denominada SEISINT, que também trabalhava no setor de informações públicas. Essa empresa, SEISINT, também especializada no tratamento e venda de informações, começou na Flórida e teve uma participação interessante durante o ataque às Torres Gêmeas, em 11 de setembro de 2001. No dia 12/09/2001, Hank Asher, então dono da SEISINT, discutia os ataques às Torres Gêmeas, com um amigo, da área de segurança (Department of Law Enforcement) da Flórida. Do seu apartamento em Nova Iorque, Asher acessou o DB de sua empresa, com mais de 10 bilhões de informações sobre cidadãos residentes, carteira de motoristas, dados de cartórios, óbitos, aluguéis, etc. Em pouco tempo produziu uma lista de 1.200 suspeitos e um arquivo com 120.000 potenciais envolvidos, via sistema desenvolvido por ele, aplicando técnicas de mineração de dados. Imediatamente a  sede da empresa, em Boca Raton, na Flórida, naquela semana virou QG de CIA, FBI, Serviço de Migração, Serviço de Alfândega (Customs). Os dados sobre milhões de residentes nos EUA apareciam como boa fonte para identificar os suspeitos do maior ataque sofrido pelos americanos. Ao final da investigação, dos sequestradores identificados posteriormente, cinco estavam na lista originalmente montada por Hank Asher. Algumas semanas depois, eles, em conjunto, criaram o Matrix-Multi-State Anti-Terrorism Information Exchange, sistema que gravita na zona cinzenta entre a imperiosa necessidade de melhoria da segurança nacional e os fantasmas que ameaçam a quebra dos direitos de privacidade da sociedade americana. Em 2004, a empresa SEISINT foi comprada por US$ 775 milhões pela Lexis-Nexis.(parte extraída do livro BI2-Modelagem e Qualidade , de Carlos Barbieri)

domingo, 4 de setembro de 2011

BI2-Big Data-Parte-I

Você sabe o que é Big Data?


Você sabe o que é Big Data? Não sabe direito, mas tem uma idéia sutil do que seja... ah é?. O conceito se aplica para arquivos, Bancos de dados, Data Marts e Data Warehouses com volumes de centenas de terabytes e petabytes e olhando os números abaixo, você poderá entender o porquê desses novos conceitos:

• Entre o início da História e o ano de 2003, estimadamente foram produzidos cerca de 5 exabytes. Exabytes(sem h) é a unidade que corresponde a 1000(escala decimal) ou 1024(escala binária) petabytes, que por sua vez é 1000 ou 1024 terabytes, que por sua vez é 1000 ou 1024 gigabytes. A partir daí, você conhece....Já tem no seu pendrive, no seu celular, tablet, etc;

• Acontece que essa mesma quantidade de dados, de 2003 em diante passou a ser produzida a cada 2 anos. Entendeu o fenômeno? Produção massiva de dados, criando a cada 2 anos a mesma quantidade de dados que foi produzida desde o início dos tempos ..Passadas as escalas de exabytes, chegaremos às escalas nunca antes imaginadas de zettabytes(nível acima de exabytes)_ e yottabytes, a última escala denominada até agora. Nesse momento, algum organismo de definição de padrões já deve ter o radical para indicar 1000 ou 1024 yottabytes, ou seja um número cuja magnitude não temos idéia. Algo assim, como os recursos públicos desviados por aqui, cujo valor deve ser além dos yottabytes. Talvez seja (id)yottabytes, que seria uma homenagem singela a nós mesmos.....;

• Sabe o porquê disso: Veja a seguir:

• A cada minuto 600 novos “posts” de blogs são colocados na internet;

• A cada minuto 34000 novos tweets são criados no Twitter;

• A cada minuto 240.000 mensagens são colocadas no Facebook ;

• O You Tube, coloca em 2 meses, o equivalente de conteúdo digital igual ao que foi produzido pelas grandes redes americanas(ABC,NBC e CBS), desde 1948;

• O IDC estima que exista hoje um conteúdo de 45GB para cada habitante do planeta, o que daria 281 bilhões de GB, ou seja 281 exabytes;

• Por US$600 você compra um HD capaz de armazenar todas as músicas já feitas até hoje;

• Há hoje, em julho de 2011, cerca de 5 bilhões de celulares no mundo, sendo a grande parte tocadores de músicas, gravadores de voz e câmeras fotográficas;

• Esse é o conceito de BIG Data: volume, processamento e armazenamento em escalas nunca antes imaginadas. Você acha que isso vai ou não modificar a nossa forma de pensar a Informática, os Bancos de dados, as abordagens de BI, etc?