Blog do Barbi-Carlos Barbieri

Governança de Dados-Parte-I-Introdução

2012-02-07T19:48:00.000-02:00

Qualquer empresa que mantenha intenções de competitividade nesta arena leoninados anos 201x deverá ter, além da preocupação com a melhoria dos processos, umfoco também no outro lado do espectro:os dados. Essa dualidade entre dados e processos sempre existiu e mostra queesses dois pilares são fatores críticos em empresas que intencionam seguir oscaminhos da reputação, via qualidade. Fazendo uma comparação superficial é comoentender que um bom prato é fruto de uma boa receita (processo) e de bonsingredientes (dados). Se um dos dois não estiver adequado, o produto finalpoderá perder em qualidade. Além disso, como a proposta de BI (BusinessIntelligence) é transformar dados em informações que possam ser usadas paraações analíticas, tomadas de decisões tático-estratégicas e até definiçõesoperacionais, a qualidade dos dados que serve como input para o BI se reveste,cada vez mais, de extrema importância. Lembre-se de que BI é um processofundamentalmente transformador e logo a qualidade do seu input irá refletirdiretamente na correção das tomadas de decisões efetuadas. Nos anos 80, após a consolidação das técnicas de Bancos de Dados, com acristalização das funções de ABD-Administradores de bancos de dados, surgiu oconceito de Administração de dados(AD). Diferentemente da proposta deABD(Administração de Bancos de Dados), que objetivava a gerência das bases dedados, a partir do controle centralizado dos seus gerenciadores (SGBD), aAD(Administração de Dados) tinha uma visão muito mais ampla e penetrava nos domínios conceituais dos dados . A ideia de AD era criar uma grupo,com visão centralizada sobre os dados, independentemente de onde esses recursosestivessem armazenados(SGBD, ou arquivos VSAM, etc), dando a esses ativos umstatus um pouco maior do que meros habitantes das estruturas hierárquicas ourelacionais dos gerenciadores. Um pouco mais do que tabelas, chaves primárias,índices, etc. Várias empresas criaram então, esses núcleos de AD, com variantesna sua posição hierárquica. Algumas ousaram colocar a AD em níveis elevados,próximos às gerencias superiores. Uma das que me recordo colocou o AD ligado àvice-presidência e outras colocaram a ADnas vizinhanças da ABD, devido à afinidade que os dados, no plano físico(SGBD),teriam com os dados no plano conceitual(AD). Espremendo bastante, a prática deAD acabou por não funcionar a contento. O conceito de AD foi aos poucos sediluindo por diversos fatores, sendo o principal a falta de percepção dos dadoscomo um ativo empresarial. A área de AD,naquela época seria a responsável pela manutenção dos modelos conceituais dosdados, modelando, entendendo, gerenciando, documentando e mantendo sob controleos elementos seminais como entidades, relacionamentos, atributos e regras quegravitam em torno do conceito elementar de dado. Os bancos de dados, antes deserem criados, deveriam passar por um crivo conceitual, mapeando os dadosnecessários àquela aplicação, com os já existentes e catalogados nos modelosque estavam sob as chaves da AD. Com a fragilidade sobre a percepçãocorporativa dos dados, que deveriam ser vistos como um recurso organizacional, mas não eram,as coisas não andaram bem. Os dados continuavam entendidos como combustíveisimediatos para aplicações que se desenhavam e as regras que definiam aobrigatoriedade de seus controles emmodelos conceituais, começaram a ruir. O fato de que a AD estava, na maioria desuas estruturações, colada nas imediações da ABD e subordinada à TI, tambémserviu, paradoxalmente como alavanca para essa abaixa adoção de AD. A TI, quedeveria resolver, criar e rodar os sistemas demandados pela empresa,premida pela força dos cronogramas, era a primeira a dar dribles de corpo naAD, liberando a ABD para criar os dados necessários, na forma desejada, e o queera pior, nas duplicações que fossem necessárias. Com a chegada damicroinformática e o consequente aparelhamento computacional nas unidades denegócios, os dados se espalharam mais ainda. Assim, pela força do imediatismo, a própria TIminou a ideia de AD. Como a TI era, em tese, a “mãe” dos dados, ela própriaabortava um conceito, priorizando a rapidez de suas entregas.

Esse foi oprimeiro erro fatal: Os dados, que deveriam ser vistos como da empresa, tiverama sua administração estabelecida longe daqueles que realmente conhecem eentendem esse insumo, ou seja os seus criadores e consumidores, que habitam asáreas de negócios. A TI, mera processadora deles, definitivamente não era omelhor lugar para acolher o conceito de administração de dados. Assim surge aprimeira lição aprendida: Os dados não são da TI , são das áreas de negócios esua administração deve ser do “business” , com a TI tendo um papel de partícipe muito importante, porém deco-responsabilidade. Diferentemente da administração financeira, de recursoshumanos, de materiais, etc, a de dados nasceu no lugar equivocado, inspiradopor motivações nobres, porém não firmemente estabelecidas e nem abençoada pela aquiescência do “business”.

Outrofator importante que contribuiu para essa morte precoce, foi o advento dosERP´s. Com a aproximação do final do século, o problema do bug do milênioagilizou a necessidade de se buscar soluções prontas que integradas eharmonizadas nos dados e processos, resolveriam uma boa parte das afliçõesexistentes naquele momento. Assim, os ERP´s, como SAP, JDEdwards, Oracle Application,DataSul, etc já traziam no seu arcabouço, os dados já definidos, padronizados eintegrados. Isso de certa forma, esfriou as ações da AD, que justamente sepreocupava com esses elementos, queagora vinham prontos, modelados e blindados nos caros e complexos pacotesaplicativos. Dessa forma, por causa desses fatores, dentre outros, a AD passoude uma boa idéia para um conceito com um obituário anunciado. Embora em algumasempresas o nome AD tenha até sido preservado, ele simplesmente ficou como uma célula inoculada pelo pecadomaior: estava sob o controle da TI e sem a cumplicidade da área de negócios. Novácuo do conceito de AD deixado para trás, surgiram, na maioria das empresas, uma série de problemas que hoje estãopotencializados. Bancos de dados, que deveriam em tese, ser depósitos de dadosúnicos, formando a verdade “única” sobre as informações de consumidores,clientes, colaboradores, materiais etc falharamno seu objetivo. Hoje são encontrados diversos bancos de dados sobre o mesmo“assunto”, contendo informações divergentes sobre elementos mestres da empresa.Os dados, além de duplicados, foram definidos sob variados padrões semânticos,não permitindo a inferência de que representam a mesma entidade, ou o mesmoatributo. Os dados, incluídos nos Bancos de dados, não necessariamente tiverama sua metadefinição, ficando atrelado a mnemônicos por vezes ininteligíveis,como cod-cli, ou dat-vc-fat , o que dificulta a sua interpretação. Soma-se àduplicação de dados, o estranho fato de não se saber se, mesmo replicados, elesrepresentam a mesma “coisa”. Com o beneplácito da TI, premida pela rapidez nassoluções, os dados se espalharam em unidades de negócios, habitando sistemasparalelos, ou esquadrilhas de planilhas excel, sobre os quais se perdeu ocontrole. Dessa forma, os dados espalhados nas corporações não observam hojeaspectos mínimos que garantam: integridade, precisão, disponibilidade,atualidade etc. Com o surgimento dos sistemas de BI turbinados pela necessidadede informações para tomadas de decisões, o problema se potencializou, seinstalando, agora, no mundo das informações. Os dados, com seus problemasacumulados, começaram a produzirinformações carentes de credibilidade.

Com oadvento da Web, o informática alavancou a criação exponencial de dados. O queera, até então, produto de sistemas estruturados, começou a ser produzido nasformas de emails, clickstream, posts de blogs, redes sociais, etc. Surgiu oconceito de Big Data, já discutido em posts anteriores. Com eles, o problema dequalidade e controle dos dados produzidos ou consumidos na empresa sepotencializa pela diferenciação no volume e nos tipos de dados.

A apatiaque se estabeleceu sobre esses importantes ativos organizacionais deverá serrevista com os cuidados demandados pela sociedade da informação. Assim, osconceitos de Governança Corporativa e de TI foram estendidos para os domíniosde Governança de Dados, visando não somente à organização desses acervos, mastambém a aspectos típicos desses novos tempos. Os cuidados singulares coma segurança de dados, a necessidade dasua definição clara e sem ambiguidade, uma maior fluidez na sua distribuição eum uso democrático e controlado se tornaram alguns drivers dessa novafronteira. Além disso, existem algunsvetores apontando para o fato de que em alguns países, a governança de dadospoderá ser obrigatória em breve, dentro de uma capa regulatória, que demandaráque o valor dos dados seja considerado um ativo da empresa e que a sua qualidade seja traduzida emmétricas, compondo indicadores-chave de desempenho da área de TI. Isso foidefinido pelo fato de que a qualidade dos dados implica riscos corporativos quea nova TI e o novo papel de CIO deverão estar preparados para mitigar.Diferente dos tempos quando os dados eram simples combustíveis de programasCobol, ou eneplicados aos borbotões pelas áreas negociais das empresas, agoraeles se tornam elementos fundamentais do capital intelectual da empresa,geradores que são de informação e conhecimento. Só isso....

BI2-BI e a Governança de Dados- A interseção

2012-01-28T09:29:00.000-02:00

Quando eu trabalhava na Cemig, meenvolvendo com os bancos de dados que davam suporte aos sistemas de faturamento e arrecadação, um dos assuntosque sempre vinha à tona era a medição dos valores de consumo de energia. Oprocesso era absolutamente manual, com a figura do leiturista percorrendo rotaspré-definidas, por onde ele ziguezagueava pelos bairros, realizando a leiturados valores de consumo, numa espécie de “ tête a tête” com os medidores. Medidores são aquelesaparelhos que ficam escondidos atrás de umas portinholas metálicas, com cara derelógio que não marcam horas e comescalas que não entendemos claramente. São aqueles reloginhos cujos ponteirosgostávamos de ver numa espécie de corrida circular, quando pequenos. Essesmarcadores numéricos ou digitais apontam valores que são transferidos para umafolha de anotação que o leiturista traz, já com a identificação da chave doconsumidor. Por vezes, esses processos eram interrompidos por cães ferozes quesurgiam de repente no alpendre das residências, fazendo com que os leituristasse tornassem uma espécie de fortes candidatos aos jogos olímpicos, na modalidade50 metros, ou salto com obstáculos. Esse processo continua até hoje, mas jáganhou tons de modernidade. Hoje já é possível que o registro de consumo seja feito através de leitores remotos, numdiálogo bluetooth, ou pela transmissãode rádio-frequência, evitando assim que o leiturista tenha que se postardefronte aos medidores. Isso não impede a sua visita aos pontos de consumos,embora permita evitar confrontos desconfortáveis com rotweilers poucosociáveis.

Em 2012, a SCE(Southern CaliforniaEdison), gigante elétrica da região maisimportante do oeste americano, começará uma nova fase, com a implantação dosSmartReaders , ou seja os leitores inteligentes, para mais de 5 milhões de seusconsumidores. Os leitores inteligentes são equipamentos digitais instalados noponto de consumo, que funcionam como um ponto da rede elétrica e também um “nó” da rede de dados. Ou seja, os medidores farão parte de uma rede de dadosque conectará cada ponto de consumo à empresa, permitindo a leitura de hora em horapara consumidores residenciais e de 15 em 15 minutos para consumidorescomerciais. Essa nova topologia permitirá a transformação da rede elétricatradicional num conceito de smart grid, onde os elementos de engenhariaelétrica(transformadores, disjuntores,etc) que formam uma rede de transmissão e distribuição serão conectados deforma muito mais inteligente do que por elementos eletro-mecânicos.

Bom, mas qual a correlação dissotudo com BI, Governança de dados e Big Data? Simples: Com relação a Big data, as empresas elétricasse prepararam com o advento do smartmeter, para uma nova ordem de armazenamentode dados de consumo. Vamos considerar a ocorrência de 24 leituras por dia,multiplicadas por 365 dias por ano, para os mais de 5 milhões de consumidores.Considerando que os dados medidos tenham, por exemplo 1000 bytes, teremos aproximadamente 50TBpor ano. Isso habitará um Data Warehouseque integrará dimensões tempo(data-hora-minuto-segundo),localização(referências geográficas do ponto de consumo), identificação doponto de rede elétrica, com os fatos armazenando as diferentes leituras dasvariáveis elétricas, conforme o modelo dimensional, a seguir, que ilustra o conceito. Coma montagem desses dados na forma dimensional, a empresa agregará valor atravésda possibilidade de acesso, via internet, dos consumidores aos seus dados.Assim, cada consumidor poderá rapidamente obter o seu perfil de consumo, por hora do dia, ou por dia dasemana, ou por mês do ano, moldando o seu comportamento de consumidor e podendoreduzir ou otimizar seus gastos na conta. A empresa, por outro lado, poderá,através de promoções enviadas aos consumidores, modificar tarifas em tempoquase real, definidas em função do horário de consumo, incentivando osconsumidores a , por exemplo, tomar banho, fora do horário de pico, econsequentemente, pagar menos. Com os dados em grande quantidade, osindicadores de interrupção nos domínios de duração e frequência também poderãoser facilmente obtidos, definindo de forma mais clara o nível de SLA que a“utility” oferecerá aos seus consumidores. Os aspectos de Governança entram naequação, forçando a empresa a definirprocedimentos de dados, aspectos de segurança na transmissão e no armazenamento,padronização de metadados, uso dos dados , regulações vigentes sobre o assuntoe os riscos que implicarão esse novo volume de dados. E assim, os pulsos analógicos da rede elétrica se encontrarão comos bits da rede de dados, transformando a grande grade inteligente(smart grid) emzeros e uns. Logo, logo os pontos de consumo ganharão um endereço IP e a grandealdeia global estará mais chique e menos choque!

Figura-Modelo dimensional

BI2-A inspiração e a arte de escrever podem ser “automatizadas” ?

2012-01-13T20:18:00.000-02:00

Na revista Veja de 14 de Setembro de2011, uma reportagem chama a atenção, se não pelo título “ O autor fast food”,mas pela forma inventiva e colaborativa que o escritor James Patterson, grandefabricante de best-seller, desenvolveu no seu domínio de criação. A “fera” Patterson, que já vendeu mais de 230 milhõesde exemplares, bate todos os outros grandes autores juntos(Dan Brown, Stephen Kingetc) e hoje é o maior vendedor de livros do planeta. O grande lance do autor éa forma como escreve os seus best-sellers. Ele desenvolveu um processo deescrever livros de sucesso. Isso mesmo: um processo ágil, digamos assim. Eleprojeta a ideia central da história, como que registrando o seu productbacklog, faz um diagrama esquemático sobre o “ todo” do enredo e depoisdistribui para a sua equipe de colaboradores (em torno de 7), que desenvolvemas partes, que depois serão integradas pelo autor. O livro é desenvolvido emvários “sprints” paralelos. Tal como umprocesso de software orientado a objetos e componentes, James Patterson criou oconceito de componentização de subenredos e integração contínua de inspirações.Claro que algumas reuniões periódicas(daily scrum, ou retrospectivemeeting) com a equipe de colaboradores garantem as interfaces dos componentescom o “trunk” principal. Com um faturamento estimado de US$84 milhões dedólares/ano, Patterson terceiriza e componentiza algo que os escritores de cepanunca antes ousaram imaginar: a inspiração. Mas as coisas ainda vão longe,muito mais do que imaginam nossos tímidos neurônios ludibriados. Segundo o NewYork Times, de 10/09/11, foi lançado no mercado americano um produto desoftware da empresa Narrative Science, localizada em Evanston, Illinois. Esse produto, fruto demuitos anos de pesquisa em data mining e inteligência artificial, cria textos,somente baseados em números e estatísticas montadas em tabelas. Por exemplo, sevocê entregar para ele uma tabela contendo o “scout” de um jogo de futebol, oprograma será capaz de criar um texto escorreito, ou seja um conjunto de linhasque você juraria ter sido escrito por um bípede, como nós, e não por umalgoritmo entremeado por “uns” e “zeros”.Os autores, durante muitos anos foram os responsáveis pelo laboratório deIntelligent Information da Universidade de Northwestern, onde desenvolveram osconceitos e o código, capaz, pasmem, de gerar textos com narrativas perfeitas,prontos em alguns segundos, conforme aobservação atenta de alguns analistas e jornalistas. Como em todas as ocasiõesquando algoritmos inteligentes geram coisas que até então somente nós fazíamos,sobressaltam as dúvidas: Esses softwares vieram aqui para ajudar ou para nossubstituir? O jornalismo tradicional não foi(ainda) substituído pelatecnologia, mas ambos se dão muito bem, num estado marital, cada vez maisintegrado. A publicidade digital (ainda) não varreu a publicidade impressa paradebaixo da lata, e ambas (ainda) convivem harmoniosamente. Segundo os seusautores, a “idéia pincel”, como diz Caetano Veloso, é ajudar nos apressados ambientes de redações, quando houvernecessidade de maior produção de texto, sem o aumento do budget da editora oudo jornal. Algumas empresas como a Fox Networks e Big 10 Conference já adotam oproduto visando a criação de textos sintéticos sobre jogos de baseball ousoftball, colocados no web site depois de um minuto do final das partidas.Também “scouts” de lutas de boxes, defutebol, basquete etc tem sidotransformados em textos fluídos instantaneamentepublicados. O produto, diga-se de passagem, é bem mais do que um simples criadorde textos originado por algoritmos Java. Além de ser um produtor rápido detextos, o software também analisa dados passados, retidos nos seus Bancos dedados de textos e pode fazer inferências sobre “coisas”, como jogos por acontecer, possibilidades de vitória. Ou seja, o danado, além de escrever rápido, ainda é capaz de terum certo raciocínio inferencial. Enquantoa primeira alternativa adotada por Patterson trabalha com inspiraçãodistribuída para ganhar em escala, a segunda alternativa, via NarrativeScience, automatiza a produção do texto, desde que a inspiração esteja na formanumérica e tabular. Em outras palavras, basta ter uns números em excel, para seproduzir um texto word. Ou seja, daqui a pouco tempo, um texto como esse nãoserá mais assinado por um Carlos Barbieri, mas sim por algo chamado deQuickText, ou FastText, ou WriteforMe . Nesse momento, estarei descansando naminha meia-água em Hope Woods, um condomínio fechado, verde e silencioso, bucólicoe discreto, onde a vizinhança não atrapalha e ninguém admira o luar, nemcritica o sol a pino. Fica no final da Cristiano Machado, nas imediações dafábrica da San Marino......

Big Data- Parte X- Os Big Data e a cafeína.

2011-12-29T20:58:00.000-02:00

Na primeira semana de Novembro, euretornava de um jantar com amigos doMPS, quando chegando em casa olhei os “posts” do Twitter. Um deles, contavasobre o caso de uma tentativa de estupro numa Universidade, aqui pertinho decasa, que tinha acabado de acontecer, há não mais do que 2 horas. Naqueleevento, na realidade, consumi uma informação fornecida pelo poder das redes sociais,informação essa que ainda não estava dos domínios do Dr. Google, que, em tese,tudo sabe e tudo informa, ou pelo menos assim deveria. Ou seja, em certascircunstâncias, as redes sociais estão informando antes que o Dr. Google e issoaos olhos atentos de Larry Page e Sergei Brin não é boa coisa. E essa tem sidojustamente uma das preocupações dagrande empresa de busca: As informações estão chegando rapidamente à rede, viacontatos sociais, mas demoram um poucomais para serem pescadas pelos seus analisadoresde páginas web, que vasculham o universo digital. No início do mês de Novembro,a gigante anunciava uma mudança nos seus métodos e algoritmos de buscas, a fimde produzir respostas mais atualizadas. Essa mudança é o reconhecimento pelaGoogle de sua dependência da atualidade da informação e de certa forma, dasombra de ameaça que as redes sociais estão trazendo para cima da maior empresade informações do planeta. Os resultados de um jogo de futebol, nas tardes dedomingo, aparecem muito mais rapidamente no Twitter, FB,etc , com comentáriosinclusive, e somente depois são pescados pelos “crawlers” do Google. As redessociais, por seu lado, tem incentivado fortemente a colocação de informações em tempo real, criandoum ambiente com o maior grau possível de atualidade. Bem que a gigante deMountain View já havia tentado um acordo com o Twitter a fim de analisar emtempo(quase) real as suas mensagens de140 toques. O acordo foi definido por um tempo, mas depois as empresas nãoconvergiram em termos de renovação do acerto e o mecanismo do Google foidesabilitado. É claro que a Google aindaresponde por 66% das pesquisas web nos EUA, mas o americano já está seacostumando a buscar nas redes sociais a informação do tipo “break news” que sódepois(horas, minutos?) estará nas estruturas de Big Table da Google. Nesse campo, o Twitter é imbatível com a suainstantaneidade de 140 batidas e oferece um produto colateral interessante: Asinformações poderão já vir com certa análise, crítica, percepções de espanto, alegria, frustação,etc . Ou seja,além da informação “ in-natura”, certas considerações de “sentimento” poderão tecer o seu contexto. Dai ocrescimento de “Sentiment Analysis”, que discutiremos depois. O Google acostumou o seu público a consumirinformações com certa latência. Páginas “velhas” com as indicações sobre osrestaurantes em NYC, ou a escalação do Vasco no jogo que já aconteceu são atônica do grande depósito. O Google tem uma média de 500 alterações no seu algoritmo por ano e esse desafio debuscar mais atualidade está na tela de radar da grande empresa. A ideia é analisar os termosde buscas colocados na caixa de pesquisa e tentar entender o grau de “freshness(sem tradução, por favor)daquilo que está por ser mostrado. No último anúncio de melhoria de sua máquinade busca(fevereiro de 2011), a ideia foi aumentar o ranking de páginas “maisinteressantes”, a fim de “esconder” as de baixa qualidade de interesse, queinsistem em inundar as pesquisas com artigos de menor interesse, porématreladas a consultas também populares. Isso, garante o Google, melhorará adisponibilização de informações mais atuais. Essas melhorias estão escoradas nonovo método de indexação definido pela Google, que tem o sugestivo nome de“Cafeina” (Caffeine), que além de varrer a teia digital de forma mais rápida,também o fará de forma constante, em vez de latência de algumas semanas, comoacontecia. Como cafeína é um composto alcalóide que tem a propriedade de manteras pessoas mais acesas e alertas, o algoritmo, pelo menos no nome, faz todo osentido......

Big Data- Parte IX- Os Big Data e as formas de armazenamento-Novas soluções-II.

2011-12-21T21:36:00.000-02:00

Continuaçãodo post anterior: Discutindo alternativas para implantação de Big Data comnovas proposições e estruturações físicas.

Triplestore:

Outra forma de estruturação de dados se avizinha, buscando uma maiorflexibilidade na definição dos bancos de dados construídos na era doszettabytes. É chamada de Triplestore e nasceu como uma forma de embutir dados emetadados na própria estrutura armazenada. Diferentemente dos modelosrelacionais que se baseiam na definição de ênuplas(várias colunas com valores,numa relação normalizada), conceito simplificado para tuplas, a abordagem detriplestore chega com uma proposta diferente. A ideia é que a unidade dearmazenamento mínima seja uma tripla, ou seja a conjugação de “sujeito” “predicado” e “objeto”. Por exemplo, “Barbieri” “escreveu”“livro” , ou “Isabella” “toca” “violão”, ou “Cláudio” “tem” “30” (idade). Dessa forma, o armazenamento sedá conjugando os metadados com os dados, explicitados através da triplacombinação desses elementos. Isso sugere uma maior flexibilização naincorporação de novos atributos, visto que se insere uma estrutura atômica domodelo, sem impacto direto em conceitos de tabelas, linhas, etc. O modelo sebaseia no framework RDF- Resource Description Framework (RDF) .Semelhantemente ao modelo relacional existe também acoplado a ele uma linguagemde acesso e possibilidades de indexações instantâneas. Os gerenciadores detriplestore já se mostram com a capacidade para armazenar bilhões detriplas e alguns nomes já surgem nesse novo cenário, engrossando os conceitosda Web semântica. Por exemplo, 3store, Allegrograph, Bigdata, BigOWLIM, Sesame,Soprano,Virtuoso,etc são nomes que aparecem nesse cenário de novas alternativasestruturais. O site da W3C http://www.w3.org/wiki/LargeTripleStores mostra umarelação com diversos produtos desta nova cepa e alguns resultadosalcançados por mais de 15 desses RDF Data Base Engine. Alguns desses produtos,como Virtuoso apresenta novas formas de indexações com bitmap, tradicionalmenteusado em pesquisas de campos de baixa cardinalidade.

Casssandra:

Outra variante de modelo de dados para esses novos tipos de Bancos dedados é, por exemplo, o usado no Cassandra:

a)As colunas, que são as residências das informações, são associadaslogicamente em conjuntos chamados “família”. Uma família de colunas pode tervárias colunas, ou até uma outra família dentro dela. As famílias são definidasno momento da criação do BD. Porém, após esse momento, pode-se criar colunasnovas dentro daquela família de colunas;

b)As colunas são associadas a chaves específicas, ou seja umatupla(linha no relacional) pode ter colunas diferentes. No modelo relacionaldeve-se usar o conceito de “nulos” para as colunas que não tem valores naquelatupla. Os valores de uma família de colunas, associadas a uma chave, sãoarmazenadas juntas.

Em alguns produtos semelhantes, as colunas são armazenadas tambémcontendo as regras de de domínios, numaespécie de acoplamento dos dados com os seus metadados, todos habitando o mesmoespaço. Isso permite que consistências eintegridades sejam aplicadas no momento de acesso ao dado, agilizando asverificações e manipulações aplicadassobre eles e definidas como regras.

MongoDB

Um dos produtos que começa a aparecer nessa nova seara de NoSQL é oMongoDB. Já usado em algumas aplicações específicas em BH, o produto sedenomina um Banco de dados de documentos. Na realidade, o conceito de documentoapresentado pelo produto pode ser entendido como o de um “objeto complexo”.Semelhantemente aos SGBDOO(Bancos de Dados orientados a objetos) dos anos 80, oMongo permite sob a capa de um documento, a definição de um objeto complexo. E o que é um objeto complexo, então? Um objetocomplexo é a definição de uma estrutura de dados, totalmente flexível e semregras estruturais colocadas, como vimos no modelo relacional, ou um pouco nosanteriores(hierárquico e rede). Nessa nova proposta, por exemplo, cada linha(sópara dar a equivalência conceitual com os relacionais), pode conter qualquernúmero de dados associados a uma chave primaria, um Object-id definidointernamente. Os dados associados a cada chave podem formar famílias decolunas, sendo que cada coluna pode ser , por sua vez, uma estrutura complexa,como outra família de colunas, ou array, ou apontadores recursivos. Cada linha,identificada, pode ter um número de colunas diferente de outras linhas da mesmaEntidade. Por exemplo, um certo cliente poderá ter 20 colunas, e outro100, fugindo um pouco das abordagens de campos nulos, trazidos nos conceitosrelacionais, para tornar as linhas homogêneas. Assim, por exemplo, um documento (objeto) Projeto pode ser formadode dados de projetos, de dados de Equipes, que por sua vez sãoformadas de dados de Empregados. O que acontece é que oque seriam estruturas bem comportadas em modelos relacionais ou hierárquicos,no MongoDB, pode aparecem como um objeto complexo, como que já “joined” eentrelaçados. Embora com uma estruturação complexa, passível de recursividades,o produto permite que a busca seja feita somente trazendo os pedaçosde informações desejadas. Usam a indexação baseada em BTree e permitem acessosmuito rápidos em dados estruturados segundo essa concepção. Não oferececonceitos transacionais padrão de ACID e de SQL, ficando por conta doprogramador a incumbência de estabelecer esses controles, caso desejados. Temforte vocação para inserções em massa, com dados sem grande volatilidade demodificações. Exatamente como se espera em aplicações como Twitter, Linkedin,Facebook,e-mails, etc onde milhões de “posts” sãoinseridos, mas não deletados ou modificados. A sua estrutura de objeto complexopermite a modelagem de informações de forma rica, criando possibilidades deaplicações em gerência de conhecimento, repositórios para produtos de BPM, etc.

Resumo da ópera:

Com a diminuição de custos de armazenamento e a busca por maior rapidez eflexibilidade nas estruturações e pesquisas, o conceito de BI2 também se valerádessas novas proposições, principalmente para armazenamento de grandes volumesde dados que se mostram como forte tendência nessa década. Existe um conjuntoenorme de alternativas desenvolvidas e em desenvolvimento, na sua maioriadentro do espaço dos códigos livres. O segredo para se adotar uma proposiçãocorreta será:

1)Analisar cuidadosamente os seus requisitos de dados(estruturados,semi-estruturados, ou não estruturados), com análise crítica das necessidadesde volumes, velocidade de processamento e periodicidade e tipos de atualização;

2)Executar provas de conceitos, usando essas novas propostas everificando a sua efetiva aplicação no item anterior(requisitos). Essasferramentas podem ser “baixadas” de núcleos sérios como Fundação Apache, porexemplo;

3)Analisar a relação custo benefício, que envolverá não somente aparte de arquitetura de “nós” , mas também a capacitação da equipe em técnicasem conceitos returbinados como DFMS(Distributed File Management System),processamentos em arquiteturas paralelas,ambiente de alta tolerância, replicações,etc;

4)Finalmente decidir na teoria do melhor “encaixe” nas necessidades daempresa, cuidando para deixar de lado oímpeto pelo uso dos modismos. Lembre-se que para cada problema poderá apareceruma solução adequada, seja ela o velho e tradicional SGBDD, ou os novos edesafiadores frameworks, como Hadoop/MapReduce, ou soluções NOSQL.

A figura abaixo ilustra os principais conceitos que diferenciam otradicional modelo relacional e os novos modelos NoSQL.

Fontes:

Barbieri,C. BI2-Business Intelligence-Modelagem e Qualidade. Elsevier,2011

Roebuck, K. Storing andmanaging big data-NoSQL,Hadoop and more