As grandes empresas, sobretudo as de serviços financeiros, estão adotando Big Data em um ritmo mais rápido do que o esperado, de acordo com estudo recente da NewVantage Partners com executivos seniores de mais de 50 grandes empresas, a maioria delas com mais de 30 mil funcionários, metade da área financeira.
Essas grandes empresas veem valor no Big Data e estão investindo para suportá-lo _ 85% dos entrevistados disseram que já têm iniciativas Big Data em curso.
“Mais de 75% estão investindo mais de 1 milhão de dólares por ano em Big Data”, diz Paul Barth, co-fundador da NewVantage Partners. “Pouco mais de 25% estão investindo mais de 10 milhões de dólares por ano. Há um compromisso real com a utilização desta tecnologia”.
Os entrevistados apontaram uma série de razões para os seus investimentos em Big Data, desde a redução de riscos até a criação de maior qualidade de produtos e serviços. Mas duas razões se destacam: melhorar a tomada de decisão baseada em fatos e melhorar a experiência do cliente. Naturalmente, estas também são as principais razões para investimentos em inteligência de negócios (BI tradicional) e em análise (BA). Mas é o Big Data que está acelerando o tempo de resposta (ATT), segundo Barth.
“Se o seu tempo de resposta é de 30 minutos, em um caso e 30 segundos em outro, ele realmente muda seus processos de negócios”, diz Barth. “Isso o torna muito mais eficaz como analista de negócios.”
Usando novas tecnologias de Big Data as organizações podem responder a perguntas em segundos, em vez de dias, e em dias, em vez de meses, diz Barth. Esta aceleração, por sua vez, permite às empresas responderem às perguntas que resistiram à análise e ao desenvolvimento de teste e aprenderem processos que rapidamente se adaptam ao mercado, além de automatizarem fluxos de trabalho complexos.
No entanto, colher os benefícios de TTA acelerado exige seguir um cuidadoso processo com base em uma relação claramente definida entre Big Data e as soluções tradicionais de análise.
“Historicamente, tem havido muita conversa sobre a diferença entre a análise tradicional de dados e o Big Data. “A pesquisa, no entanto, mostra que os dois estão se tornando intimamente ligados e devem trabalhar juntos para entregar os resultados prometidos pelo Big Data. Além disso, romper fronteiras organizacionais e criar integração entre as organizações de TI e as unidades de negócio é um passo crítico para qualquer organização com pretensões de construir uma estratégia vencedora para Big Data “.
“Gestão de dados e análises muitas vezes residiam em diferentes partes da organização”, acrescenta o relatório. “Os departamentos de TI geralmente controlavam os dados, enquanto a análise era conduzida por um grupo especial ou dentro de uma unidade de negócios. Isto é inteiramente contrário ao princípio do Big Data e a pesquisa confirma que as organizações compreendem que uma integração estreita é necessária. Para 65% dos executivos ouvidos, “Big Data é uma parte integrante da gestão de dados”, e 68% já percebe que o “Big Data é parte da caixa de ferramentas de análises avançadas.”
Fazer este salto de integração da análise tradicional de dados e do Big Data, derrubando fronteiras entre TI e as unidades de negócio, é um passo crítico no início da criação de iniciativas organizacionais para uso do Big Data em benefício dos negócios, conclui a NewVantage.
“Pense sobre seus dados e a qualidade deles como tendo diferentes etapas, que chamamos de bronze, prata e ouro”, acrescenta Barth. “Os dados no data warehouse são ouro. Quando você vai a essa fonte de ouro, você sabe que está recebendo os dados que foram realmente trabalhados. Mas os dados também estão disponíveis em uma forma bruta e você pode obtê-los em uma semana ou um mês, despejar todos em um lugar e organizá-los um pouco. Ao contrário dos tradicionais bancos de dados relacionais, plataformas de Big Data permitem que os analistas organizem, limpem e integrem dados de forma seletiva, ignorando registros e campos que não são o foco atual de análise. Este é um ponto de partida significativo para os armazéns de dados, onde um grande esforço é gasto em engenharia de dados para ter certeza de que não haverá perda de tempo trabalhando dados que não agregam valor.
As plataformas de Big Data estão se tornando, portanto, peça importante de um ecossistema de dados projetado para olhar constantemente para novos insights sobre os clientes, mercados, produtos e riscos, e buscar o “novo” ao operar no “conhecido”. Um modelo saudável, de melhoria contínua.
Não importa se se trata de Big Data ou de análises tradicionais, o importante é dar respostas valiosas. E o valor de uma resposta, segundo Barth, baseia-se na sua precisão e na velocidade com que ela pode ser entregue. Para obter uma resposta, precisa e rápida, é importante fazer as perguntas certas. E é aí que vem o Big Data: para a busca do “novo”.
“Parte da arte do Big Data está associada à descoberta e à explicação”, diz Barth. “Você está procurando por algo que você não consegue articular. Há uma fase de análise que é de exploração e de descoberta, em que você está gerando hipóteses. Em seguida vem a modelagem e a aplicação.
Há sete etapas distintas para responder a uma pergunta complexa, diz o relatório da NewVantage:
1. Esclarecer a questão e do tipo de resposta necessária; construir o caso de negócios;
2 . Identificar os dados necessários e abordagem de análise;
3 . Identifica a fonte dos dados;
4 . Limpar, normalizar e integrar os dados;
6 . Validar os resultados;
7 . Apresentar ou aplicar a resposta; medir os resultados.
Tradicionalmente, as empresas gastam 80% ou mais do seu tempo com as terceira e quarta etapas, segundo o estudo da NewVantage. Mas as soluções de Big Data oferecem novas formas de abordar estes passos.
Em primeiro lugar, devido ao custo relativamente baixo e elevada capacidade de plataformas de Big Data, as empresas podem carregar todos os dados a partir dos seus sistemas de origem em vez de escolher os dados específicos para analisar.
“Essa movimentação pode parecer desperdício, mas elimina dois atrasos: escrever programas para selecionar apenas os dados necessários e voltar para os sistemas de código várias vezes à medida que percepções geram novas questões que precisam de novos dados”, detalha a NewVantage.
“Construir data marts (repositório de dados) e armazéns de dados tradicionais é complexo e oneroso. A ampla gama de ofertas open source com sistemas de rede flexíveis e escaláveis cria um ambiente que não apenas reduz os custos, mas também diminui o tempo de consulta de forma exponencial”, completa.
Como exemplo, Barth cita uma grande empresa de serviços financeiros que queria realizar análise multi-canal de seus clientes para entender quais elementos levaram a uma venda ou à sua desistência.
Para isso, a companhia precisaria integrar seis meses de dados de diferentes canais. A primeira tentativa, usando os tradicionais bancos de dados relacionais, utilizou dezenas de milhares de linhas de código SQL e a empresa logo percebeu que só poderia se dar ao luxo de acessar seis dias de dados, em vez de seis meses. A empresa abandonou a tentativa após identificar que a atividade levaria semanas.
“Em um ambiente de Big Data, eles foram capazes de executar a operação com menos de cem linhas de código”, comenta Barth. “Eles executaram, em menos de 24 horas, o processamento de centenas de terabytes de dados e efetuaram a análise dos dados”, avalia.
A chave para o sucesso, no entanto, é dar um passo a mais. Depois de entender o que você está vendo, desenvolver um modelo que explique o que viu e métricas para medir as ações de melhoria do seu negócio contra esse modelo. É aí que entra o BI tradicional.
“O ‘novo’ e o ‘conhecido’ não são ilhas, eles devem estar conectados a sistemas simbióticos e um alimentar o outro”, aconselha a NewVantage. “Novas” análises precisam de acesso rápido a todos os dados conhecidos que representam a realidade dos negócios de hoje”, alerta.
De que outra maneira você vai saber se o que está vendo nas fases iniciais de descoberta de fato vai se sustentar ao longo do tempo?
Por exemplo, bolsas vermelhas realmente vão vender mais do que as azuis em determinada região? Uma passagem inicial por meio dos dados pode sugerir bolsas vermelhas mais vendidas do que nunca no último trimestre. Portanto, as vermelhas são melhores. Mas isso é uma correlação, não uma causa. Se você olhar mais de perto, usando dados de transações históricas recolhidas de suas ferramentas de BI, pode encontrar, por exemplo, que na verdade o seu mais recente posicionamento da mercadoria na campanha está dando lucro porque os varejistas de rede agora estão colocando bolsas ao nível dos olhos, mais atraentes para o consumidor.
As tecnologias de Big Data permitem que a informação seja trabalhada antes de ser otimizada, racionalizada ou relacionada. Isso, juntamente com análise avançada, e gerentes de negócios, permite fazer e responder perguntas em ciclos muito curtos. Não é plug-and-play ainda, por isso, arquitetos e analistas de dados terão de dar uma contribuição.
“Big Data é tão grande quanto sua análise”, diz Barth.
De acordo com a NewVantage, tecnologias emergentes e metodologias, incluindo Hadoop, Cloudera, appliances de banco de dados, aceleradores, autoaprendizagem e algoritmos genéticos, podem reduzir drasticamente o tempo de resposta.
Governança e supervisão dos recursos de dados conhecidos devem coexistir com a análise de dados ágil, abrindo o caminho para novas descobertas. Empresas com a capacidade de criar um fluxo entre a descoberta dinâmica e a execução podem sair à frente da concorrência.
Use o Big Data para tomar decisões de negócios com maior rapidez – Tecnologia – CIO.