2012 será o ano do Big Data?
Todo ano, neste mesmo período, sempre vem à tona um assunto que marcará os próximos meses.
Em 2011, eram os tablets.
2011 seria o ano das “pranchetas eletrônicas”.
Em 2012, Big Data promete marcar os próximos 330 e poucos dias. Pelo menos, neste começo de ano, é o assunto mais quente na praça.
O Fórum Econômico Mundial, que aconteceu neste mês em Davos, elegeu a avalanche de dados como um dos principais assuntos do evento.
O relatório “Big data, big impact: new possibilities for international development”, produzido pelo Fórum, revela que a coleta e a análise correta dos dados podem gerar impactos expressivos e positivos nas áreas de finanças, saúde e educação. Epidemias poderiam ser previstas com mais precisão. Dados gerados na educação podem ser utilizados para prever as demandas e falhas do setor. Históricos de dados financeiros podem facilitar a obtenção de crédito.
Para o Fórum Econômico Mundial, a mineração de dados pode ser uma força motriz para o desenvolvimento de diversas nações.
A Amazon, por sua vez, anunciou o lançamento de um serviço com base no NoSQL, banco de dados que oferece melhor escabilidade e, normalmente, é voltado para aplicações que geram muitos dados. A Amazon estaria efetivamente entrando na “Era do Big Data”.
Principal evento deste ano, o processo eleitoral americano promete se pautar pelo uso estratégico dos dados. Se, em 2008, os chamados “analistas de mídias sociais” tinham espaço importante, em 2012 os cientistas de dados prometem ser cruciais nas campanhas.
A campanha de reeleição de Obama já mantém uma equipe dedicada dia e noite a realizar a mineração de milhares de dados gerados em atividades online e offline. Ademais, diversas publicações se preparam para cobrir o pleito a partir de base de dados.
Por outro lado, o Facebook enfatiza a cada dia o seu principal atrativo para as empresas: fornecer acesso a uma base de dados segmentada. Neste começo de ano, a plataforma de rede social fechou uma parceria com o site de notícias Politico para o uso de seus dados.
Reportagem do NYTimes do finalzinho de 2011 revela o boom de startups dedicadas a mineração de dados para grandes empresas. No segmento de startups, dados se “tornaram sexy”.
Até a revista Esquire, que não é muito de falar dessas coisas, dedicou espaço para o assunto no começo de 2012.
Neste ano, está previsto que o volume de informação digitalizada cresça a uma taxa anual de 59%. Esse aumento terá como base não somente dados tradicionais, mas principalmente a emergência de dados inéditos gerados em plataformas de redes sociais, uso de dispositivos móveis e serviços multimídia.
Apesar das porcentagens hipnotizantes, se a gente parar para pensar, veremos que a questão do excesso de dados não é nenhuma novidade. Empresas estabelecidas, como IBM e Oracle, apoiam há anos seus negócios em torno de soluções de mineração de dados em grande quantidade.
Existem organizações que, há diversos anos, tiram vantagens expressivas ao explorar grandes bancos de dados.
Portanto, quando, em 2012, se fala em Big Data, estamos conversando principalmente sobre variedade de dados e velocidade de análise do que a respeito de volume – como tirar proveito estratégico quase que, em tempo real, dessa diversa avalanche de informações?
O assunto ainda tem diversos espaços em brancos. Um deles. Proporcionalmente ao burburinho em torno do Big Data, crescem as discussões sobre privacidade e uso legal dos dados.
Dados importantes ainda estão de fora da jogada. O setor de automação residencial, por exemplo, área que promete gerar uma significativa quantidade de dados inéditos nos próximos anos, ainda está engatinhando em alguns países e camadas da pirâmide econômica.
A propósito, “internet das coisas” e Big Data são dois assuntos bastante correlacionados. Quanto mais objetos conectados à internet e a grandes bancos de dados, maior a quantidade de informação coletada.
Imagine o que acontecerá quando a internet estiver em posição dominante como plataforma de comunicação e entrega de informações. Ou ainda o momento em que todos os carros, casas, mobílias e eletrodomésticos estiverem o tempo todo conectados à internet, gerando milhares de informações. Aí sim poderemos falar de Big Data. O que possivelmente teremos em 2012 será apenas a ponta do iceberg.
Veja também: Livro aborda visualização de dados
Crédito dass fotos: WEF e Sean
As eleições da Era do Big Data
Esqueça o Facebook e o Twitter. Micah Sifry, do conceituado TechPresident, é taxativo – neste ano as eleições americanas serão sobre Big Data.
Se, em 2008, na eleição da qual Obama saiu vitorioso, os chamados “analistas de mídias sociais” tinham espaço central, em 2012 os cientistas de dados estarão à frente das estratégias das campanhas para presidente.
Segundo relatório da McKinsey & Company, com cada vez mais operações comerciais sendo mediadas pela internet, a quantidade de dados no mundo tem crescido a uma taxa nunca vista.
Em cada setor da economia existe uma base de dados pronta para ser utilizada, oportunidade para os estrategistas das campanhas e as próprias publicações que cobrirão a corrida presidencial.
Na realidade, a campanha de reeleição de Obama já deu o pontapé para essa tendência. Longe dos holofotes, há uma equipe do candidato democrata dedicada dia e noite a realizar a mineração de milhares de dados gerados em atividades online e offline.
Em 2012, Sifry acredita que quem tiver acesso a maior e melhor base de dados sairá com vantagem na disputa presidencial americana.
Ou seja, a luta por quem tem a melhor presença no Facebook dará lugar à disputa para quem tem acesso a maior quantidade de dados e melhor analisá-los.
Se a teoria de Sifry estiver correta, Obama sai na frente (por incrível que pareça). O presidente e candidato já tem uma base de dados estruturada em sua última eleição, além disso, o aplicativo Obama 2012, lançado em 2011, já estaria recolhendo uma expressiva quantidade de dados a respeito de seus possíveis eleitores.
Aliás, a parceria entre Facebook e o site de notícias Politico para uso de dados da plataforma de rede social reforça os argumentos de que estamos entrando nas “Eleições do Big Data“.
O Yahoo anunciou o lançamento do The Signal, blog exclusivamente dedicado a cobrir as eleições a partir de bases de dados. Diferente de seus concorrentes, o Yahoo tem acesso a uma quantidade de informações maior – cruza base de buscas com tweets e pesquisas online.
Será que, da mesma forma que buscaram fazer com a Obamania, nas eleições brasileiras deste ano haverá a tentativa de emular este ambiente de mídia inovador e recheado de dados dos EUA? É esperar para ver.
Veja também: Infográficos são o grande destaque da Copa 2010
O Facebook é uma empresa de dados?
Essa pergunta foi em parte respondida com a notícia de que o Facebook fechou uma parceria com o site Politico. Por meio do acordo, o site americano de notícias sobre política terá acesso automático a diversos dados de mensagens públicas e privadas publicadas no Facebook.
O Politico utilizará a base de dados da plataforma de rede social para realizar reportagens e análises durante as eleições americanas.
Uma das primeiras matérias feitas a partir dos dados foi publicada. Revela que Mitt Romney e Ron Paul, pré-candidatos à presidência dos EUA, andam bem na fita entre eleitores republicanos que estão no Facebook.
A pergunta que fica é se o Facebook fechará acordos com outras empresas para fornecer acesso deste tipo à sua base de dados.
O fato do Facebook ser tratado como uma empresa de dados não é nenhuma novidade. Para empresas e anunciantes, o apelo da plataforma de rede social está em justamente fornecer acesso a uma base de dados exclusiva e segmentada.
No ano passado, a plataforma de rede social adquiriu uma série de startups que tinham como competência central a coleta, mineração e visualização de dados.
Caso valide de vez essa posição, o Facebook será tratado como uma empresa de dados, mas que se apresenta ao mercado como plataforma de rede social (mais ou menos, como a Casas Bahia. É uma financiadora, mas se apresenta ao mercado como uma loja de móveis e eletrodomésticos).
Com essa posição, o Facebook encontrará dois desafios. O primeiro deles será o de enfrentar as organizações de defesa da privacidade, que já estão chiando para a parceria com o site Politico (apesar dos dados serem utilizados de forma anônima).
O segundo é assegurar a qualidade desses dados. Quem garante que as diversas mensagens publicadas sobre um candidato não foram geradas por um robô ou uma pessoa paga para colocá-las no Facebook? É fácil publicar informações não verdadeiras em plataformas de redes sociais. Vide nas últimas eleições brasileiras, em que as plataformas foram utilizadas, em sua maioria, para polarizar ainda mais as discussões políticas.
Veja também: Novo Twitter reforça tendência que foi comum em 2011
Crédito da imagem: Tim Morgan
Internet verde (infográfico)
Você já deve ter se deparado com alguns dos infográficos produzidos por Patrick Clair.
O australiano está ficando conhecido na web graças a uma série de “infográficos animados” que ele vem publicando – Anatomia de um vírus de computador, por exemplo.
Clair é mais um designer que vem se especializando no ramo de visualização de dados. Atualmente trabalha na ABC australiana, produzindo visualizações para o programa de TV Hungry Beast.
Um dos últimos infográficos desenvolvidos pelo designer é a respeito dos desafios das empresas de internet em lidar com a “energia verde”.
Veja também: Infográficos são o grande destaque da Copa 2010
Livro aborda visualização de dados
Nathan Yau talvez seja um dos caras que mais escreve sobre visualização de dados na web. Desde 2007, ele é editor do Flowing Data, um dos blogs mais populares sobre o assunto.
Engenheiro e doutorando em estatística pela Universidade da Califórnia, Yau está lançando um livro sobre o blog – Visualize This: The FlowingData Guide to Design, Visualization, and Statistics.
Além de mostrar como, hoje em dia, podemos contar uma história por meio de dados, o engenheiro revela como usar ferramentas – Illustrator e JavaScript – para desenvolver visualizações.
A previsão de lançamento é para o mês de julho.
Veja também: Jon Stewart e a visualização de dados na TV
Facebook e a visualização de dados
Parece que passou meio despercebida essa notícia.
O Facebook adquiriu a startup Daytum, site que cria visualizações com base em dados sobre nosso comportamento. Por exemplo, infográficos sobre a nossa alimentação, lugares que visitamos, programas de TV que mais assistimos, atividades recorrentes.
Os fundadores da startup passarão a trabalhar no time de design de produtos do Facebook (a plataforma de rede social adquiriu mais a equipe do que a tecnologia em si).
No ano passado, a Google contratou a designer brasileira Fernanda Viégas, também especializada em visualização de dados.
O Daytum faz parte do crescente cenário de startups de Nova York.
Aliás, chama a atenção a quantidade de startups da cidade que vêm se destacando nos últimos anos – Tumblr, Foursquare, Daytum, KickStarter…
Veja também: Cinco sites e aplicativos que estrearam em 2010
Esconde-esconde
Finalmente, neste final de semana, assisti a Erasing David, filme documentário que fez bastante sucesso na web no finalzinho do ano passado, e que trata de dois temas bem atuais – privacidade e abundância de dados.
Erasing David é protagonizado e dirigido pelo inglês David Bond, 39 anos, conhecido na área de mídia na Inglaterra (trabalhou para BBC).
No documentário, Bond tenta sumir durante 30 dias. Para isso, apaga informações pessoais em sites e plataformas de redes sociais, evita usar o celular, o cartão de crédito e deixar outros rastros pessoais. Nem a sua mulher que, no início do documentário, está grávida de 7 meses sabe para onde ele vai.
Bond contrata dois detetives para tentar pegá-lo. Ambos experientes, entre os clientes têm grandes empresas e escritórios de advocacia na Inglaterra.
É um documentário/experimento, estilo Super Size Me. Tem um quê de protesto.
A intenção de Bond é mostrar o quanto deixamos rastros, informações cruciais no dia a dia e que podem ser utilizadas por terceiros, além claro também o quanto é difícil atualmente para um cidadão passar por anônimo frente a governos e empresas.
A motivação para produzir o filme vem de um caso pessoal.
Semelhante a muitos cidadãos ingleses, em novembro de 2007, Bond recebeu uma carta do governo britânico, informando que o Child Benefit Office, responsável pelo subsídio dado a pessoas com filhos recém-nascidos, havia perdido CDs não somente com seus dados pessoais, mas com informações sensíveis sobre a sua filha.
O caso preocupou Bond e o deixou com a pergunta na cabeça – o quanto o governo e as empresas guardam de informações sobre a gente?
O filme mostra antes, durante e após o sumiço de Bond. Antes, o inglês conversa com psicólogos e especialistas em segurança da informação.
Durante o sumiço, Bond sai da Inglaterra se embrenha na Europa. O esconde-esconde entre os investigadores particulares e Bond é intercalado com depoimentos de especialistas, além de pessoas que tiveram seus dados pessoais usados de forma indevida.
O ponto alto do documentário acontece quando Bond requer a 80 empresas e instituições ligadas ao governo britânico relatórios a respeito de informações pessoais que têm armazenadas.
Pilhas e pilhas de papéis chegam à sua residência. O mais chamativo é o relatório enviado pela filial da Amazon na Inglaterra. A loja online guarda dados até dos amigos para os quais ele enviou presentes. São inúmeras páginas com dados pessoais de Bond.
O documentário começa bem, mas depois desanda. Bond acaba usando o celular e indo a lugares óbvios, como a casa dos pais.
E o mais decepcionante. Erasing David se propõe a discutir a quantidade de dados que, espontâneamente, colocamos na rede. No entanto, o que os detetives menos usam são as informações online de Bond, mas sim o tradicional método de vasculhar o lixo da casa de sua esposa.
O filme, sem querer, mostra como o lixo que produzimos diariamente é revelador. Lá estão informações sobre o que comemos, quantas pessoas estão em casa, onde trabalhamos, lugares e lojas onde estivemos recentemente.
Do meio para o final do documentário, é bem mais interessante acompanhar o trabalho detalhista dos investigadores do que a fuga mambembe de Bond.
Em suma, Bond perde a oportunidade de fazer uma discussão mais consistente e diferenciada sobre privacidade. Explora pouco identidade e reputação, dois temas relacionados à questão da privacidade.
Contudo, Erasing David tem um lado positivo. O filme nos ajuda a refletir sobre a falta de ponderação no atual debate sobre privacidade e excesso de dados.
De um lado, a paranóia. Do outro, a discussão simplória com base na premissa de que a privacidade morreu e não temos mais o que fazer (Erasing David fica mais no lado da paranóia. O próprio Bond fica paranóico no meio do documentário, acreditando que pessoas comuns estão perseguindo-o).
Esse tipo de divisão se reflete nos atuais debates sobre privacidade, muitas vezes esquece-se que os dados são adquiridos de duas formas – de forma anônima, um dado não poder ser ligado a um indivíduo. E de modo identificável, são associados a uma pessoa.
Na maioria das vezes, passa-se a impressão de que existe apenas e tão somente um tipo (a Slate abordou o assunto em recente artigo).
Outra questão é que existem abusos, mas dificilmente vemos o outro lado.
Graças ao Google armazenar dados sobre as buscas, podemos ter aplicativos como o Flu Trends, capaz de prever quando uma epidemia de gripe afetará uma região.
No Foursquare, deixamos muitas informações pessoais disponíveis, mas em compensação ganhamos conectividade e atenção dos amigos.
Reclama-se das milhares de câmeras de segurança espalhadas pelas grandes cidades, mas elas ajudam na redução e até na solução de crimes. Há dois pesos e duas medidas.
Nessa história toda, o certo é que, historicamente, por necessidade de conectividade, reconhecimento e atenção, as pessoas baixam a guarda da privacidade, mas isso não significa que ela morreu.
Veja também: “The Social Network” é sobre mobilidade social
“Google Magazine”
Think Quarterly é uma publicação, com edição limitada, produzida pela Google em parceria com a agência inglesa Church of London.
A publicação é voltada para executivos e, em sua primeira edição, aborda a questão da abundância de dados.
Por ironia, nesta semana, David Carr, colunista de mídia do NYTimes, comentou justamente o fato de que, apesar de seus executivos afirmarem o contrário, a Google é sim uma empresa de mídia, com negócios que vão além da “organização de informação”.
/via mediaite
Atualização - Em um comunicado, a Google afirma que a Think Quarterly é apenas um veículo de comunicação corporativa com parceiros e clientes (anunciantes) da empresa de busca. Similar a uma newsletter. Não existe a intenção de comercializar a publicação para o público em geral.
De qualquer modo, o conteúdo completo da Think Quarterly está disponível para qualquer pessoa no site da publicação.
Veja também: Gráfico mostra onda inédita de aquisições da Google
Infografia e agregadores de conteúdo nos laboratórios da Microsoft
O Fuse Labs, que reúne diversos laboratórios de pesquisa da Microsoft, lançou 4 projetos:
Em meio ao burburinho em torno da visualização de dados, o SocialGadgets mostra, por meio de infográficos, o desempenho de tópicos específicos discutidos no Twitter. Você pode monitorar menções a pessoas, marcas, programas de TV, e fazer relações entre elas. As visualizações contam com um código embed; ou seja, você pode embuti-las em um post.
O Emporia, por sua vez, pega o conteúdo que é mais popular no Twitter e o apresenta em uma interface mais “amigável”. O que está gerando mais “retuites” fica em destaque e categorias são criadas. Com o tempo, você pode personalizar a leitura, indicando ao sistema quais matérias mais agradaram ou desagradaram você. Lembrou-me um pouco a ideia do Flipboard e do Pulse.
A ideia de agregar “em tempo real” informações sobre um tópico específico fica por conta do Montage. A ideia não é muito nova, mas o Montage é focado em reunir apenas informações visuais (vídeos, fotos, gráficos) sobre um determinado assunto.
Você pode salvar algumas buscas. E o conteúdo não é “estático”, é atualizado constantemente.
Da mesma forma, o Spindex é um agregador, mas de informações pessoais. Em um único lugar, ele agrega todas as informações sobre os perfis de uma pessoa em plataformas de redes sociais, redes de microblogs, além de RSS de sites preferidos. O site monta um “trending topics” pessoal, com os assuntos mais discutidos nas redes das quais a pessoa faz parte.
Percebe-se que os pesquisadores da Microsoft continuam bem focados na montanha de informação que é gerada “em tempo real” por meio de sites como Twitter e Facebook.
Recente matéria da Technology Review, publicação do MIT, revela que essa avalanche de informação em tempo real está trazendo novas possibilidades para desenvolvedores.
Segundo a reportagem, cresce uma onda de novos aplicativos e “hacks” que trabalham com a questão do imediatismo da informação na web.
Veja também: Glo – Site para mulheres e com uma interface diferente