terça-feira, 5 de fevereiro de 2019

Os 5Vs do Big Data e suas implicações

LIVRO GRÁTIS

Volume, Velocidade, Variedade, Veracidade e Valor: 
Como os 5 Vs do Big Data estão impactando as Organizações e a Sociedade

Baixar aqui

Resumo:

A sociedade, as organizações e as pessoas estão cada vez mais gerando, armazenando e usando mais dados. O grande volume de dados é a primeira característica do fenômeno pós-moderno conhecido como Big Data. A quantidade de dados melhora a tomada de decisão mas exige cuidados como análises corretas e foco para evitar prejuízos com a chamada sobrecarga. Este livro discute o impacto do crescimento exponencial, as diferentes formas e tecnologias para coleta de dados, as dificuldades para lidar com tamanho volume e ferramentas que podem nos ajudar a encontrar utilidade nos dados.
A segunda característica do Big Data é a grande velocidade com que dados são trocados entre pessoas, organizações e países, através de tecnologias da informação e comunicação. A velocidade ajuda a tornar as decisões mais rápidas, mas também faz com que eventos de um lado do mundo impactem o outro lado em minutos. Além de discutir o impacto desta velocidade na sociedade, este livro discute também as formas de disseminação da informação e os fatores que influenciam a velocidade de transmissão.
A terceira característica original do Big Data é a variedade dos dados. Hoje podemos coletar e armazenar dados em formatos estruturados ou não estruturados, como textos, imagens e sons. O livro apresenta os diferentes formatos de dados (incluindo grafos, mapas, redes, etc.) e ferramentas para lidar com eles. O livro também discute os benefícios de se ter dados tão variados e as dificuldades que advém desta diversidade.
A quarta característica do Big Data a ser analisada é a veracidade dos dados. Quando podemos confiar numa informação ? O que é uma fonte confiável ? Como confirmar uma informação, como saber se algo é verdade ? São questões discutidas neste livro, além dos males que fake News e informações não confiáveis estão causando na sociedade.
A quinta característica do Big Data é o valor dos dados. De nada adianta ter dados se eles não puderem ser transformados primeiro em informação, depois em conhecimento e por fim servirem para resolver problemas (inteligência e sabedoria). Este livro discute o que é uma informação de valor e como medir tal valor. Também são discutidos impactos que dados valorizados podem causar em relações entre empresas, pessoas e sociedades.
Por fim, o livro aborda a questão da complexidade de dados e como isto está gerando sistemas e organizações mais complexas, mais difíceis de serem entendidas e gerenciadas. 
Na introdução, apresentamos os benefícios do Big Data e discutimos o uso de dados com estatísticas em contraposição a intuições.



terça-feira, 8 de janeiro de 2019

Dados x Intuições


Se não tivermos dados, toda decisão será um jogo de sorte ou azar. Por isto, dados e estatísticas são muito importantes. Por exemplo, no Brasil, o técnico de vôlei Bernardinho e sua equipe têm conseguido grandes resultados para o time nacional de vôlei usando estatísticas. Eles monitoram tudo o que é feito por cada jogador do time do Brasil e também dos adversários. Registram todos os tipos de jogadas, se resultaram em fracasso ou sucesso, como estava a posição dos jogadores, e com isto extraem relatórios de que jogadores estão melhor e quais estão com pior desempenho. Então, quando um brasileiro for "sacar", eles analisam em tempo real as estatísticas e verificam para que adversário deve ser direcionado o saque e de que forma (tipo de saque). E isto é feito para outras estratégias além do saque.

Michael Lewis (2004), no livro Moneyball (que virou filme com Brad Pitt), faz uma grande discussão sobre esta dicotomia entre usar ou não estatísticas. Ele discorre sobre o caso real do Oakland Athletics, time de baseball americano, para expor seus argumentos. A questão toda se desenrola na diferença entre olheiros humanos e sistemas estatísticos para fazer previsões sobre jovens jogadores. Cada time escolhe os jogadores mais promissores no início da temporada. A grande maioria dos clubes utiliza, até hoje, os olheiros (scouts).

Dados são melhores para apoiar decisões porque evitam o “achômetro” ou “achismo”. Carl Sagan (“O mundo assombrado por demônios”) e Shermer (2011) criticam o crescente uso de pseudociências no lugar da Ciência e do método científico.
(Ver a reportagem “Einstein e Newton estavam errados: estimulada por políticos nacionalistas, 'pseudociência' avança na Índia” https://www.bbc.com/portuguese/geral-46780542)

A falta de dados e de métodos científicos pode levar a grandes erros (ver reportagem sobre jornalista contrária a vacinas que morreu de H1N1 https://noticias.bol.uol.com.br/ultimas-noticias/entretenimento/2019/01/05/apresentadora-que-fazia-campanha-contra-vacina-morre-de-gripe-suina-nos-estados-unidos.htm).

Isto não significa que intuições e sentimentos não possam se usados no processo de decisão. Segundo Sinclair e Ashkanasy (2005), intuição é um modo não sequencial de processamento de informações que combina elementos cognitivos e afetivos e resulta em conhecimento direto sem uso de raciocínio consciente. Intuição é diferente de heurísticas, que são estratégias racionais de pouco esforço (segundo Tversky e Kahnemann).

Intuição é um palpite, mas não uma adivinhação. Ela é usada numa decisão sem muita explicação de onde veio, se ela está certa ou não ou por que devemos utilizá-la. É como saber algo sem saber explicar como. O ser humano possui uma certa capacidade para tomar decisões rápidas com pouca informação. A intuição não deve ser confundida com caminho mais fácil (preguiça). Ela deve ser usada quando a racionalidade está limitada. Ela deve ser precedida por dados.

Gunther (2013) acredita que usamos dados do inconsciente, que foram colhidos e armazenados antes, mas que não temos consciência de quando os estamos usando. É como reconhecer um amigo na rua ou a voz de alguém no telefone. Não tem explicação, mas a gente faz e na maioria das vezes não erra. Gunther cita Alfred P. Sloan, ex-executivo da GM: "o ato final da decisão é intuitivo". Isto porque é uma escolha entre alternativas. Ninguém sabe qual a melhor alternativa ou se uma delas vai dar certo ou não. Se soubéssemos, não seria decisão e sim "bola de cristal".

Entretanto, o próprio Gunther (2013) recomenda não confiar na primeira impressão, e sugere que coletemos muitos dados. Kahneman também concorda: é um grande risco tomar decisões usando a área preguiçosa e irracional do cérebro.

Por exemplo, grandes negócios são fechados somente após o encontro presencial entre as partes. Os homens de negócios dizem que é importante "olhar nos olhos". Isto também serve para contratações para empregos. Gladwell (2005), no livro “Blink – a decisão num piscar de olhos”, conta diversos casos onde especialistas tomam decisões baseados em intuições e não conseguem explicar como tomaram as decisões (corretas).

A intuição inclusive já evitou uma guerra nuclear. O militar russo Petrov avaliou intuitivamente os dados que tinha e combinou com avaliações anteriores sobre falhas no sistema, concluindo que não devia apertar o botão para enviar mísseis.

Ayres (2008) compara decisões tomadas com estatística x intuitivas. A conclusão de seus estudos é que números são melhores como base para análise, mas a intuição é importante para levantar possibilidades. O ideal é tomar decisão sobre fatos e dados confirmados.

Mas a intuição ajuda a identificar hipóteses e criar alternativas, além de ser útil para avaliar quais variáveis influenciam o processo e também para entender e interpretar os resultados estatísticos. Segundo Silver (2013), meteorologistas melhoram em 25% as previsões de precipitações feitas por computador e em 10% as da temperatura. Neste caso, as informações visuais são melhores interpretadas por seres humanos do que pelo computador. É por isto que

Por outro lado, avaliadores humanos muitas vezes erram porque se preocupam mais com aparências. Então os sistemas baseados em estatísticas podem ser melhores pois não são influenciados por ruídos e variáveis que não implicam em resultados e conseguem se adaptar melhor a pequenas variações nos parâmetros. Por outro lado, humanos vão melhor em alguns casos porque usam uma abordagem híbrida, com uma quantidade maior de informações do que a oferecida apenas pelas estatísticas. E ainda acumulam informações com o passar do tempo (não são sistemas estáticos). Um bom especialista humano também consegue informações privilegiadas, que a maioria não pode obter (por exemplo, no baseball, dados sobre a situação social e familiar do jogador). Se o investidor de bolsa de valores utilizar somente as informações públicas, a que todos têm acesso, não terá nenhuma vantagem. Os investidores precisam encontrar detalhes de informações que os outros não possuem.

Uma boa ideia então é combinar dados estatísticos com intuição, e não somente usar um ou outro. Onde a intuição não é detalhista, os dados podem nos ajudar a lembrar detalhes. Onde a estatística não é completa, a observação humana pode completar uma análise. Não há nada que garanta o resultado, seja utilizando dados estatísticos ou intuições. Mas é melhor para uma decisão ter mais dados (sejam confirmados ou não) e um bom especialista humano para analisar os dados.