Livro grátis (free e-book) sobre BI (Business Intelligence) na era do Big Data para Cientistas de Dados

BI na era do big data para cientistas de dados:

indo além de cubos e dashboards na busca pelos porquês, explicações e padrões

Autor: Stanley Loh

Link para baixar o livro grátis:
http://www.intext.com.br/livro-BI-stanley-loh.pdf

Conteúdo

BI na Era do Big Data para Cientistas de Dados. 1

indo além de cubos e dashboards. 1

na busca pelos porquês, explicações e padrões. 1

1        Introdução. 10

1.1        A Evolução dos Sistemas de Informação. 11

1.2        BI X Sistemas Gerenciais. 12

1.3        Dados X Informação X Conhecimento X Inteligência. 13

1.4        O que é BI então ?. 14

1.5        Big Data e Information Explosion. 15

2        Busca e Identificação de Padrões. 17

2.1        Modelos e Padrões. 17

2.2        Contextualização dos Modelos e Comparações. 19

2.3        Padrões X Exceções: imprecisão dos modelos. 20

2.4        Analisar passado para criar modelos. 21

2.5        Modelos para prever futuro. 22

2.6        Análise de Correlação e Causa-Efeito. 24

2.7        Dificuldades para identificar padrões - pessoas e sistemas complexos. 25

3        Processo Geral de BI. 28

3.1        Premissas do Processo de BI. 29

3.2        Quem deve participar do Processo de BI. 30

3.3        Processo de BI Pró-ativo X Reativo: começar com ou sem hipóteses. 30

4        Pré-processamento e Preparação de dados. 33

4.1        Tratamento de valores nulos. 33

4.2        Deduplicidade de registros. 34

4.3        Integração de bases (merge) 34

4.4        Enriquecimento de dados. 35

4.5        Seleção de Amostras. 36

4.5.1        Tipos de amostras. 37

4.5.2        Como separar amostras (subcoleções ou subconjuntos) 38

4.5.3        Generalizações e Especializações. 39

4.5.4        Amostras por período de tempo - analisar ritmo. 40

4.5.5        Tamanho da amostra - quantidade de elementos na amostra. 41

4.6        Seleção de atributos ou campos para análise - feature selection. 42

4.6.1        Valores que predominam.. 43

4.6.2        Dependências funcionais. 43

4.7        Discretização - faixas ou grupos de valores. 44

4.8        Data Warehouse. 45

5        Técnicas de Análise de Dados. 46

Análise qualitativa X quantitativa. 46

Qualitativo para quantitativo. 46

5.1        Data Mining - técnicas tradicionais sobre dados estruturados. 49

Associação. 49

Correlação. 51

Correlação assíncrona. 53

Análise de Regressão e Modelos de Predição. 53

Média. 55

Detecção de desvios (outliers) 55

Sequência de tempo. 56

Séries Temporais. 57

Classificação (categorização) 59

Indução. 60

Clusterização ou Agrupamento (clustering) 60

5.2        Análise de cubos e análise multidimensional OLAP. 61

6        Interpretação dos resultados da análise. 66

6.1        Resultados condizem com a técnica usada. 67

6.2        Indicadores escolhidos para BI - certos ou errados. 69

6.3        Teoria do Mundo Fechado. 70

6.4        Correlações erradas. 72

6.5        Sobrecarga e Ruídos. 74

7        Processo de BI reativo. 76

8        Metodologia para BI proativo. 78

8.1        Seleção de dados e amostras. 79

8.2        Seleção da técnica de análise. 79

8.3        Análise da coleção toda. 80

8.3.1        Analisar percentual ou valores absolutos. 80

8.3.2        Soma X Contagem X Média. 80

8.3.3        Percentual por linha X por coluna. 82

8.3.4        O que predomina. 84

8.3.5        O que é mais importante: o que é raro ou o que é comum ?. 84

8.3.6        Investigar padrão normal e exceções ou minorias. 85

8.3.7        Qual probabilidade mínima é interessante. 86

8.3.8        Medidas de Interestingness. 87

8.4        Comparação de subcoleções entre si ou em relação à coleção toda. 88

8.5        Combinação e Integração de padrões. 91

8.5.1        Hierarquia de padrões e regras. 92

8.5.2        Regras inversas. 94

8.6        Avaliação e Teste de Hipóteses. 94

8.7        Retroalimentação. 97

9        Processo de BI como Descoberta e Investigação. 99

9.1        Descobrindo hipóteses de causas. 100

A coleta inicial de dados. 100

Quantidade de informação X sobrecarga X ruídos. 101

A observação é direcionada, seletiva. 102

A intuição para seleção de dados. 103

O hábito e a experiência para seleção de dados. 104

Heurísticas para seleção de dados. 105

A observação influencia o ambiente. 105

Fazer as perguntas certas. 106

Visão Holística - Análise do Contexto. 106

Verificar o que é comum a um conjunto de casos. 108

Verificar o que é incomum ou diferenças entre grupos. 109

Benchmarking e Analogias. 110

"Reframe", repensar o problema. 111

Quebra de Paradigmas. 112

Descoberta por acaso (serendipity) 113

9.2        Sinais fracos, fatos X opiniões, rumores e boatos. 113

9.3        Análise de causa-efeito. 115

Análise de causa-raiz. 117

Avaliação sistêmica dos dados. 118

Parcimônia – conjunto mínimo de causas. 120

9.4        Métodos e Teorias para Investigação. 120

Método Cartesiano. 121

Método Científico. 121

Método indutivo-dedutivo de Aristóteles. 121

Método de Análise e Síntese de Newton. 122

Método de Galileu. 122

Raciocínio Abdutivo. 122

Visão Sistêmica e Pensamento Sistêmico. 123

Abordagem Sistêmica. 125

O 4o Paradigma de Jim Gray - a eScience. 126

Método de Investigação Criminal 126

Método do Sherlock Holmes. 127

Diagnóstico Médico. 127

9.5        BI como um ato de criação. 128

9.6        Associações Visuais - Análise de Grafos, Redes e Mapas Mentais. 129

Determinismo X probabilismo. 134

Descobrir novas ligações. 134

Mapas e informações geográficas. 135

Uma Metodologia Associativa. 136

10     Business Analytics. 140

Previsões. 140

As previsões mudam com o passar do tempo. 142

Raposas X Porcos-espinhos. 142

Estatísticas X Percepções humanas. 142

O uso de intuições para previsões. 144

11     Novos tipos de dados, técnicas de coleta e análise. 145

11.1          Coleta explícita X implícita X por inferência. 145

11.2          Novas tecnologias para coletar e monitorar dados. 147

11.3          Web Mining. 147

11.4          Text Mining. 148

11.5          Análise de Sentimentos. 149

12     Conclusão. 152

O Futuro do BI. 152

Bibliografia. 153

Neuroeconomia

Artigo muito bom sobre emoções e tomada de decisão:
http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2827455/

Artigo sobre Inovação por desejo X por necessidade

Meu artigo na revista
International Journal of Civic Engagement and Social Change (IJCESC)

Innovation by Necessity vs. by Will: Economic Implications for the Society in the Second Knowledge Era

http://www.irma-international.org/article/innovation-by-necessity-vs-by-will/106943/

Resumo: 

The first phase of the Information Era (or Knowledge Era) generated improvements in productivity. Nowadays, society is living in the Second Phase of this era, characterized by innovations directed for the human welfare. Innovations may be guided by governments or companies, following planned or perceived obsolescence. However, as part of a Darwinist approach, innovations cannot be controlled and evolve as a living being. The paper discusses how innovations develop in a complex system, and how incentives, needs and will interfere in the creation and adoption of innovations in the Society. The paper also discusses how individual will and needs may influence social innovation towards eliminating social and economic inequality or creating inequality, preserving individualities and folk cultures. The paper presents some possible directions to achieve this.

livro grátis (free e-book): 31 tipos de Sistemas de Informação - 31 maneiras de a TI ajudar as Organizações

31 TIPOS DE SISTEMAS DE INFORMAÇÃO- 31 MANEIRAS DE A
TECNOLOGIA DA INFORMAÇÃO AJUDAR AS ORGANIZAÇÕES
Por Stanley Loh

Link para baixar o livro grátis:
www.intext.com.br/31-tipos-stanley-loh.pdf

Resumo do livro:

Este livro apresenta 31 tipos de Sistemas de Informação. Para todos tipos, há um objetivo específico, que o diferencia dos demais. O texto também procurará explicar o funcionamento e as aplicações de cada tipo.

Quando possível, o livro irá aprofundar técnicas de implementação de alguns tipos, ou seja, como torná-los concreto, sem necessariamente falar de programação de computadores. A ideia é poder falar de tecnicalidades, que ajudem o leitor a entender o funcionamento dos sistemas mas que  principalmente ajude a desmistificar a TI, mostrando que tais sistemas não são ficção científica.

O livro ajuda profissionais de todas as áreas a entenderem como a TI pode ser empregada nos diferentes tipos de organizações, seja empresas com ou sem fins lucrativos, órgãos e empresas públicas, e mesmo instituições, associações e entidades. As diferentes aplicações discutidas no livro servem como benchmarking para futuras implantações. Há exemplos de aplicações não só para empresas mas também para as áreas de saúde, educação, engenharias, gestão de tráfego e mobilidade e outras.

O livro também serve de introdução a estudantes de cursos de TI (Computação, Sistemas de Informação, Análise e Desenvolvimento de Sistemas, Sistemas para Internet), dando uma visão geral das diferentes maneiras de aplicar tecnologias da informação nas organizações e os ganhos que podemos obter. E serve para interessados em implementar e implantar tais sistemas, discutindo técnicas de como fazê-los acontecer na sua organização.

Os sistemas foram classificados de acordo com seus objetivos e tipos de informações que manipulam, mas nada impede que um mesmo SI, encontrado em alguma organização, esteja classificado em mais de um tipo.

Os objetivos são diferentes, porque há especializações. No fundo, todos SIs têm por objetivo gerenciar informações para apoiar decisões. Mas a forma como as informações são manipuladas ou mesmo as diferentes formas de representação da informação, bem como os diferentes modos de apoiar decisões e gerenciar as informações é que dão origem a diferentes tipos e, portanto, daí vem esta nossa classificação.

Alguns autores podem não concordar com esta classificação. Ela é uma das formas de organizar os tipos de SIs, principalmente para que as pessoas entendam como a TI pode ajudar pessoas e organizações. A ordem dada tenta seguir uma evolução histórica dos SIs e uma ordem crescente de complexidade e modernidade. Entretanto, é apenas uma visão do autor e não segue nenhum rigor científico. Os tipos são o reflexo das experiências do autor como professor, consultor e analista de sistemas durante mais de 20 anos.

Note, caro leitor, que a alguns tipos foram dedicadas mais páginas, ou por serem mais modernos ou mais utilizados no contexto atual. Por exemplo, segundo pesquisas recentes, os 3 tipos em que as empresas mais investem atualmente são ERP, CRM e BI. Por isto, deveria haver mais conteúdo sobre estes tipos. Entretanto, como ERP é um tema bastante dependente de fornecedores, o seu espaço foi diminuído.

O leitor também poderá notar que os tipos mais para o final parecem ser de maior complexidade e por isto fazem uso de tipos mais básicos ou precisam destes tipos para ter suas informações de entrada. Isto reflete a evolução dos SIs de aplicações operacionais para táticas e estratégicas (da parte de baixo da pirâmide organizacional Estratégico-Tático-Operacional para os níveis mais acima). Este fluxo representa o ideal de uma organização, onde o nível operacional suporta as decisões táticas que por sua vez servem para atingir os objetivos estratégicos.

Análise do comportamento de clientes na loja: utilizando kinect para identificação de gestos e minerando padrões

Imagine uma loja poder saber quantos clientes tocaram num determinado produto, quantos tiraram o produto da estante, quantos colocaram o produto no cestinho ou carrinho, quantos devolveram. Imagine poder saber se os clientes estão mais interessados nos produtos das prateleiras mais altas, mais baixas ou do meio. Quanto tempo o cliente ficou com o produto na mão, talvez lendo as informações do rótulo. Quantos clientes passaram na frente de uma gôndola. Quantos pararam.

Paco Underhill e colegas de empresa analisam este tipo de dado mas usando câmeras comuns (ver livro Why we buy). Ele filmam clientes em lojas (com consentimento ou aviso), depois observam os vídeos anotando os tipos de ações e atributos dos clientes. Não há identificação do cliente. Apenas generalizam padrões de comportamento. Eles usam perto de 200 variáveis para caracterizar comportamentos de clientes em lojas. Incluindo como o cliente estava vestido, que caminho fez dentro da loja, e outros já citados acima.

Pois bem, este também é o objetivo a que se propõe o trabalho de conclusão de Alessandro Tyska Menezes, aluno do curso de Sistemas de Informação da ULBRA, Campus de Canoas. Usando um aparelho Kinect da Microsoft (dos que vem com o jogo Xbox mesmo), posicionado acima de uma estante ou gôndola, e um software criado por ele mesmo, é possível identificar movimentos de pessoas em frente ao aparelho. Depois, o software faz a análise estatística dos movimentos identificados, indicando quais movimentos foram feitos com mais frequência.

Mas o mais legal é que o software também minera padrões sequenciais, utilizando o algoritmo "a priori" de
AGRAWAL, R.; SRIKANT, R. Mining Sequential Patterns. In: Proceedings of the International
Conference on Data Engineering, 11º, 1995, Taipei, Taiwan, p. 3-14.

Este algoritmo identifica sequências de ações mais frequentes. Ou seja, quantas pessoas colocaram o produto no cesto após retirá-lo da estante. E isto permite estimar a probabilidade de uma pessoa colocar um produto no cesto, após retirá-lo da estante. Isto é possível analisando a sequência de ações. Se uma pessoa retira um produto da estante, o que ela faz depois ? Que ações são posteriores a uma determinada ação ?

As ações referem-se a movimentos que podem ser identificados pelos sensores 3D do Kinect, tais como levantar o braço, esticar, coçar a cabeça, abaixar o braço, além de saber distinguir braço direito do esquerdo e também poder observar quantas pessoas estão em frente ao aparelho.

No caso do trabalho do Alessandro, o objetivo é poder auxiliar especialistas em marketing e promotores a definir estratégias para colocação de produtos ou para promoção e visualização em lojas de varejo.

Clique aqui para ver o TCC do Alessandro Tyska Menezes.

A propósito, estamos aceitando propostas de investimentos para dar continuidade a este trabalho.

A importância da mesa de bar para as organizações: informalidade em ambientes e na comunicação

Conforme Carl Sagan no livro "Os Dragões do Éden", o lado esquerdo do cérebro é que domina os humanos. Este lado é lógico, sistemático. É ele que avalia o passado e planeja o futuro. É responsável pela matemática e pela linguagem. É também o lado onde estão os escrúpulos. É ele que nos controla para não fazermos (ou mesmo pensarmos) coisas imorais ou fora da realidade. É sequencial, pois trata cada unidade de informação a seu tempo.

Já o lado direito é o lado criativo, responsável pelas imagens. E as imagens vieram antes da linguagem. É o lado que não tem regras nem controles. É também quem recebe os estímulos do mundo externo. É o agora, o presente e o local. É paralelo, pois trata todos os estímulos simultaneamente.

A brilhante palestra da Dra. Jill Bolte Taylor (acessar aqui) fala sobre como uma neurocientista estudou o derrame cerebral acontecendo consigo mesma e dá boas informações comparando os 2 lados do nosso cérebro.

Durante o dia, quem domina é o lado esquerdo. Temos regras, bom senso, não fazemos nem pensamos coisas erradas. Mas de noite, quando dormimos, o lado esquerdo está dormindo e aí o lado direito é que toma conta. Por isto sonhamos coisas loucas (por exemplo, infringindo leis da Física) e impróprias (sem escrúpulos).

Certos tipos de atividades exigem mais do lado direito. Criar ou solucionar problemas por exemplo. É por isto que muitas soluções e ideias criativas acontecem durante a noite, quando estamos sonhando ou quase dormindo. A revista Info da Editoral abril, na edição de janeiro de 2012, fez uma reportagem de como interferir nos sonhos para ter mais criatividade. Dizem que Paul McCartney sonhou com a música "Yesterday". E assim há outros tantos casos de ideias e soluções que surgiram durante uma noite de sonhos.

O interessante disto tudo é transpor tais sugestões para as empresas, para reuniões de criatividade, de soluções de problemas ou de comunidades de prática. O melhor seria fazer tais reuniões numa mesa de bar.

A mesa de bar é o local onde todos os problemas são solucionados. Ali a gente inventa um pouco para tudo e tem as melhores ideias, ou descobre as melhores soluções. Isto acontece porque o local alivia a pressão e diminui o controle do lado esquerdo do cérebro. Libera nosso lado direito, afastando amarras e gerando pensamentos novos. Quebramos as leis da Física e as regras da empresa. Somos mais criativos. Usamos mais as imagens do que palavras. Na mesa de bar, o lado direito domina o esquerdo.

E provavelmente estamos longe do chefe. E fora da empresa podemos dizer qualquer coisa sem compromisso. Num ambiente relaxado, as ideias fluem melhor, as pessoas perdem o medo de falar e o medo do ridículo.

Este tipo de situação foi bem retratada no filme de Woody Allen "Meia-noite em Paris". E Steven Johnson escreveu no livro "De onde vêm as boas ideias" (clique aqui para um vídeo com o resumo do livro) sobre a importância dos cafés parisienses na Belle Époque e do salões no Iluminismo. Ele também falou que antigamente as pessoas usavam bebidas alcoólicas para liberar o lado direito. Hoje o estimulante é o café. Mas para mim a Coca-Cola funciona.

Empresas devem usar as salas de convivência, os corredores, os encontros na happy hour ou no almoço para que as pessoas discutam mais sobre problemas e soluções. Também devem usar ambientes criativos e que libertem as ideias. Veja na figura abaixo imagens de ambientes de empresas criativas como Google, Microsoft, Dropbox e Facebook.