Livro grátis (free e-book) sobre BI (Business Intelligence) na era do Big Data para Cientistas de Dados

BI na era do big data para cientistas de dados:

indo além de cubos e dashboards na busca pelos porquês, explicações e padrões

Autor: Stanley Loh

Link para baixar o livro grátis:
http://www.intext.com.br/livro-BI-stanley-loh.pdf

Conteúdo

BI na Era do Big Data para Cientistas de Dados. 1

indo além de cubos e dashboards. 1

na busca pelos porquês, explicações e padrões. 1

1        Introdução. 10

1.1        A Evolução dos Sistemas de Informação. 11

1.2        BI X Sistemas Gerenciais. 12

1.3        Dados X Informação X Conhecimento X Inteligência. 13

1.4        O que é BI então ?. 14

1.5        Big Data e Information Explosion. 15

2        Busca e Identificação de Padrões. 17

2.1        Modelos e Padrões. 17

2.2        Contextualização dos Modelos e Comparações. 19

2.3        Padrões X Exceções: imprecisão dos modelos. 20

2.4        Analisar passado para criar modelos. 21

2.5        Modelos para prever futuro. 22

2.6        Análise de Correlação e Causa-Efeito. 24

2.7        Dificuldades para identificar padrões - pessoas e sistemas complexos. 25

3        Processo Geral de BI. 28

3.1        Premissas do Processo de BI. 29

3.2        Quem deve participar do Processo de BI. 30

3.3        Processo de BI Pró-ativo X Reativo: começar com ou sem hipóteses. 30

4        Pré-processamento e Preparação de dados. 33

4.1        Tratamento de valores nulos. 33

4.2        Deduplicidade de registros. 34

4.3        Integração de bases (merge) 34

4.4        Enriquecimento de dados. 35

4.5        Seleção de Amostras. 36

4.5.1        Tipos de amostras. 37

4.5.2        Como separar amostras (subcoleções ou subconjuntos) 38

4.5.3        Generalizações e Especializações. 39

4.5.4        Amostras por período de tempo - analisar ritmo. 40

4.5.5        Tamanho da amostra - quantidade de elementos na amostra. 41

4.6        Seleção de atributos ou campos para análise - feature selection. 42

4.6.1        Valores que predominam.. 43

4.6.2        Dependências funcionais. 43

4.7        Discretização - faixas ou grupos de valores. 44

4.8        Data Warehouse. 45

5        Técnicas de Análise de Dados. 46

Análise qualitativa X quantitativa. 46

Qualitativo para quantitativo. 46

5.1        Data Mining - técnicas tradicionais sobre dados estruturados. 49

Associação. 49

Correlação. 51

Correlação assíncrona. 53

Análise de Regressão e Modelos de Predição. 53

Média. 55

Detecção de desvios (outliers) 55

Sequência de tempo. 56

Séries Temporais. 57

Classificação (categorização) 59

Indução. 60

Clusterização ou Agrupamento (clustering) 60

5.2        Análise de cubos e análise multidimensional OLAP. 61

6        Interpretação dos resultados da análise. 66

6.1        Resultados condizem com a técnica usada. 67

6.2        Indicadores escolhidos para BI - certos ou errados. 69

6.3        Teoria do Mundo Fechado. 70

6.4        Correlações erradas. 72

6.5        Sobrecarga e Ruídos. 74

7        Processo de BI reativo. 76

8        Metodologia para BI proativo. 78

8.1        Seleção de dados e amostras. 79

8.2        Seleção da técnica de análise. 79

8.3        Análise da coleção toda. 80

8.3.1        Analisar percentual ou valores absolutos. 80

8.3.2        Soma X Contagem X Média. 80

8.3.3        Percentual por linha X por coluna. 82

8.3.4        O que predomina. 84

8.3.5        O que é mais importante: o que é raro ou o que é comum ?. 84

8.3.6        Investigar padrão normal e exceções ou minorias. 85

8.3.7        Qual probabilidade mínima é interessante. 86

8.3.8        Medidas de Interestingness. 87

8.4        Comparação de subcoleções entre si ou em relação à coleção toda. 88

8.5        Combinação e Integração de padrões. 91

8.5.1        Hierarquia de padrões e regras. 92

8.5.2        Regras inversas. 94

8.6        Avaliação e Teste de Hipóteses. 94

8.7        Retroalimentação. 97

9        Processo de BI como Descoberta e Investigação. 99

9.1        Descobrindo hipóteses de causas. 100

A coleta inicial de dados. 100

Quantidade de informação X sobrecarga X ruídos. 101

A observação é direcionada, seletiva. 102

A intuição para seleção de dados. 103

O hábito e a experiência para seleção de dados. 104

Heurísticas para seleção de dados. 105

A observação influencia o ambiente. 105

Fazer as perguntas certas. 106

Visão Holística - Análise do Contexto. 106

Verificar o que é comum a um conjunto de casos. 108

Verificar o que é incomum ou diferenças entre grupos. 109

Benchmarking e Analogias. 110

"Reframe", repensar o problema. 111

Quebra de Paradigmas. 112

Descoberta por acaso (serendipity) 113

9.2        Sinais fracos, fatos X opiniões, rumores e boatos. 113

9.3        Análise de causa-efeito. 115

Análise de causa-raiz. 117

Avaliação sistêmica dos dados. 118

Parcimônia – conjunto mínimo de causas. 120

9.4        Métodos e Teorias para Investigação. 120

Método Cartesiano. 121

Método Científico. 121

Método indutivo-dedutivo de Aristóteles. 121

Método de Análise e Síntese de Newton. 122

Método de Galileu. 122

Raciocínio Abdutivo. 122

Visão Sistêmica e Pensamento Sistêmico. 123

Abordagem Sistêmica. 125

O 4o Paradigma de Jim Gray - a eScience. 126

Método de Investigação Criminal 126

Método do Sherlock Holmes. 127

Diagnóstico Médico. 127

9.5        BI como um ato de criação. 128

9.6        Associações Visuais - Análise de Grafos, Redes e Mapas Mentais. 129

Determinismo X probabilismo. 134

Descobrir novas ligações. 134

Mapas e informações geográficas. 135

Uma Metodologia Associativa. 136

10     Business Analytics. 140

Previsões. 140

As previsões mudam com o passar do tempo. 142

Raposas X Porcos-espinhos. 142

Estatísticas X Percepções humanas. 142

O uso de intuições para previsões. 144

11     Novos tipos de dados, técnicas de coleta e análise. 145

11.1          Coleta explícita X implícita X por inferência. 145

11.2          Novas tecnologias para coletar e monitorar dados. 147

11.3          Web Mining. 147

11.4          Text Mining. 148

11.5          Análise de Sentimentos. 149

12     Conclusão. 152

O Futuro do BI. 152

Bibliografia. 153