segunda-feira, 10 de outubro de 2016

Big Data x Complexidade



O fenômeno Big Data possui 3 características principais conhecidas como 3Vs das informações. São elas:

- volume: cada vez mais a Humanidade gera e armazena mais informações. As tecnologias como rádio, TV e telefone geraram mudanças na comunicação (velocidade e volume de informações). Mas a Internet aumentou tudo isto e ainda permite que pessoas gerem informações que ficam disponíveis publicamente. É a explosão de informações.

- velocidade: hoje em dia é possível escrever um post  num blog como este e divulgá-lo instantaneamente para milhares de pessoas em diferentes partes do mundo.

- variedade: a variedade de informações acontece porque nosso mundo está se tornando mais complexo. Geramos e armazenamos informações em formatos diferentes como textos, diagramas, figuras, sons, planilhas, tabelas, gráficos, etc. Além disto, nossos conceitos estão evoluindo para estados menos estáveis ou concretos. Por exemplo: como definir hoje em dia uma família ? E um casamento ? Como armazenar a filiação de uma pessoa ? Seriam 2 ou 3 valores possíveis ? Pode haver uma pessoa só com um pai ou uma mãe ? E sexo então. Há hospitais que trabalham com 12 diferentes tipos de sexo.

Já escrevi sobre o colapso do consenso, termo cunhado por Alvin Toffler na década de 1980.

Os 3Vs são consequência de um mundo mais complexo.

A complexidade aumenta na proporção direta a:
- número de elementos ou itens envolvidos;
- diferentes tipos dos elementos;
- número de relações entre os elementos;
- diferentes tipos de relações entre os elementos.

Uma equipe de trabalho com homens e mulheres de diferentes profissões é mais complexo que um time de futebol masculino. Uma sala de aula com 20 alunos é menos complexa que uma sala com 40 alunos. Uma rede social que permite ligar amigos e inimigos é mais complexa que uma rede onde somente amigos estão relacionados.

O mundo está mais complexo porque:
- há mais pessoas no mundo;
- nossos grupos sociais estão aumentando, passando o limite de 150 para nossa capacidade intelectual (conforme Robin Dunbar);
- as interações entre as pessoas estão mais diversificadas usando diferentes mídias, tecnologia e redes sociais.

A quem isto tudo vai impactar ?

Campanhas de marketing precisarão entender os diferentes segmentos de clientes. Haverá mais microssegmentação. Veja quantas revistas diferentes existem sobre esportes

O atendimento a clientes deverá ser mais personalizado. Jeff Bezos da Amazon disse que precisa ter 3 milhões de lojas diferentes se tiver 3 milhões de clientes.

A inovação de produtos e serviços ficará cada vez mais especializada, para finalidades e públicos específicos.

A diversidade é boa. Ela aumenta a criatividade, amplia oportunidades de negócios. A padronização não funciona mais. O que se quer hoje é personalização. Mas a padronização é boa porque facilita nossa vida. Imagina atravessar ruas numa cidade onde em cada esquina há um tipo diferente de sinaleira ? A diversidade é boa mas dificulta nosso viver (precisaríamos tomar decisões sobre o que fazer em cada nova situação). Ou seja, a Humanidade procura padronização. Foi por isto que inventamos e nos adaptamos bem à agricultura. Para entender a natureza e poder obter alimento de uma forma mais tranquila e regular.

Mas o Big Data só cresce. Cada vez temos mais sensores espalhados para monitorar nosso mundo. São sensores de luminosidade para acender ou pagar lâmpadas nas ruas automaticamente, sensores de temperatura para acionar condicionadores de ar, sensores de chuva e intensidade solar para melhor adaptar nossa agricultura. E tudo isto feito com diferentes máquinas interligadas. É a Internet das Coisas (Internet of Things – IoT).

Para poder entender tantos dados sendo gerados e armazenados vamos precisar de técnicas de análise de dados mais modernas e eficientes, como Data Mining e BI. Será necessário dividir uma coleção grande de dados em amostras menores.

Mas também o mundo novo nos trouxe aumento na complexidade da análise. As necessidades das pessoas estão mais complexas. Antes uma pessoa queria saber somente o endereço de um cliente. Depois, passou a querer saber quem são os clientes com determinado perfil. Hoje, quer saber quais os perfis de clientes que existem num grupo.


Comportamento complexo emerge de comportamentos simples


Esta excelente reportagem da revista National Geographic Brasil, explica o que é a Teoria dos Enxames e a Sabedoria Coletiva. Ali há exemplos de comportamentos simples em animais que geram comportamentos complexos nos grupos.

Eu mesmo já escrevi um pouco sobre isto em

Com as pessoas também acontece o mesmo. Apesar de cada indivíduo ser um ser inteligente e com comportamento complexo (veja como as pessoas tomam decisões complexas aqui http://miningtext.blogspot.com.br/2013/09/como-as-pessoas-tomam-decisoes.html), há também comportamento de enxame nas multidões de humanos, como por exemplo em clientes comprando por promoções.

Isto também pode acontecer com o Big Data que a gente coleta e armazena. Uma forma de entender o caso do Big Data seria procurando por padrões simples nas partes. Assim, não seria necessário procurar por um comportamento complexo, mas apenas buscar entender como as partes funcionam. Um formigueiro ou uma colmeia funcionam bem aos olhos de quem está de fora (como explicado na reportagem da NatGeo). Mas este comportamento complexo é gerado por ações simples de cada elemento no enxame. Apesar de haver diferentes funções, elas não são muitas. Cada indivíduo repete as mesmas funções que seus colegas de mesma função. Por exemplo, ao limpar um terreno, cada formiga coloca o item que encontra (ex. pedra, resto de alimento, sujeira), próximo de outro item similar gerando amontoados (isto é um comportamento simples). Se cada indivíduo fizer isto, teremos montes de itens classificados (um comportamento complexo), sem uma autoridade central ou alguém com visão holística.

O comportamento do todo é gerado pelas pequenas ações de cada indivíduo.

É claro que a complexidade não é a mera soma das partes. Há uma sinergia entre as partes ou diferentes comportamentos simples. O comportamento é simples nas unidades mas destas relações emerge um comportamento complexo.

Existe o que se chama auto-organização em sistemas complexos. Os indivíduos ajustam seu comportamento ao avaliar o comportamento dos outros indivíduos. Por exemplo, uma formiga pode mudar sua função (de forrageira para soldado) se entender que há poucos indivíduos na outra função.

O feedback e a adaptação são duas características importantes em sistemas cibernéticos. Eles estão presentes em seres vivos mas também estão sendo incorporados em máquinas. Um robô que explora um planeta ou um satélite no céu não podem esperar alguém reprogramar seu comportamento ou mesmo vir corrigir um defeito. Eles precisam ser autossuficientes e para isto devem ser programados para se adaptarem a novos ambientes.

Aí é que o Big Data pode ser muito útil. Quanto mais informações sobre o ambiente e quanto mais retorno ou reações (feedback) de nossas ações, melhor podemos nos adaptar. Precisamos acelerar o retorno vindo de diferentes e várias fontes, para melhorar as nossas decisões. Sobrevive quem se adapta melhor, já dizia Darwin. Mas nos seres vivos a adaptação ou evolução pode demorar milhões de anos. Precisamos de adaptação rápida. E o Big Data pode ajudar. Isto também é chamado de “retorno acelerado” (increasing returns).

A descentralização também pode ajudar. Quanto mais partes colhendo dados, de mais fontes e mais variadas, melhor o feedback.


Será possível controlar um sistema complexo, por exemplo, de clientes ?


Os sistemas complexos impõem dificuldades para entender causalidade (quem causa o que). O comportamento final é imprevisível se analisarmos apenas as partes (o todo não é a mera soma das partes).

Por isto, os sistemas de simulação podem ajudar a entender ou mesmo gerar um comportamento coletivo com muitas partes ou interações. Podemos fazer simulação de sistemas complexos com NetLogo (https://ccl.northwestern.edu/netlogo/). É possível programar o comportamento dos tipos de elementos e então simular o que aconteceria numa multidão. Podemos variar parâmetros e ver o que acontece em novas simulações. Os parâmetros podem ser: o número inicial de cada tipo de elemento, os padrões de comportamento (exemplo: probabilidade com que um elemento consegue mudar o comportamento de outro, ou o quanto um indivíduo muda seu comportamento em certas situações), o número de interações entre os indivíduos (por exemplo, quantos vizinhos ou elementos cada indivíduo encontra).

Axelrod utilizou simulações computacionais para tentar entender como a cooperação poderia sobreviver em um mundo egoísta. Biólogos simulam sistemas predador-presa para entender se haverá ou não extinção de espécies. Economistas simulam mercados. Analistas de Marketing poderiam simular como uma campanha viral se espalharia, por exemplo, se houvessem tantos eleitos influenciando o todo (para entender os eleitos, ver livro “O Ponto da Virada” de Malcolm Gladwell).

Paco Underhill e sua equipe usam mineração de dados sobre observações de comportamentos de clientes. Suas descobertas estão documentadas no livro “Why we buy”. Eles extraem padrão do caos. Em resumo, pode-se entender que clientes se comportam como gado, inclusive sendo direcionados dentro de lojas. Pessoas são autônomas mas acabam tendo comportamento similar. E uma multidão ainda pode engessar o comportamento das pessoas pelo chamado Groupthinking ou condicionamento de manadas.  

Um roteiro para tentar entender clientes pela análise de complexidade:
1.      Observar o comportamento dos indivíduos;
2.      Identificar ações simples que se repetem (classificar, reduzir, simplificar);
3.      Simular em computador como o todo irá se comportar com vários comportamentos simples iguais.


A simulação permite testar ideias mas também a evolução de sistemas dinâmicos, onde indivíduos podem mudar seu comportamento. As regras básicas da evolução são: diferenciação e seleção. Indivíduos mudam mas só sobrevivem certos tipos de comportamentos ou características.

Um sistema vivo não é aquele que está estável ou em equilíbrio, mas sim estabelecido na instabilidade. Os gases na Terra não estão estáveis. Sua proporção (por exemplo, 21% de oxigênio) é resultado justamente da instabilidade, ou seja, das muitas reações que estão acontecendo. É o equilíbrio na corda bamba. O sistema morre se estabilizar.

O atendimento a clientes deve ser também um sistema vivo. Se for padronizado, morre. Qual estratégia funciona melhor ? Precisamos testar em ambientes reais (com clientes reais em necessidades e situações reais). Ou então simular em computador.



Referências sobre Complexidade:


KELLY, Kevin. Bootstrapping Complexity. Amazon (e-book Kindle), 2011.

WALDROP, M. Mitchell. Complexity: The Emerging Science at the Edge of Order and Chaos. Simon and Schuster, 1993.

Nenhum comentário: