BI como um ato de criação

O que BI tem a ver com criatividade ?

Estou aqui considerando que BI é um processo que procura por causas (de problemas ou boas práticas). Por exemplo, não basta saber qual o produto mais vendido, queremos saber por que ele é o mais vendido, para replicar as boas práticas para outros produtos. Não basta saber que uma loja não vende tão bem quantas as outras, queremos saber por que para eliminar ou minimizar as causas do fracasso.

Hoje em dia, BI é muito confundido com apresentar informações em dashboards. Mas para que as decisões sejam apoiadas adequadamente, precisamos saber que informações devem ser apresentadas nos dashboards. E muitas vezes este é um processo feito em parceria entre o Analista de BI e o usuário/cliente (aquele que toma a decisão e precisa de informações).

O processo de BI é, de certa forma, semelhante a um músico procurando uma nota que faça a conexão entre 2 partes de uma música, um investigador policial procurando o autor de um crime, um mecânico investigando a causa de um defeito em uma máquina, um pintor procurando um meio de expressar suas ideias mentais e surpreender aqueles que olham sua obra.

Mas para que o momento Eureka ocorra, algumas coisas devem acontecer antes. O insight da solução não vem por acaso, como Koestler e Johnson descrevem em tantos exemplos nos seus livros. (Koestler: "a sorte favorece a mente preparada"; Johnson: "a sorte favorece a mente conectada").

Arquimedes só viu a solução porque tinha estudado ardentemente o problema que lhe havia sido imposto, porque estava estudando outros temas e conseguiu conectá-los.

Segundo Koestler e Johnson, 2 elementos principais são necessários (entre outros):

a) Maturação de ideias

Koestler fala em ripeness. Steven Johnson fala em palpite lento (slow hunch).

Isto significa muito estudo. Coletar muitas informações, propor teorias (hipóteses), testar a teoria com exemplos reais e refazer o processo muitas vezes. Tim Berners-Lee maturou a ideia da WWW por mais de 10 anos. E perseverou. Christianson (2012) inclusive apresenta uma cópia do manuscrito original, onde o orientador de Tim escreve a mão: "vago mas excitante ...".

b) Junção de contextos diferentes

Koestler fala em bissociação de matrizes (bisociation of matrices); Johnson, em colisão de ideias (collision of hunches).

Koestler descreve como passar repentinamente de um plano (assunto) para outro (como Arquimedes), conectando as partes e gerando uma solução nova. Johnson diz que é preciso completar nossas teorias com as ideias de outros.

É preciso também ter conhecimentos generalizados, além dos especializados. Darwin foi influenciado pelo trabalho do economista Thomas Malthus sobre o crescimento da população, a falta de alimento e a possível morte de pessoas por causa desta disparidade. E Darwin iniciou sua jornada de estudos investigando pedras (na área de geologia). Steve Jobs revolucionou as interfaces homem-computador, criando telas encantadoras. Boa parte deste sucesso se deve a seus estudos de caligrafia, que o ajudaram a criar as fontes de textos.

A seguir, compilei algumas dicas que estou coletando ao longo da minha vida de estudos, experimentos e descobertas.

Dicas

·         Analogias

Para juntar as matrizes ou colidir ideias, muitas vezes podemos reutilizar soluções que deram certo em outra área.

A técnica de benchmarking significa olhar e aprender com outras empresas. A solução de um programa de computador que não "roda" pode vir de uma ideia de um brinquedo que não funciona.

Talvez, seja necessário alguma adaptação na solução, pois ela provou funcionar em outra área. Por isto, um esquema visual é importante, pois podemos visualizar problemas e soluções. Se compararmos dois casos com informações diferentes, talvez o padrão visual seja o mesmo. Mapas mentais, anagramas, grafos podem ajudar (adiante veremos um caso com mapas mentais).

E também é preciso ter informações e conhecimentos diversos. A causa para o custo elevado de um produto pode estar na raiz da cadeia de suprimentos. A leitura de textos como o de Schumpeter (1908) sobre o valor social das coisas e a formação de preços pode ajudar ainda hoje, apesar da sua data de publicação. O vídeo de Annie Leonard (2007), "A História das Coisas", sobre produção, consumo e sustentabilidade é mais que atual e trata do mesmo assunto.

Por isto é tão importante conhecer vários assuntos e não ser um "especialista burro".

·         "Reframe", repensar o problema

Eu gosto do termo "reframe" associado a criatividade e solução de problemas. Repensar o problema com outros esquemas, elementos, dados, contextos, regras, pode ser a solução. Talvez o momento Eureka dependa de vermos o problema com outros olhos, sem mesmo precisar mudar as informações ou o contexto. Basta "pensar diferente".

Não se pode simplesmente ficar em cima de um problema usando os mesmos paradigmas; o resultado será sempre o mesmo. Repensar tem que ser "reformular". Por isto que quando temos um problema devemos sair do ambiente, fazer outra coisa (ex. Arquimedes). Muitas vezes fazemos isto e quando voltamos "enxergamos" a solução de primeira e pensamos: "por que não vi isto antes ?"

Para reformular, temos que nos libertar das regras que estamos usando. Einstein, Galileu  e Darwin quebraram paradigmas. Mas para isto, precisaram se libertar das teorias aceitas em suas épocas. Se pensarmos que um problema só tem uma solução possível (ou caminho para a solução), a tendência é tentar colocar os dados num esquema que leve por este caminho. É por isto que muitas soluções aparecem em sonhos, porque quando dormimos a parte do cérebro que dita regras e conexões lógicas está dormindo também. Por isto é que sonhamos coisas estranhas, sem lógica. Mas é também o que permite conectar diferentes matrizes e fazer associações novas (que acordados não fazemos).

Uma sugestão é utilizar esquemas diferentes para representação ou descrição do problema. Podemos usar diagramas (esquemas visuais), textos, imagens em sequência (storytelling), planilhas e até mesmo gravações de áudio (segundo a Neurolinguística, algumas pessoas retém melhor as informações ouvindo, outras vendo, outras tocando, etc.).

Precisamos voltar, tomar direções diferentes, usar dados diferentes, observar detalhes que talvez não fossem considerados tão importantes, refazer as perguntas.

·         Fazer as perguntas certas

O que diferenciou Darwin de outros pesquisadores que acreditavam e estudavam a teoria da evolução foi que conseguiu provar a teoria com o seu porquê e como. Mas para isto, ele precisou fazer as perguntas certas. Neste caso, por que as espécies evoluíam e como (origem das modificações e como passavam entre as gerações).

O começo é sempre com hipóteses. Segundo Darwin, "ninguém pode ser bom observador se não tiver uma teoria antes". É preciso direcionar o foco da observação, porque pode haver muita informação.

Isto não significa apaixonar-se pela teoria e não enxergar outros caminhos. Darwin mesmo tinha algumas teorias iniciais (vindas de Lamarck) que acabou refutando com suas descobertas.

Fazer as perguntas certas significa coletar e armazenar os dados certos, ou seja, já ter algumas hipóteses do que pode ser a causa ou o que pode influenciar. Se a causa para quebras de máquinas é a temperatura ambiente, então temos que coletar estes dados e inseri-los na base de dados para depois poder utilizar as técnicas de análise com ajuda de software. Se esta for a causa e tais dados não estiverem na base, ou não descobriremos nunca a causa ou então estaremos calcados em descobertas enganosas.

Detalhes podem fazer a diferença. O ser humano tem a tendência de analisar o que é comum, mais frequente, o que aparece mais. É assim com a moda. Ninguém dá atenção para um tipo de acessório que só uma pessoa usa. Se vários estiverem usando o mesmo estilo, isto chama a atenção das pessoas comuns. Entretanto, num processo de descoberta ou investigação, os pequenos sinais podem ser muito úteis. Pergunte a um investigador policial. Então, num primeiro momento nada deve ser descartado. Todos os dados possíveis devem ser coletados e analisados. Todos os caminhos devem ser considerados. E várias hipóteses iniciais devem ser construídas.

Descobrir as hipóteses iniciais é um processo de tentativa e erro. Podemos acelerar com analogias e benchmarking. Mas talvez seja necessário fazer o processo de descoberta, analisar padrões ou causas possíveis, gerar hipóteses, testá-las com casos reais e aí refazer tudo de novo.

·         Usar a técnica de análise certa

A figura abaixo apresenta o gráfico de vendas no tempo (linha em vermelho) de um site de comércio eletrônico. A loja física já existia e aí criaram o site para vender pela Web. Depois de algum tempo, os diretores resolveram descontinuar o site de vendas porque a "média" das vendas estava muito baixa. Na figura, a média é representada pela linha reta azul. O erro foi no uso da técnica de média. Se eles tivessem analisado a tendência, veriam que as vendas estavam subindo, inclusive no momento do encerramento, as vendas estavam no topo (nunca antes atingido).

·         Visão Holística

Significa a "Visão do Todo", ver todos os elementos e suas relações. Isto ajuda a entender como o todo (problema) está composto e pode ajudar a direcionar o foco ou mesmo ver detalhes pouco percebidos.

Procure observar as interações, não só estabelecendo as conexões entre os elementos mas entendendo que tipo de conexão existe. X pode estar conectado a Y por ser sua causa, mas pode estar conectado a Z por que são ideias contrárias e pode estar conectado a W por outra razão diferente. Não estabeleça regras de tipos de conexões, não fique preso a paradigmas, tenha mente aberta.

Os gregos só conseguiram entrar em Troia porque estudaram o povo troiano. Se tivessem visto o todo (problema) somente como uma cidade-fortaleza com muros altos, poço de fogo, portão forte e guerreiros, estariam até hoje tentando entrar. A ideia do Cavalo de Troia veio porque eles entenderam que o problema incluía o povo troiano, e este detalhe fez a diferença. Eles descobriram que o povo troiano era supersticioso, muito religioso e acreditavam em presentes dos deuses. Daí veio o insight da solução.

Visão holística também tem a ver com Sinergia (o todo é maior que a mera soma das partes). Se ao analisar a molécula de água (H2O), observássemos os elementos hidrogênio e oxigênio em separado, não saberíamos que o estado natural da água é líquido. Quando os elementos de um todo interagem entre si, formam um sistema complexo que pode levar a resultados imprevisíveis.

Só listar os elementos não é suficiente; temos que entender as relações entre eles.

Análise Multidimensional X Mapas Mentais

Os mapas mentais são muito utilizados pela Gestão do Conhecimento para representar conhecimento (e não informações). Já as estruturas e análises multidimensionais são a base para o BI. Como juntar estes dois paradigmas ?

A figura abaixo apresenta um mapa mental que representa também a visão multidimensional dos dados envolvidos na venda de um produto. Se alguém quiser ver pelo ponto de vista do BI tradicional, conseguirá ver uma tabela fato sobre vendas, tabelas de dimensões (vendedores, loja, propaganda, dados de clima, marca, data e hora) e tabelas secundários formando um esquema tipo floco de neve (snowflake).

Como um mapa mental, podemos ver os fatores que influenciam a venda. Diretamente, temos clima, loja, marca, propaganda, data hora e vendedor. Entretanto, o esquema mostrar que o vendedor é influenciado pela sua motivação e pelo treinamento que recebeu. E o treinamento possui 3 fatores que influenciam.

Desta forma, podemos pensar nas causas para índices de vendas bons ou ruins analisando as causas diretas ou indiretas. O diferencial deste tipo de visualização é poder descobrir uma causa distante. Por exemplo, um baixo índice de vendas pode estar associados a quem ministrou o treinamento (que influencia a qualidade do treinamento, que por sua vez influencia o desempenho do vendedor, que finalmente influencia as vendas). Ou quem sabe o aumento das vendas pode ser devido à atitude dos vendedores, que por sua vez receberam um bom treinamento, e este foi de qualidade porque o ambiente do treinamento foi especial (quando e onde).

Exemplos

Houve o caso de uma empresa que queria entender por que um produto X não vendia numa região do estado (em outras regiões vendia bem). Após algumas análises descobriram:

- não era preço, pois havia produtos da mesma categoria com preços iguais que vendiam bem neste região;

- não era marca, pois produtos da mesma marca vendiam bem nesta região.

Também descobriram que não havia diferencial seja no ambiente das lojas ou nos vendedores, seja nas características sócio-demográficas dos clientes da região.

A causa na verdade tinha a ver com a religião predominante naquela região (os pastores faziam propaganda negativa daquele tipo de produto). Mas o banco de dados não tinha armazenado um campo tipo "religião" associado aos clientes. A causa só foi encontrada porque um colaborador da empresa, ao ouvir uma conversa sobre o problema durante o cafezinho, comentou que nos cultos havia ouvido o pastor falar mal do tal tipo de produto. Este momento Eureka aconteceu porque uma nova informação surgiu ao acaso. Mas também porque a conversa não ficou fechada, restrita a um grupo (foi socializada no cafezinho).

Outro caso foi de um produto Y que ora vendia bem, ora não vendia numa rede de lojas numa cidade. A causa não era sazonabilidade, pois não havia um padrão no tempo ou relativo ao clima. Também não havia um atributo predominante, que diferenciasse os períodos de vendas. Todas as variáveis, como promoções, diferenças de preços e descontos, presença de promotores, estavam presentes em ambos os períodos (vendas no alto X vendas em baixa). A razão estava na combinação com outros produtos. Quando o produto Z era vendido na loja no mesmo período que o produto Y,  as vendas do produto Y cresciam. Se o produto Z não estivesse presente na loja, as vendas do produto Y caíam. E o produto Z nem vendia tanto assim.

Entretanto, notem: os dois produtos Y e Z não apareciam juntos nas vendas, com uma frequência significativa (ou seja, não era o caso de venda cruzada e não podia ser detectado por Data Mining).

A explicação que os analistas encontraram foi que o produto Z chamava a atenção do produto Y (os clientes lembravam do produto Y, ao ver o produto Z). E ambos nem ficavam em prateleiras próximas, mas corredores distantes.

Mas agora, como eles chegaram a tal conclusão ? A estratégia foi analisar o que havia de diferente na loja em ambos os períodos.

Outro caso: uma empresa que fornece infraestrutura de móveis (mesas, cadeiras, louças, copos, toalhas, etc.) para eventos precisava descobrir porque em muitos casos seus materiais voltavam danificados. Observando os dados na base, não conseguiam encontrar um padrão, ou seja, um atributo que fosse comum a todos os casos em que algum material voltou com estrago. Entre as variáveis eles incluíam o tipo e local do evento, distância da empresa, tipo de transporte utilizado e até mesmo condições climáticas durante o período (antes, durante e depois do evento). Sobre o evento, também armazenavam informações como número de convidados, garçons, tamanho da cozinha, número e tamanho de mesas, se havia dança, etc. A causa só foi descoberta depois que utilizaram um software de Data Mining que relacionava variáveis ou eventos. Ou seja, a causa dos estragos não era um fator único, mas uma combinação de, no mínimo, 3 fatores diferentes.  

Um dos casos mais interessantes de descoberta por mineração foi feita por Swanson e Smalheiser (1997). Eles conseguiram encontrar uma possível relação entre 2 textos de assuntos distintos. O texto 1 falava que “...o óleo de peixe é bom para a circulação do sangue...”. O texto 2 dizia que “... a síndrome de Raynaud está associada com a vaso-constrição nas pessoas ...”. A partir da leitura destes 2 textos, eles chegaram à hipótese de que “o óleo de peixe poderia ajudar no tratamento da síndrome de Raynaud”. Então partiram para experimentos práticos e os resultados comprovaram a hipótese.

Este problema pode ser esquematizado utilizando-se um mapa mental (ou grafo). Considerando os seguintes conceitos e suas relações:

·         Síndrome de Raynaud è vaso-constrição

·         Óleo de peixe è boa circulação

·         vaso-constrição ó boa circulação

Os conceitos e suas relações apareciam em muitos textos da área médica. Entretanto, nenhum texto tratava dos conceitos "Síndrome de Raynaud" e "óleo de peixe" juntos. Usando técnicas de text mining (análise inteligente de textos), surgiu a relação entre estes dois conceitos, justamente porque apareciam com alta frequência numa coleção de textos sobre problemas de circulação sanguínea.

Este é um ótimo exemplo de como fazer as perguntas certas ajuda a encontrar as respostas certas. No caso, os referidos autores perguntaram qual a relação entre dois conceitos, que eles ainda não haviam notado em nenhum texto.

O uso de mapas mentais pode ajudar neste tipo de investigação, para encontrar hipóteses iniciais, necessitando pouco ou talvez nenhum entendimento do domínio (para iniciar; depois sim será necessário um background especializado).

A partir da figura acima, relacionando conceitos, pode-se:

a) sugerir ligações para procurar (ex.: há ligação entre A e D ? de que tipo ?);

b) procurar evidências que liguem os conceitos (ex.: há algum texto falando de A e D juntos ? há alguma caso ? podemos fazer algum experimento que concretize A e D ?);

c) procurar um conceito que ligue outros (ex.: existe um conceito X, tal que A ó X ó D ?).

E fica o desafio: como os índios descobriram que a mandioca não seria venenosa se cozinhada adequadamente ?

Referências

CHRISTIANSON, Scott. 100 diagrams that changed the world: from the earliest cave paintings to the innovation of the ipod. New York: Penguin books, 2012.

JOHNSON, Steven. Where good ideas come from - the natural history of innovation. New York: Riverhead Books, 2010.

KOESTLER, Arthur. The Act of Creation - a study of the conscious and unconscious processes in humor, scientific discovery and art. New York: Arkana (The Penguin Group), 1964.

LEONARD, Annie. The Story of Stuff (A história das coisas). Video produced by Free Range Studios and directed by Louis Fox. 2007.

SCHUMPETER, Joseph. On the Concept of Social Value. Quarterly Journal of Economics, v.23, 1908, p. 213-232.

SWANSON, Don R.; SMALHEISER, N. R. An interactive system for finding

complementary literatures: a stimulus to scientific discovery. Artificial Intelligence, Amsterdam, v.91, n.2, p.183-203, Apr. 1997.

Sabedoria das Massas e Inteligência Coletiva

A ideia de que algo feito por várias pessoas tende a ser melhor do que se fosse feito por apenas uma não é nova e virou dito popular. Em “Politics”, Aristóteles defendeu uma forma de democracia referenciada como “sabedoria das massas”: “Cada indivíduo será pior juiz que os especialistas, mas quando todos trabalham juntos, eles são melhores ou no mínimo iguais (com desempenho semelhante)”.

Surowiecki (2004) comenta diversos casos (não comprovados cientificamente) onde a coletividade suplanta os resultados de indivíduos. Há o caso de um experimento simples durante uma palestra, em que a plateia consegue acertar as medidas de uma pessoa. Cada pessoa sugere valores com base em sua intuição ou experiência, e a média das suposições gera erro zero. Surowiecki avaliou diversas situações num jogo de auditório tipo Quiz, nos EUA, semelhante ao Show do Milhão aqui no Brasil. Os especialistas (“universitários”) estavam corretos em 65% dos casos enquanto que a plateia (pela escolha da maioria) estava correta em 91% dos casos, sem comunicação entre eles.

A partir disto, Surowiecki utilizou o termo Sabedoria das Massas ou Multidões (Wisdom of Crowds), para explicar este fenômeno. Segundo este conceito, a opinião da maioria das pessoas leva ao que é correto ou ao melhor caminho. Surowiecki acredita que a maioria poderia acertar o número de feijões numa caixa, sem contagem prévia; bastaria utilizar a média de todos os valores fornecidos individualmente por cada elemento do grupo. Sob certas circunstâncias, grupos são mais inteligentes do que os indivíduos mais inteligentes agindo sozinhos. Quando nossos julgamentos imperfeitos são agregados do modo certo, nossa inteligência coletiva é frequentemente excelente. Os erros acontecem em todas as direções e um neutraliza o outro.  

Miller (2007), na reportagem de capa da National Geographic, comenta diversos casos de animais que, seguindo apenas regras simples, conseguem sobreviver em bandos, encontrando comida e fugindo de inimigos, o que não conseguiriam se estivessem sozinhos. Ele comenta o caso das renas fugindo de lobos. A rena mais próxima do lobo, corre quando avista o inimigo. As outras, ao ver alguém correr, correm também (sem saber motivo, sem saber para onde). Cada uma corre para um lado, em direções contrárias e diversas, sem coordenação e sem aviso central. Com isto, o lobo não sabe a quem seguir e fica confuso, acabando por não conseguir capturar nenhuma vítima.

Outro termo utilizado com significado semelhante é "Inteligência Coletiva", proposto por Pierre Lévy. Ele tem sido usado em diferentes aplicações, mas sempre tendo em comum a ideia de que “o todo é mais que a mera soma das partes”, ou seja, várias partes integradas podem realizar um objetivo que nenhuma parte conseguiria em separado (Lévy, 1998). Este também é o fundamento do conceito de Sinergia, da Teoria Geral de Sistemas. Por exemplo, a molécula de água (H2O) é formada por dois átomos de Hidrogênio e um átomo de Oxigênio. Hidrogênio e Oxigênio são gasosos em seu estado natural; se olharmos somente as partes, tenderemos a acreditar erroneamente que o estado natural da água é gasoso. A ideia de Sinergia é que elementos em conjunto podem fazer mais que cada um em separado se estiverem atuando de forma integrada (exemplo: mover uma pedra).

  

Premissas para Sabedoria ou Inteligência das Multidões

 Surowiecki (2004) propõe 4 premissas para a Sabedoria das Massas:

1.         Diversidade de opiniões: cada um sabe uma parte do todo e um complementa o outro;

2.         Independência: opiniões individuais não devem ser influenciadas por outras opiniões;

3.         Descentralização: experiências locais (individuais) ajudam no contexto global; 

4.         Agregação: deve haver um mecanismo para juntar as decisões individuais numa decisão coletiva.

Wolpert and Tumer (1999) veem 4 características principais num sistema de inteligência coletiva:

1.         Há vários agentes (ou processadores) atuando de forma concorrente, realizando ações que afetam os demais;

2.         Há pouca ou nenhuma comunicação centralizada, sendo que cada agente se comunica com alguns poucos agentes, de formas diferentes;

3.         Há pouco ou nenhum controle centralizado, sendo que cada agente controle ou influencia outros agentes de formas diferentes, mas não há um agente central controlador de todo o sistema;

4.         Existe um objetivo bem especificado, que é o foco do comportamento de todo o sistema.

Inteligência em Insetos Sociais

 A inteligência coletiva acontece na prática em insetos sociais como formigas e abelhas e outros tipos de animais que andam em bandos.  Colônias de insetos sociais são grupos de indivíduos que vivem juntos e se reproduzem como uma unidade. A colônia representa um nível de organização acima dos organismos individuais com suas próprias características morfológicas, comportamento, organização interna e padrão de desenvolvimento. Os modelos mais recentes tratam as colônias como um sistema descentralizado e auto-organizado cujo comportamento emerge da ação e decisão dos indivíduos, com ativa cooperação e sem uma comunicação central explícita. Esta é a chamada Inteligência de Enxames (Swarm Intelligence), conforme Bonabeau (1999).

Outro caso de inteligência coletiva em formigas é a chamada "stigmergia", a comunicação indireta via ambiente. As formigas seguem feromônios deixados (não intencionalmente) por outras formigas para encontrar comida (Moura e Pereira, 2003). É o mesmo caso de pessoas que entram numa floresta e seguem o caminho mais "pisado" ou com árvores e galhos derrubados para encontrar uma saída.

Auto-organização

 Outro fator característico dos sistemas de inteligência coletiva é a auto-organização. Os componentes do sistema (agentes) são capazes de realizar tarefas complexas mesmo sem uma coordenação central e sem um plano previamente elaborado, mas unicamente através da inteligência individual, da comunicação e da integração de tarefas menores.

Miller (2007) comenta o exemplo de formigas que conseguem definir o número suficiente de indivíduos para encontrar e trazer comida ao formigueiro (uma espécie de equilíbrio para atingir o objetivo geral.

Outro exemplo de auto-organização é encontrado nas abelhas. Elas utilizam um espécie de votação para decidir o melhor lugar para um nova colmeia e sem nenhum tipo de controle central (a Rainha não interfere). Quando um grupo de 15 abelhas se reúne ao redor de um lugar, é porque o lugar já foi escolhido (Miller, 2007). As abelhas também usam a coletividade e a troca de informações para decidir qual a melhor fonte de néctar.  Elas viajam até 10 km longe da colmeia para coletar néctar e retornam com informações sobre a fonte de néctar (direção, distância e qualidade da fonte de néctar). Elas utilizam a dança para recrutar novas abelhas para aquela fonte (Camazine et al, 2003).

Handl e Meyer (2007) citam o experimento com agrupamento de resíduos feito por formigas (Ant-based clustering). Num local onde há resíduos de corpos, de larvas e de areia misturados, as formigas conseguem organizar a "bagunça" agrupando os resíduos corretamente. Elas fazem isto observando o que as outras estão fazendo. No início, o processo é aleatório, com as formigas colocando as partes em qualquer lugar. Mas a observação dos indivíduos próximos ajusta o resultado, e as formigas vão juntando partes semelhantes em pequenas pilhas e corrigindo eventuais enganos.

O interessante na auto-organização destes animais é que cada um sabe o que tem que fazer e qual é o objetivo comum. Se todos atingirem seus objetivos individuais, o objetivo do grupo será atingido.

A Inteligência Coletiva está fortemente calcada no fundamento de que cada indivíduo só tem parte do conhecimento e a inteligência está distribuída entre os elementos do grupo. Este é também o princípio dos sistemas multiagente inteligentes da Inteligência Artificial. Imagine alguém tentando controlar o trânsito em uma grande cidade. Não há como olhar todas os cruzamentos, mesmo numa sala central com diversas câmeras. Pior ainda tenta sincronizá-las. Mas se cada sinaleira for inteligente o suficiente para saber se há carros passando em cada direção e qual a velocidade (através de sensores), ela poderá comunicar-se com outras sinaleiras e trocar informações. Assim, poderá manter uma direção aberta por mais tempo, se há carros vindo em sua direção e se não há engarrafamento mais adiante. Ou poderá segurar o tráfego em caso contrário. Poderá até mesmo indicar desvios por ruas menos movimentadas, caso receba tal informação de outras sinaleiras.

  

Avaliação de confiabilidade de fontes de informação

Certa vez, eu fiz um experimento. Desejando saber a idade com que Getúlio Vargas morreu, fui para a Web. Em vários locais (a maioria), havia a data de falecimento em 24/08/1954. O Globo Online falava em “A morte de Getúlio Vargas: 23/08/2004”.

Sobre o nascimento, encontrei várias divergências. No site do Partido Democrático Trabalhista (PDT), havia a seguinte informação: 1883-1954. No Yahoo Answers, alguém colocou: 19/04/1882. No site do Objetivo (roteiro para estudos), 19/04/1883. No site do Senado, 19/04/1882. A maioria apontava a data de nascimento como 19/04/1882.

Se eu tivesse que responder esta questão numa prova, eu seguiria a maioria.

Aí confirmei a minha impressão na Wikipedia, onde encontrei as seguintes informações:

–        Nascimento: São Borja, 19 de abril de 1882.

–        Morte: Rio de Janeiro, 24 de agosto de 1954.

O Google usa um raciocínio parecido para determinar quais os sites mais importantes sobre um tema (e colocá-los no topo dos resultados orgânicos de buscas). As páginas mais apontadas vão para o topo do ranking, pois são consideradas as autoridades no assunto, uma vez que outras páginas sobre o mesmo assunto apontam para elas.

Crossan (1994) utilizou uma metodologia semelhante na sua tese e livro sobre “O Jesus Histórico”. Para determinar se um fato descrito sobre Jesus era verdadeiro, ele verificava se o fato tinha sido comentado em duas ou mais fontes independentes. 

Web 2.0

 Web 2.0 é um termo criado por Tim O'Reilly (2005) para designar um novo tipo de plataforma, uma segunda geração de comunidades e serviços na Internet, como por exemplo, Wikis, aplicativos baseados em Folksonomias, blogs e redes sociais. "Hiperlinks são o fundamento da rede; à medida que os usuários adicionam conteúdo e sites novos, esses passam a integrar a estrutura da rede à medida que outros usuários descobrem o conteúdo e se conectam a ele. Do mesmo modo que se formam sinapses no cérebro – com as associações fortalecendo-se em função da repetição ou da intensidade – a rede de conexões cresce organicamente, como resultado da atividade coletiva de todos os usuários da rede".

Apesar das críticas de alguns autores com relação ao significado do termo, a Web 2.0 é sinônimo de colaboração entre pessoas. Muitos sites modernos permitem a construção coletiva do seu conteúdo (Wikipedia, Wikimapia, Flickr, Delicious, etc.). Os defensores acreditam que a construção de conteúdos baseada na colaboração pode gerar conteúdos de maior qualidade além de quantidade em pouco tempo (produtividade).

Em 2005, a revista Nature publicou um artigo comprovando que a Wikipedia tem qualidade semelhante à da Enciclopédia Britânica (Giles, 2005). 

Simulação social e Comportamento de Multidões

 Entender o comportamento de multidões é um desafio. Conforme a teoria de Herbert Simon (1972), o ser humano toma decisões sob uma Racionalidade Limitada à informação disponível, à capacidade cognitiva das mentes e ao tempo disponível. Na maioria das vezes não vale a pena (pelo custo ou tempo) coletar todas as informações necessárias para tomar uma decisão. Por exemplo, se uma pessoa quiser comprar um sapato, pensará em verificar na cidade qual a loja com o preço mais barato. Entretanto, se for avaliar o preço de cada loja, ao terminar o processo, terá levado tanto tempo que os primeiros preços consultados já poderão ter sido alterados e o custo total de deslocamentos e perda de tempo não valerá o desconto que conseguir. É impossível que o indivíduo conheça todas as alternativas para uma decisão e que possa avaliar todas as suas consequências. A tendência do ser humano é simplificar as escolhas. Isto quer dizer que não temos como saber se a decisão tomada foi a mais acertada antes de tomá-la; somente após saberemos se deu certo ou não. E mesmo tendo alcançado êxito, talvez não tenhamos certeza se foi a melhor alternativa.

Em geral então, as pessoas procuram diminuir a incerteza das decisões mas assumem certos riscos pela racionalidade limitada. Por exemplo, se alguém quiser traçar uma rota de fuga em caso de incêndio num prédio, talvez não consiga avaliar todas as alternativas possíveis (local de início do fogo, quantidade de pessoas, etc.). E no momento da situação de incêndio, o ser humano tem que simplificar ao máximo seu processo de decisão para acelerar as ações. Isto quer dizer que os planos iniciais podem ter sido esquecidos ou terão que ser simplificados. E assim, as atitudes planejadas mudam pela racionalidade limitada. E o ser humano se torna imprevisível.

Neste caso, observar o que a maioria está fazendo, pode ser uma maneira de obter produtividade. Muitas pessoas já conseguiram sair de engarrafamentos simplesmente seguindo um grupo de carros por atalhos desconhecidos. Isto não significa que funcione sempre.

Em outros casos, as pessoas podem pensar que é melhor não seguir a maioria. Por exemplo, num engarrafamento, pode-se pensar em pegar um atalho diferente se todos estão indo por um atalho muito conhecido (que poderá engarrafar também). Nas grandes rodovias pedagiadas, a escolha da cabine de pedágio pode ser assim: as pessoas tendem a se aproximar pelas filas do meio para poder selecionar uma fila menor quando chegarem perto pela observação. As pessoas pensam que, se estiverem na ponta, talvez só possam selecionar uma ou duas cabines ou à esquerda ou à direita, enquanto que chegando pelo meio podem selecionar uma ou duas tanto de um lado quanto de outro, dobrando as possibilidades. Isto faz com que as filas das cabines do meio fiquem maiores. Uma boa escolha seria chegar por uma das pontas, onde as filas estão menores.

Por esta razão, há pessoas planejando o design de locais públicos não pelo estabelecimento de regras ou considerando uma coordenação centralizada, mas simplesmente observando o comportamento das multidões quando atitudes aleatórias e descoordenadas acontecem. Numa situação de incêndio, informações vindas de uma coordenação local não serão ouvidas e talvez nem mesmo os avisos luminosos sejam percebidos.

A entrada e saída de multidões em eventos públicos deve ser pensada como um evento complexo onde pessoas com racionalidade limitada e atitudes diversas agem (como as renas fugindo dos lobos). Dizem que o Coliseu de Roma original, com capacidade para 50 mil pessoas, podia ser evacuado em 3 minutos devido a sua estrutura bem planejada. E naquela época não havia microfones, alto-falantes e avisos luminosos.  

Além disto, a ação de uma pessoa acaba por influenciar a decisão dos que estão próximos. Isto pode modificar o comportamento dos outros, que podem imitar ou fazer algo bem diferente. Por vezes, algumas decisões de pessoas pensando no benefício próprio e único podem prejudicar ainda mais o sistema. Tomar decisões de forma independente, talvez não seja a melhor alternativa, conforme a teoria do Equilíbrio de John Nash. Talvez a melhor alternativa para todos seja cada um “perder” um pouco de algo para todos “ganharem”. As técnicas relativas à Teoria dos Jogos ajudam a entender os resultados nestes tipos de sistemas complexos. 

Crowdsourcing

 O termo lançado por Jeff Howe e Mark Robinson (Wired Magazine, Junho de 2006) se refere a uma chamada aberta para realizar uma função que deveria ser feita internamente. A ideia é que o público possa participar com opiniões, sugestões e mesmo com a escolha de melhores alternativas. Por exemplo, os responsáveis pelo salgadinho Doritos fizeram um concurso para receber sugestões de propagandas. Reuniram as melhores ideias e fizeram a peça publicitária que foi ao aro no Super Bowl americano. A empresa GoldCorp Challenge distribuiu para geólogos dados geológicos para que examinassem e dessem pareceres. A reunião das informações ajudou a empresa a resolver um problema específico. 

As etapas do Crowdsourcing são:

1.      Postar um problema no meio público;

2.      Receber sugestões de soluções vindas de diversos indivíduos;

3.      Recompensar algumas ideias;

4.      Utilizar as ideias para benefício da empresa.

É diferente de Open Innovation, que é feito de forma mais organizada e entre empresas.

Memes

 O termo cunhado em 1976 por Richard Dawkins no seu bestseller "O Gene Egoísta" é hoje utilizado amplamente nas redes sociais. Ele se refere à distribuição e replicação de informações pelas redes e são também considerados elementos chave no marketing viral (que passa de boca-a-boca).

Para Dawkins, o meme é para a memória o análogo do gene na genética. É uma unidade de informação que se multiplica de cérebro em cérebro, ou entre locais onde a informação é armazenada (como livros.

O meme é o meio como a Sabedoria das Massas se difunde (e pode auto-propagar-se), contagiando outras pessoas. Podem ser ideias ou partes de ideias, línguas, sons, desenhos, capacidades, valores estéticos e morais, ou qualquer outra coisa que possa ser aprendida facilmente e transmitida enquanto unidade autônoma. A Memética é a área que estuda os modelos evolutivos da transferência de memes.

Alstott e parceiros (2013) publicaram um artigo onde investigam a velocidade das mobilizações feitas por redes sociais, chegando a conclusões sobre o que influencia (país de origem, sexo de quem posta e de quem recebe, idade, etc.).

Os fenômenos conhecidos como Flash MOB e as manifestações populares pelo mundo todo no ano de 2013 são organizados através da Internet, pela difusão viral, de uma pessoa para outra. As facilidades das redes sociais para encontrar amigos antigos, criar novos relacionamentos virtuais e disseminar informação aceleram as mobilizações.

"O que muda atualmente é que os cidadãos têm um instrumento próprio de informação, auto-organização e automobilização que não existia. Antes, se estavam descontentes, a única coisa que podiam fazer era ir diretamente para uma manifestação de massa organizada por partidos e sindicatos, que logo negociavam em nome das pessoas. Mas, agora, a capacidade de auto-organização é espontânea. Isso é novo e isso são as redes sociais. E o virtual sempre acaba no espaço público. Essa é a novidade. Sem depender das organizações, a sociedade tem a capacidade de se organizar, debater e intervir no espaço público." (Manuel Castells)

Há o lado bom disto tudo, mas tais ferramentas também podem acelerar erros como a difamação e o julgamento precipitado de pessoas. 

Query mining e outras aplicações

 A Sabedoria das Massas também está presente na análise de consultas feitas em mecanismos de busca (query mining). Ela ajuda a identificar as palavras mais usadas em conjunto, para sugerir expansões de consulta (reformular consultas acrescentando outras palavras, para dar maior precisão). Spink et al. (2001) analisaram estatisticamente diversas consultas feitas em mecanismos de busca e chegaram às seguintes conclusões:

–        o número médio de consultas por sessão é de 4,86;

–        usuários utilizam de 2 a 3 termos na consulta (média de termos por consulta = 2,7);

–        52% das consultas em mecanismos de busca são reformuladas;

–        32,5% das consultas modificadas sofreram alterações nos termos submetidos, mas não no número total de termos;

–        41,6% das consultas modificadas incluíram termos novos;

–        25,9% das consultas modificadas excluíram termos.

Facebook, Twitter, Yahoo e Google também utilizam análises estatísticas sobre consultas, links mais clicados, postagens mais difundidas, etc. Isto permite fazer melhores recomendações, melhorar o ranking de resultados a consultas, sugerir termos, etc. O Yahoo analisa os links mais clicados para descobrir consultas semelhantes, encontrar definições de conceitos, identificar sinônimos e tags (descritores de páginas) e até mesmo para analisar a Economia de um país. Há vários trabalhos de Baeza-Yates descrevendo tais estudos.

As sugestões de correções ortográficas do Google também usam princípios semelhantes. E mesmo nós, se estamos em dúvida sobre duas formas de escrita de uma palavra, consideramos como certa aquela que é usada por mais pessoas (basta colocar as formas divergentes como busca no Google e verificar quantas páginas há com cada palavra). Até para nomes próprios isto funciona. Há também tradutores automáticos baseados em estatística e não em análise linguística. Eles comparam textos originais com traduções feitas por pessoas e utilizam como traduções para um trecho de frase original, os trechos que mais aparecem nas traduções.

O Google Scribe é capaz de escrever um texto sozinho, somente pela análise estatística da sequência de palavras. Usando redes de Markov, o Google mapeou a probabilidade de palavras seguirem outras. Assim, se você iniciar uma frase em inglês com uma palavra, ele sugere por probabilidade qual a próxima a ser usada. É também o mesmo procedimento na escrita de celulares e o que ajuda o físico Stephen Hawking a montar suas frases rapidamente, já que não pode digitar nem falar.

Os filtros de spam também usam a Sabedoria das Massas para identificar o que é spam. Por isto é importante o botão "reportar spam" nos serviços de Webmail.

Prever futuro ou Entender presente

 Estudos sobre Sabedoria das Massas ou Multidões (Wisdom of Crowds) também possuem tal pretensão. Observando-se o que a maioria das pessoas está fazendo, seria possível prever resultados ou entender o que está acontecendo. Por exemplo, o Google Trends é usado para monitorar epidemias nos EUA. Quando há muitas pesquisas no Google, vindas de uma mesma região, por palavras-chave relacionadas a uma determinada doença, isto significa que o número de casos desta doença está aumentando nesta região. Há um experimento do Google (http://www.google.org/flutrends/br/#BR) para monitorar casos de gripe. O artigo de Dugas et al. também trata do mesmo assunto.

A análise de redes sociais virou uma maneira fácil de observar as multidões. Um artigo de 2011 (Bollen et al.), conseguiu provar a correlação entre o tipo de humor nas postagens do twitter e o índice Dow Jones da bolsa de valores americana. Outros artigos provaram ser possível prever receitas de filmes, aumento no número de turismo e mesmo prever eventos futuros analisando postagens ou buscas (Asur et al. 2010; Mishne, 2006; Radinsky & Horvitz, 2013; Choi & Varian, 2012).

A grande aplicação da Sabedoria das Massas ou Inteligência Coletiva é que os indivíduos conseguem repetir o que já foi feito de bom pela coletividade e evitam o que foi feito de errado. E isto pressupõe que as próximas decisões serão melhores.

Dúvidas sobre a Sabedoria das Massas

 Um conjunto de crianças saberia responder perguntas tão bem quanto um adulto sozinho ? Nem é necessário fazer experimentos para saber que isto não funciona. Por outro lado, a Sabedoria das Massas conseguiriam o mesmo resultado que especialistas reunidos (como no Método Delphi) ? Dizem que os especialistas tendem a excluir certos conhecimentos e por isto podem levar a discussão (e consequentemente os resultados) para uma alternativa condicionada ou influenciada; o tal do viés (bias em inglês). Experimentos têm demonstrado que grupos de pessoas com habilidades variadas são melhores para resolver problemas do que grupos com somente especialistas de uma área. E aí é que talvez pessoas não especialistas possam levar o processo de investigação ou decisão para caminhos ainda não pensados e gerar uma solução nova e criativa. Dizem que a estratégia do jovem campeão mundial de xadrez Magnus Carlsen é justamente utilizar jogadas não previstas pelo seu adversário. Em geral, os jogadores de xadrez estudam vários jogos e aprendem as diferentes jogadas. Isto faz com que possam calcular melhor o que pode acontecer (20 jogadas à frente, por exemplo), depois que uma peça é movida. A estratégia do jovem norueguês é usar jogadas que não se encaixam nesta Sabedoria das Massas e desconcertar o oponente (que não saberá prever o que o jovem irá fazer em seguida).

Sabedoria das Massas também não é consenso. Nelson Rodrigues dizia que “o consenso é burro”. Se todos pensarem igual, não teremos muitos avanços científicos. A dialética era uma técnica importante para a evolução filosófica dos gregos antigos. Steven Johnson constatou que é preciso haver colisão de ideias para que inovações aconteçam. Cada pessoa só possui uma parte da ideia completa. Por isto, salas de cafés e comunicações por tecnologias de redes podem acelerar o encontro das partes para formar uma ideia melhor, mais completa.

A troca de informações pode acelerar o que a Sabedoria das Massas já proporciona. Ela aumenta o conhecimento individual e consequentemente o conhecimento coletivo (pela colaboração ou cooperação). Decisões coletivas devem gerar resultados melhores que decisões individuais. Por exemplo, foi feito um experimento com diversos grupos de pesquisa para "quebra' de uma chave criptográfica. Cada grupo separado só conseguia descobrir até X bits e a quebra de 1 bit adicional começou a demorar muito. Depois que os grupos puderam trocar informações, a quebra de 1 bit adicional ficou mais rápida e conseguiram chegar ao resultado final.

“A voz do povo é a voz de Deus” ? Será ? Há diversas teorias sobre Democracia, defendendo o que funciona e o que não funciona. Alguns falam na Sabedorias das Elites, ou seja, que alguns grupos com poder maior poderiam favorecer seus interesses, influenciando as massas. Além disto, alguns autores apontam que decisões em grupo tendem a deixar as pessoas mais extremistas em seus pontos de vista.

E há quem fale na Tolice das Massas ((Foolishness of Crowds; Folly of Crowds), para explicar fenômenos como a caça às bruxas na Idade Média e a ascensão de Hitler. Em 1841, Charles Mackay escreveu um livro sobre o assunto: "Extraordinary Popular Delusions and the Madness of Crowds". Nestes casos, pode nem haver manipulação de um Big Brother que centraliza as decisões ou tudo vê.

O famoso experimento com macacos representa bem o comportamento que humanos também podem ter, condicionados pelo meio e pelas multidões. Um grupo de 5 macacos foi enclausurado numa jaula. Num lugar alto, colocavam comida. Quando algum macaco tentava pegar a comida, todos levavam choque. Depois de um tempo, os macacos aprenderam que não deviam tentar subir para pegar comida, mesmo estando com fome. Quando um tentava pegar comida, os outros batiam neste mesmo sem levar choque. Aí trocaram um macaco. O novo não sabia da história e tentava pegar comida. Nisto, os "antigos" macacos batiam nele (mas o choque não era dado). Mais um foi trocado e o mesmo acontecia. Depois de um tempo, todos os 5 macacos originais haviam sido trocados. Os 5 restantes seguiam a mesma regra, de bater em quem tentava pegar comida, mesmo nunca tendo recebido o choque. E faziam sem saber por quê.

Irving Janis (1972) discute a pressão do grupo sobre o indivíduo, através da sua teoria conhecida como "Groupthinking".  A pressão para um grupo chegar rapidamente a uma decisão de consenso é tamanha que inibe indivíduos de se manifestarem com dúvidas ou opiniões contrárias. Então o indivíduo acaba concordando para evitar conflitos ou mesmo para não ser considerado ridículo. Isto faz com que grupos tomem decisões precipitadas ou irracionais, sem que haja uma avaliação mais profunda da situação. A moda e o bullying na escola são expressões deste tipo de comportamento.

As loucuras que acontecem nos mercados econômicos e nas bolsas de valores também são resultados dos comportamentos complexos das multidões. Muitas vezes não há uma explicação lógica para a correria de venda ou compra nos mercados. Simples boatos podem se difundir rapidamente e levantar medo na população, gerando comportamentos ilógicos de indivíduos e levando as massas para direções inesperadas.

Carolina Bezerra fala do fenômeno conhecido como "lock-in", que explica o aprisionamento a uma tecnologia devido à sua maior difusão (uso pela maioria) apesar de existir algo melhor. Foi assim com o teclado tipo QWERTY, foi assim que a tecnologia VHS suplantou Betamax e razão também porque o Google comprou o Youtube mesmo tendo o Google Vídeos.

Bibliografia

ALSTOTT, Jeff; MADNICK, Stuart; VELU, Chander. Predictors of Social Mobilization Speed, 2013. http://arxiv.org/ftp/arxiv/papers/1303/1303.3805.pdf

ASUR, Sitaram; HUBERMAN, Bernardo A. Predicting the Future with Social Media.

Proceedings WI-IAT '10 IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology - v.1, 2010, p. 492-499.

BAEZA-YATES, Ricardo, BENAVIDES, Liliana Calderón; CARO, Cristina González. The Intention Behind Web Queries. Em: CRESTANI, Fabio; FERRAGINA, Paolo; SANDERSON, Mark (ed.). String Processing and Information Retrieval In String Processing and Information Retrieval, Vol. 4209, 2006, p. 98-109.

BAEZA-YATES, Ricardo. Improving Search using The Wisdom of Crowds.

http://intranet.dei.polimi.it/ictinstitute/slides/Baeza-Yates-Improved-Search-by-WC.pdf

BAEZA-YATES, Ricardo. Applications of Web Query Mining. Em Advances in Information Retrieval, Lecture Notes in Computer Science Volume 3408, 2005, p 7-22.

BAEZA-YATES, Ricardo. Web usage mining in search engines. Em CIME, Anthony (ed.). Web Mining: Applications and Techniques. Idea Group Inc (IGI), 2005, p.307-321.

BAEZA-YATES, Ricardo. Graphs from Search Engine Queries. Em SOFSEM 2007: Theory and Practice of Computer Science, Lecture Notes in Computer Science Volume 4362, 2007, p 1-8.

BEZERRA, Carolina Marchiori. Inovações tecnológicas e a complexidade do sistema econômico. São Paulo: Cultura Acadêmica, 2010.

BOLLEN, Johan; MAO, Huina; ZENG, Xiao-Jun. Twitter mood predicts the stock market. Journal of Computational Science, 2(1), March 2011, 1-8.

BONABEAU, E.; THRAULAZ, G.; DORIGO, M. Swarm Intelligence: From Natural to Artificial Systems . Oxford Univ Press, 1999.

CAMAZINE, S.; DENEUBOURG, J.-L.; FRANKS, N. R.; SNEYD, J.; THERAULAZ, G.; BONABEAU, E. Self-Organization in Biological Systems . Princeton, 2003.

CHOI, H.; VARIAN, H. Predicting the Present with Google Trends. Economic Record, special issue selected Papers from the 40th Australian Conference of Economists, v. 88, n.1, p.2–9, June 2012.

CROSSAN, John Dominic. O Jesus histórico: a vida de um camponês judeu no mediterrâneo. Rio: Imago, 1994 (traduzido do original inglês The Historical Jesus: the life of a Mediterranean Jew peasant, 1991).

DAWKINS, Richard. O Gene Egoísta.Companhia das Letras, 2007.

DUGAS, A. F. et al. Influenza Forecasting with Google Flu Trends. PLoS One, 8(2), 2013. http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3572967/

GILES, Jim. Internet encyclopaedias go head to head. Nature 438, December 2005, p.900-901.

GORR, Wilpen L. et al. Forecasting Crime. 1999.

HANDL, J.; MEYER, B. Ant-based and swarm-based clustering. Swarm Intelligence, v.1, n.1, 2007, p.95-113.

JANIS, Irving L. Victims of Groupthink. Boston: Houghton Mifflin Company, 1972.

JOHNSON, Steven. Where good ideas come from - the natural history of innovation. New York: Riverhead Books, 2010.

LÉVY, Pierre. A inteligência coletiva: por uma antropologia do ciberespaço. São Paulo: ed. Loyola. 1998.

MALTZ, Michael D.; KLOSAK-MULLANY, Jacqueline. Visualizing Lives: New Pathways for Analyzing Life Course Trajectories. Journal of Quantitative Criminology, v.16, n.2, June 2000, p.255-281.

MILLER, Peter. Teoria dos enxames. National Geographic Brasil, v.7, n.88, Julho, 2007, p.36-57.

MISHNE, Gilad. Predicting movie sales from blogger sentiment. In AAAI Spring Symposium on Computational Approaches to Analysing Weblogs (AAAI-CAAW) 2006.

MOURA, Leonel; PEREIRA, Henrique Garcia. Aprendendo com a stigmergia, a auto-organização e as redes de cooperação. CHALLENGES 2003 - III Conferência Internacional sobre Tecnologias de Informação e Comunicação na Educação. Centro de Competência Nónio Séc. XXI da Universidade do Minho. 2003.

O'REILLY, Tim. What is Web 2.0 - Design Patterns and Business Models for the Next Generation of Software. 2005. http://oreilly.com/web2/archive/what-is-web-20.html

RADINSKY, Kira; HORVITZ, Eric. Mining the web to predict future events. Proceedings WSDM '13 Proceedings of the sixth ACM international conference on Web search and data mining, 2013, p. 255-264.

SIMON, Herbert A. "Theories of Bounded Rationality". In McGUIRE, C.B. & RADNER, R. (ed.). Decision and Organization. Amsterdam: North-Holland Publishing Company, 1972.

SPINK, Amanda; WOLFRAM, Dietmar; JANSEN, Major B. J.; SARACEVIC, Tefko. Searching the web: The public and their queries. Journal of the American Society for Information Science and Technology, v. 52, n.3, 2001, p. 226–234.

SUROWIECKI, James. The wisdom of crowds: why the many are smarter than the few and how collective wisdom shapes business, economies, societies and nations. Little, Brown. 2004.

Inovar por necessidade ou por desejo

O ser humano começou criando coisas por necessidade. Foi assim que evoluiu a roda, as ferramentas, agricultura, caça, armas, etc. Mas os desenhos nas rochas não eram de primeira necessidade. Os gregos criaram a literatura e o teatro para passar o tempo, pois não trabalhavam (apenas escravos trabalhavam para produzi o sustento da sociedade). Fizemos porque queríamos, porque acreditavam nossos antepassados que aquilo era importante de alguma forma.  

A 1a Fase da Era da Informação (ou Era do Conhecimento) acelerou o desenvolvimento da tecnologia da informação e as conexões em redes globais, gerando grande aumento de produtividade. Hoje, estamos vivendo a 2a fase desta Era, caracterizada por inovações que visem o bem-estar das pessoas.

Steve Jobs corrobora afirmando que a era da produtividade começou em torno de 1980, com a invenção da planilha, do processamento de textos e da editoração eletrônica. Em meados dos anos 1990, começou a era da Internet. Hoje, estamos vivendo uma nova era: a do estilo de vida digital, impulsionada pela explosão de dispositivos digitais para bem estar pessoal, como telefones celulares, DVD players e câmeras digitais. Foi assim que a Apple reinventou a forma como ouvimos música, vemos vídeos e nos comunicamos com amigos.

Himanen acredita que a o foco agora são assuntos sociais. As inovações deslocam-se das tecnologias que visem produtividade para inovações em cultura (música, televisão, cinema, jogos, literatura, aprendizagem) e biotecnologia (medicina, longevidade).

O bem-estar pode ser conseguido por invenções que satisfaçam necessidades ou que alimentem o desejo. Uma das coisas que nos distingue de outros animais é que criamos coisas pela simples vontade de criar, porque temos como instinto impulsos criadores e não precisamos fazer as coisas por necessidade.

A conquista do Oeste Americano e a descoberta do Novo Mundo por espanhóis e portugueses foi por necessidade ou por desejo ? Talvez a necessidade de expansão tenha sido um fator motivador, mas certamente acima disto havia o desejo. E o desejo geralmente é individual. Charles Darwin não pesquisou a evolução das espécies porque a Sociedade precisava disto ou porque foi "mandado" pelo Estado. Ele foi impelido por desejo próprio, seja qual for a recompensa que vislumbrasse.

Adam Smith acreditava que o egoísmo das pessoas faria um mundo melhor. Ele procurou demonstrar que a riqueza das nações resultava da atuação de indivíduos que, movidos também (mas não exclusivamente) pelo seu próprio interesse, promoviam o crescimento econômico e a inovação tecnológica. "Assim, o mercador ou comerciante, movido apenas pelo seu próprio interesse egoísta (self-interest), é levado por uma mão invisível a promover algo que nunca fez parte do interesse dele: o bem-estar da sociedade." O empresário procura lucro mas gera como consequência ganhos para a Sociedade.

Schumpeter dizia, na metade do século passado, que tal fenômeno (conhecido como Processo de Destruição Criativa) era o motor do capitalismo. "As inovações revolucionam a estrutura econômica a partir de dentro, incessantemente destruindo a velha, incessantemente criando uma nova."

Uma das fontes de inovação é a aspiração de tornar tudo obsoleto mais rápido possível. Este é o lema da Microsoft. Mas a ideia não veio deles. Os americanos há muito tempo atrás definiram que a única forma de a economia do país crescer era através do consumo. E para estimular o consumo, é preciso marketing (incluindo propaganda mas não só isto) e tornar os produtos obsoletos rapidamente. Este foi o pensamento que fez os EUA se reerguerem rapidamente após o crash da bolsa em 1929. O próprio governo consome para estimular ou regular mercados (em todos os países).

Há dois tipos de obsolescências, a planejada e a percebida.

A Obsolescência Planejada ocorre quando as empresas planejam tornar os produtos inúteis depois de um tempo. Isto acontece porque o novo não é compatível com o velho. Acabamos ficando com produtos cujo único destino é o lixo, porque não funcionam mais com os novos padrões. Em casa, tenho vários aparelhos celulares velhos e seus carregadores de bateria. Os aparelhos são de tecnologias que não se usam mais para comunicação (por nenhuma operadora) e os carregadores antigos não podem mais ser usados com os aparelhos novos.

A Obsolescência Percebida acontece quando as próprias pessoas se estimulam a fazer a mudança do velho pelo novo, observando o comportamento das demais pessoas. É o caso da moda. Tempos atrás escrevi um post no meu blog discutindo a necessidade (se é que existe) de estarmos sempre atualizados com a última geração de tecnologia.

O grande representante da inovação por desejo foi Steve Jobs. Ele criou gadgets que as pessoas não precisavam ... até conhecerem tais engenhocas. Há uma piada que diz que "a Informática surgiu para resolver problemas que não existiam antes dela".

Que impulso é este que nos leva a querer sempre o novo ? Por que somos impelidos a querer um controle remoto para não precisar levantar do sofá e estamos dispostos a trabalhar mais para ter isto ? Por que não podemos viver no passado ? Por que não admitimos voltar ao tempo das cavernas ?

De vez em quando, o impulso do novo, das mudanças, é equilibrado por desejos retrôs (vintage, para usar o termo da moda). Mas o velho volta remodelado, refeito, reinventado. Revisitamos o passado, para fazer melhor, para recriá-lo. Se não podemos refazer a história, então faremos um futuro como queremos (e melhor ?).

Lamark acreditava que os seres vivos evoluíam pela teoria do uso-desuso. Órgãos que são muito usados, desenvolvem-se e se tornam melhores. Se um órgão não é utilizado, ele atrofia até desaparecer. E isto seria passado de geração a geração. Tal teoria veio abaixo com as descobertas de Gregor Mendel e a teoria evolucionismo de Charles Darwin, segundo a qual há um processo de seleção natural que inclusive gera novas espécies. As que melhor se adaptam seguem o rumo. As girafas nasceriam com pescoços curtos ou longos por acaso (variações genéticas). Mas somente as com pescoço longo sobreviveriam por conseguir alcançar comida em lugares altos, passando assim seus genes para as próximas gerações. As de pescoço curto morreriam antes de procriar.

Basalla e Ziman adaptam estas teorias biológicas para o mundo da tecnologia. Eles acreditam que as tecnologias evoluem como as espécies biológicas, por acaso, seleção natural, adaptação, mutação, etc. Há inovações incrementais, pequenas e superficiais, que vão se desenvolvendo aos poucos ao longo do tempo. Foi assim com a roda, bicicleta, automóvel, computadores, etc. Mas também conseguimos criar coisas inteiramente novas (inovações radicais ou de ruptura), como se fossem novas espécies de tecnologias. 

Mas isto já é assunto para outro post.

Referências:

BASALLA, George. The Evolution of Technology. Cambridge: Cambridge University Press, 1988.

DARWIN, Charles. On the Origin of Species. 1859.

HIMANEN, Pekka. Desafios Globais da Sociedade de Informação. Em: CASTELLS, Manuel; CARDOSO, Gustavo (org.). A Sociedade em Rede - do Conhecimento à acção política. Conferência promovida pelo Presidente da República, Centro Cultural de Belém, Março de 2005.

KAHNEY, Leander. A cabeça de Steve Jobs - as lições do líder da empresa mais revolucionária do mundo. Rio de Janeiro: Agir, 2008.

SCHUMPETER, Joseph A. Capitalismo, Socialismo e Democracia. Rio de Janeiro: Editora Fundo de Cultura, 1961. (Editado por George Allen e Unwin Ltd., traduzido por Ruy Jungmann). Tradução do original inglês Capitalism, Socialism, and Democracy.

SMITH, Adam. Uma Investigação sobre a Natureza e as Causas da Riqueza das Nações (A Riqueza das Nações). 1776.

ZIMAN, John (editor). Technological Innovation as an Evolutionary Process. Cambridge University Press, 2003.

Correlação entre variáveis e eventos

A correlação é uma técnica estatística que avalia a similaridade entre 2 vetores de números, 2 gráficos ou 2 séries. O coeficiente de Pearson é um dos métodos mais utilizados. Quanto mais próximos os números na ordem, maior o grau de correlação entre os vetores.

Se os vetores ou séries ou gráficos representam variáveis ou eventos, então podemos dizer que há uma correlação entre eles.

Para uma empresa é importante avaliar a correlação entre suas ações e os resultados. Por exemplo, uma empresa descobriu que um aumento de 5 pontos na atitude comportamental dos empregados implicava em 1,3 ponto de incremento na satisfação dos clientes, e isto fazia aumentar em 0,5% o faturamento da empresa.

Tal descoberta permite à empresa avaliar onde investir e o quanto. Neste exemplo, se ela quiser aumentar 1% das vendas talvez tenha que aumentar 10 pontos na atitude dos colaboradores.

O perigo da análise de correção é supor causas erradas para eventos. Por exemplo, anos atrás os americanos achavam que o sorvete era causador da pólio, porque os gráficos eram muito semelhantes; as vendas de sorvete e os casos de pólio cresciam no verão.

As duas variáveis tinham uma correlação estatística, mas uma não era causa ou efeito de outra. Descobrir correlação é fácil; há métodos matemáticos para isto, inclusive nas planilhas eletrônicas. Há três dificuldades além disto:

1.      Investigar as possíveis causas (eventos ou variáveis que podem estar relacionadas);

2.      Coletar dados para a posterior análise estatística;

3.      Descobrir a relação causa-efeito, ou seja, quem impacta em quem.

Por exemplo, uma empresa não sabia mais como lidar com quebras em suas máquinas. Já havia investigado tudo: fornecedores, tempo de uso, qualidade dos operadores, qualidade das peças que substituíam outras, temperatura durante o uso, as variações de temperatura (uso X descanso) e até mesmo a temperatura ambiente. E nada de encontrar um padrão. Aí alguém suspeitou que a trepidação das máquinas era diferente. Colocaram sensores para medir o quanto cada máquina trepidava. Descobriram que as medidas eram diferentes mas não havia um padrão. Não encontram um motivo para haver diferenças nas trepidações, analisando as variáveis já descritas antes. Aí, outro alguém suspeitou que a diferença nas trepidações poderia estar no tipo de piso usado na empresa. Nada. Eram todos iguais. Aí outro alguém, analisando onde ficavam as máquinas que mais davam problemas, descobriu que o andar onde estava é que fazia a diferença. Máquinas em andares mais altos tinham histórico maior de falhas e quebras.

Outro erro clássico. Uma empresa de refrigerantes buscava uma fórmula matemática para poder prever vendas. É importante prever vendas neste caso para não produzir a mais que a demanda (e ficar com produtos encalhados, perdendo validade ou mal armazenados) e também não se deve produzir a menos, senão os clientes irão comprar do concorrente. Então analisaram as vendas de anos anteriores e chegaram a uma fórmula (representada pelo gráfico abaixo), a qual relacionava a quantidade vendida em função do dia do ano, através de valores médios.

É claro que esta função não "funcionava". A venda não é só influenciada pelo dia do ano. Depende se o dia cai durante a semana ou num fim de semana ou feriado. Depende da temperatura no local. Depende de outros tantos fatores (se o concorrente fez alguma promoção, se tem um evento grande na cidade, etc.).

Investigar causas é como investigar um crime. Sherlock Holmes tinha seu método. Alguns diziam que era dedutivo, mas eu não concordo: o método dele era abdutivo.

Segundo Charles Sanders Peirce (1975): “a abdução é o processo para formar hipóteses explicativas. A dedução prova algo que deve ser, a indução mostra algo que atualmente é operatório, já a abdução faz uma mera sugestão de algo que pode ser.  Para apreender ou compreender os fenômenos, só a abdução pode funcionar como método. O raciocínio abdutivo são as hipóteses que formulamos antes da confirmação (ou negação) do caso”. 

A Dedução funciona assim:

Tendo a regra A ==> B (A implica em B), se A é verdadeiro, então deduzimos B.

A Indução por sua vez é assim:

Tendo várias instâncias de A e B, induzimos a regra A ==> B (se A, então B)

Já a Abdução é assim:

Tendo a regra A ==> B (se A, então B), Se B é um fato comprovado, podemos abduzir (como hipótese) que A é verdadeiro e sua causa.

Mas somente testes posteriores podem comprovar.

Correlação assíncrona

Podemos ver na figura abaixo que os gráficos em cor preta e vermelha são muito parecidos. Provavelmente, se usarmos a técnica de correlação iremos verificar um alto grau entre estas duas variáveis.

Agora veja a figura abaixo. Há correlação entre estes 2 gráficos ? Talvez sim, se posicionarmos eles de forma diferente, fazendo coincidir os picos. Outra possibilidade é que pode haver correlação de causa-efeito. O efeito não é imediato. Steven D. Levitt  (Freakonomics) sugere haver uma relação entre a redução de crimes verificada no Natal de 1989 nos EUA e a legalização do aborto naquele país 20 anos antes.

Para chegar a uma conclusão destas (causa-efeito) é preciso:

a) avaliar a correlação, mesmo que em épocas diferentes,

b) avaliar as possíveis causas segundo o bom-senso e o conhecimento especialista, e

c) retirar as causas improváveis.

O método de Sherlock Holmes funcionava assim. Deixo um desafio: o sanduíche Big Mac é o que mais vende na rede McDonald´s. E também o que fica pronto mais rápido (ou já está pronto, pela expectativa de vendas). Agora pergunto: ele fica pronto primeiro porque vende mais ou vende mais porque fica pronto primeiro ?

Se o McDonald´s quisesse vender mais o McFish, bastaria deixar ele pronto primeiro ? Por quantos dias deveriam fazer isto até que os clientes entendessem que este fica pronto antes que os outros ?

A velha história do ovo e da galinha.