BI como um ato de criação

O que BI tem a ver com criatividade ?

Estou aqui considerando que BI é um processo que procura por causas (de problemas ou boas práticas). Por exemplo, não basta saber qual o produto mais vendido, queremos saber por que ele é o mais vendido, para replicar as boas práticas para outros produtos. Não basta saber que uma loja não vende tão bem quantas as outras, queremos saber por que para eliminar ou minimizar as causas do fracasso.

Hoje em dia, BI é muito confundido com apresentar informações em dashboards. Mas para que as decisões sejam apoiadas adequadamente, precisamos saber que informações devem ser apresentadas nos dashboards. E muitas vezes este é um processo feito em parceria entre o Analista de BI e o usuário/cliente (aquele que toma a decisão e precisa de informações).

O processo de BI é, de certa forma, semelhante a um músico procurando uma nota que faça a conexão entre 2 partes de uma música, um investigador policial procurando o autor de um crime, um mecânico investigando a causa de um defeito em uma máquina, um pintor procurando um meio de expressar suas ideias mentais e surpreender aqueles que olham sua obra.

Mas para que o momento Eureka ocorra, algumas coisas devem acontecer antes. O insight da solução não vem por acaso, como Koestler e Johnson descrevem em tantos exemplos nos seus livros. (Koestler: "a sorte favorece a mente preparada"; Johnson: "a sorte favorece a mente conectada").

Arquimedes só viu a solução porque tinha estudado ardentemente o problema que lhe havia sido imposto, porque estava estudando outros temas e conseguiu conectá-los.

Segundo Koestler e Johnson, 2 elementos principais são necessários (entre outros):

a) Maturação de ideias

Koestler fala em ripeness. Steven Johnson fala em palpite lento (slow hunch).

Isto significa muito estudo. Coletar muitas informações, propor teorias (hipóteses), testar a teoria com exemplos reais e refazer o processo muitas vezes. Tim Berners-Lee maturou a ideia da WWW por mais de 10 anos. E perseverou. Christianson (2012) inclusive apresenta uma cópia do manuscrito original, onde o orientador de Tim escreve a mão: "vago mas excitante ...".

b) Junção de contextos diferentes

Koestler fala em bissociação de matrizes (bisociation of matrices); Johnson, em colisão de ideias (collision of hunches).

Koestler descreve como passar repentinamente de um plano (assunto) para outro (como Arquimedes), conectando as partes e gerando uma solução nova. Johnson diz que é preciso completar nossas teorias com as ideias de outros.

É preciso também ter conhecimentos generalizados, além dos especializados. Darwin foi influenciado pelo trabalho do economista Thomas Malthus sobre o crescimento da população, a falta de alimento e a possível morte de pessoas por causa desta disparidade. E Darwin iniciou sua jornada de estudos investigando pedras (na área de geologia). Steve Jobs revolucionou as interfaces homem-computador, criando telas encantadoras. Boa parte deste sucesso se deve a seus estudos de caligrafia, que o ajudaram a criar as fontes de textos.

A seguir, compilei algumas dicas que estou coletando ao longo da minha vida de estudos, experimentos e descobertas.

Dicas

·         Analogias

Para juntar as matrizes ou colidir ideias, muitas vezes podemos reutilizar soluções que deram certo em outra área.

A técnica de benchmarking significa olhar e aprender com outras empresas. A solução de um programa de computador que não "roda" pode vir de uma ideia de um brinquedo que não funciona.

Talvez, seja necessário alguma adaptação na solução, pois ela provou funcionar em outra área. Por isto, um esquema visual é importante, pois podemos visualizar problemas e soluções. Se compararmos dois casos com informações diferentes, talvez o padrão visual seja o mesmo. Mapas mentais, anagramas, grafos podem ajudar (adiante veremos um caso com mapas mentais).

E também é preciso ter informações e conhecimentos diversos. A causa para o custo elevado de um produto pode estar na raiz da cadeia de suprimentos. A leitura de textos como o de Schumpeter (1908) sobre o valor social das coisas e a formação de preços pode ajudar ainda hoje, apesar da sua data de publicação. O vídeo de Annie Leonard (2007), "A História das Coisas", sobre produção, consumo e sustentabilidade é mais que atual e trata do mesmo assunto.

Por isto é tão importante conhecer vários assuntos e não ser um "especialista burro".

·         "Reframe", repensar o problema

Eu gosto do termo "reframe" associado a criatividade e solução de problemas. Repensar o problema com outros esquemas, elementos, dados, contextos, regras, pode ser a solução. Talvez o momento Eureka dependa de vermos o problema com outros olhos, sem mesmo precisar mudar as informações ou o contexto. Basta "pensar diferente".

Não se pode simplesmente ficar em cima de um problema usando os mesmos paradigmas; o resultado será sempre o mesmo. Repensar tem que ser "reformular". Por isto que quando temos um problema devemos sair do ambiente, fazer outra coisa (ex. Arquimedes). Muitas vezes fazemos isto e quando voltamos "enxergamos" a solução de primeira e pensamos: "por que não vi isto antes ?"

Para reformular, temos que nos libertar das regras que estamos usando. Einstein, Galileu  e Darwin quebraram paradigmas. Mas para isto, precisaram se libertar das teorias aceitas em suas épocas. Se pensarmos que um problema só tem uma solução possível (ou caminho para a solução), a tendência é tentar colocar os dados num esquema que leve por este caminho. É por isto que muitas soluções aparecem em sonhos, porque quando dormimos a parte do cérebro que dita regras e conexões lógicas está dormindo também. Por isto é que sonhamos coisas estranhas, sem lógica. Mas é também o que permite conectar diferentes matrizes e fazer associações novas (que acordados não fazemos).

Uma sugestão é utilizar esquemas diferentes para representação ou descrição do problema. Podemos usar diagramas (esquemas visuais), textos, imagens em sequência (storytelling), planilhas e até mesmo gravações de áudio (segundo a Neurolinguística, algumas pessoas retém melhor as informações ouvindo, outras vendo, outras tocando, etc.).

Precisamos voltar, tomar direções diferentes, usar dados diferentes, observar detalhes que talvez não fossem considerados tão importantes, refazer as perguntas.

·         Fazer as perguntas certas

O que diferenciou Darwin de outros pesquisadores que acreditavam e estudavam a teoria da evolução foi que conseguiu provar a teoria com o seu porquê e como. Mas para isto, ele precisou fazer as perguntas certas. Neste caso, por que as espécies evoluíam e como (origem das modificações e como passavam entre as gerações).

O começo é sempre com hipóteses. Segundo Darwin, "ninguém pode ser bom observador se não tiver uma teoria antes". É preciso direcionar o foco da observação, porque pode haver muita informação.

Isto não significa apaixonar-se pela teoria e não enxergar outros caminhos. Darwin mesmo tinha algumas teorias iniciais (vindas de Lamarck) que acabou refutando com suas descobertas.

Fazer as perguntas certas significa coletar e armazenar os dados certos, ou seja, já ter algumas hipóteses do que pode ser a causa ou o que pode influenciar. Se a causa para quebras de máquinas é a temperatura ambiente, então temos que coletar estes dados e inseri-los na base de dados para depois poder utilizar as técnicas de análise com ajuda de software. Se esta for a causa e tais dados não estiverem na base, ou não descobriremos nunca a causa ou então estaremos calcados em descobertas enganosas.

Detalhes podem fazer a diferença. O ser humano tem a tendência de analisar o que é comum, mais frequente, o que aparece mais. É assim com a moda. Ninguém dá atenção para um tipo de acessório que só uma pessoa usa. Se vários estiverem usando o mesmo estilo, isto chama a atenção das pessoas comuns. Entretanto, num processo de descoberta ou investigação, os pequenos sinais podem ser muito úteis. Pergunte a um investigador policial. Então, num primeiro momento nada deve ser descartado. Todos os dados possíveis devem ser coletados e analisados. Todos os caminhos devem ser considerados. E várias hipóteses iniciais devem ser construídas.

Descobrir as hipóteses iniciais é um processo de tentativa e erro. Podemos acelerar com analogias e benchmarking. Mas talvez seja necessário fazer o processo de descoberta, analisar padrões ou causas possíveis, gerar hipóteses, testá-las com casos reais e aí refazer tudo de novo.

·         Usar a técnica de análise certa

A figura abaixo apresenta o gráfico de vendas no tempo (linha em vermelho) de um site de comércio eletrônico. A loja física já existia e aí criaram o site para vender pela Web. Depois de algum tempo, os diretores resolveram descontinuar o site de vendas porque a "média" das vendas estava muito baixa. Na figura, a média é representada pela linha reta azul. O erro foi no uso da técnica de média. Se eles tivessem analisado a tendência, veriam que as vendas estavam subindo, inclusive no momento do encerramento, as vendas estavam no topo (nunca antes atingido).

·         Visão Holística

Significa a "Visão do Todo", ver todos os elementos e suas relações. Isto ajuda a entender como o todo (problema) está composto e pode ajudar a direcionar o foco ou mesmo ver detalhes pouco percebidos.

Procure observar as interações, não só estabelecendo as conexões entre os elementos mas entendendo que tipo de conexão existe. X pode estar conectado a Y por ser sua causa, mas pode estar conectado a Z por que são ideias contrárias e pode estar conectado a W por outra razão diferente. Não estabeleça regras de tipos de conexões, não fique preso a paradigmas, tenha mente aberta.

Os gregos só conseguiram entrar em Troia porque estudaram o povo troiano. Se tivessem visto o todo (problema) somente como uma cidade-fortaleza com muros altos, poço de fogo, portão forte e guerreiros, estariam até hoje tentando entrar. A ideia do Cavalo de Troia veio porque eles entenderam que o problema incluía o povo troiano, e este detalhe fez a diferença. Eles descobriram que o povo troiano era supersticioso, muito religioso e acreditavam em presentes dos deuses. Daí veio o insight da solução.

Visão holística também tem a ver com Sinergia (o todo é maior que a mera soma das partes). Se ao analisar a molécula de água (H2O), observássemos os elementos hidrogênio e oxigênio em separado, não saberíamos que o estado natural da água é líquido. Quando os elementos de um todo interagem entre si, formam um sistema complexo que pode levar a resultados imprevisíveis.

Só listar os elementos não é suficiente; temos que entender as relações entre eles.

Análise Multidimensional X Mapas Mentais

Os mapas mentais são muito utilizados pela Gestão do Conhecimento para representar conhecimento (e não informações). Já as estruturas e análises multidimensionais são a base para o BI. Como juntar estes dois paradigmas ?

A figura abaixo apresenta um mapa mental que representa também a visão multidimensional dos dados envolvidos na venda de um produto. Se alguém quiser ver pelo ponto de vista do BI tradicional, conseguirá ver uma tabela fato sobre vendas, tabelas de dimensões (vendedores, loja, propaganda, dados de clima, marca, data e hora) e tabelas secundários formando um esquema tipo floco de neve (snowflake).

Como um mapa mental, podemos ver os fatores que influenciam a venda. Diretamente, temos clima, loja, marca, propaganda, data hora e vendedor. Entretanto, o esquema mostrar que o vendedor é influenciado pela sua motivação e pelo treinamento que recebeu. E o treinamento possui 3 fatores que influenciam.

Desta forma, podemos pensar nas causas para índices de vendas bons ou ruins analisando as causas diretas ou indiretas. O diferencial deste tipo de visualização é poder descobrir uma causa distante. Por exemplo, um baixo índice de vendas pode estar associados a quem ministrou o treinamento (que influencia a qualidade do treinamento, que por sua vez influencia o desempenho do vendedor, que finalmente influencia as vendas). Ou quem sabe o aumento das vendas pode ser devido à atitude dos vendedores, que por sua vez receberam um bom treinamento, e este foi de qualidade porque o ambiente do treinamento foi especial (quando e onde).

Exemplos

Houve o caso de uma empresa que queria entender por que um produto X não vendia numa região do estado (em outras regiões vendia bem). Após algumas análises descobriram:

- não era preço, pois havia produtos da mesma categoria com preços iguais que vendiam bem neste região;

- não era marca, pois produtos da mesma marca vendiam bem nesta região.

Também descobriram que não havia diferencial seja no ambiente das lojas ou nos vendedores, seja nas características sócio-demográficas dos clientes da região.

A causa na verdade tinha a ver com a religião predominante naquela região (os pastores faziam propaganda negativa daquele tipo de produto). Mas o banco de dados não tinha armazenado um campo tipo "religião" associado aos clientes. A causa só foi encontrada porque um colaborador da empresa, ao ouvir uma conversa sobre o problema durante o cafezinho, comentou que nos cultos havia ouvido o pastor falar mal do tal tipo de produto. Este momento Eureka aconteceu porque uma nova informação surgiu ao acaso. Mas também porque a conversa não ficou fechada, restrita a um grupo (foi socializada no cafezinho).

Outro caso foi de um produto Y que ora vendia bem, ora não vendia numa rede de lojas numa cidade. A causa não era sazonabilidade, pois não havia um padrão no tempo ou relativo ao clima. Também não havia um atributo predominante, que diferenciasse os períodos de vendas. Todas as variáveis, como promoções, diferenças de preços e descontos, presença de promotores, estavam presentes em ambos os períodos (vendas no alto X vendas em baixa). A razão estava na combinação com outros produtos. Quando o produto Z era vendido na loja no mesmo período que o produto Y,  as vendas do produto Y cresciam. Se o produto Z não estivesse presente na loja, as vendas do produto Y caíam. E o produto Z nem vendia tanto assim.

Entretanto, notem: os dois produtos Y e Z não apareciam juntos nas vendas, com uma frequência significativa (ou seja, não era o caso de venda cruzada e não podia ser detectado por Data Mining).

A explicação que os analistas encontraram foi que o produto Z chamava a atenção do produto Y (os clientes lembravam do produto Y, ao ver o produto Z). E ambos nem ficavam em prateleiras próximas, mas corredores distantes.

Mas agora, como eles chegaram a tal conclusão ? A estratégia foi analisar o que havia de diferente na loja em ambos os períodos.

Outro caso: uma empresa que fornece infraestrutura de móveis (mesas, cadeiras, louças, copos, toalhas, etc.) para eventos precisava descobrir porque em muitos casos seus materiais voltavam danificados. Observando os dados na base, não conseguiam encontrar um padrão, ou seja, um atributo que fosse comum a todos os casos em que algum material voltou com estrago. Entre as variáveis eles incluíam o tipo e local do evento, distância da empresa, tipo de transporte utilizado e até mesmo condições climáticas durante o período (antes, durante e depois do evento). Sobre o evento, também armazenavam informações como número de convidados, garçons, tamanho da cozinha, número e tamanho de mesas, se havia dança, etc. A causa só foi descoberta depois que utilizaram um software de Data Mining que relacionava variáveis ou eventos. Ou seja, a causa dos estragos não era um fator único, mas uma combinação de, no mínimo, 3 fatores diferentes.  

Um dos casos mais interessantes de descoberta por mineração foi feita por Swanson e Smalheiser (1997). Eles conseguiram encontrar uma possível relação entre 2 textos de assuntos distintos. O texto 1 falava que “...o óleo de peixe é bom para a circulação do sangue...”. O texto 2 dizia que “... a síndrome de Raynaud está associada com a vaso-constrição nas pessoas ...”. A partir da leitura destes 2 textos, eles chegaram à hipótese de que “o óleo de peixe poderia ajudar no tratamento da síndrome de Raynaud”. Então partiram para experimentos práticos e os resultados comprovaram a hipótese.

Este problema pode ser esquematizado utilizando-se um mapa mental (ou grafo). Considerando os seguintes conceitos e suas relações:

·         Síndrome de Raynaud è vaso-constrição

·         Óleo de peixe è boa circulação

·         vaso-constrição ó boa circulação

Os conceitos e suas relações apareciam em muitos textos da área médica. Entretanto, nenhum texto tratava dos conceitos "Síndrome de Raynaud" e "óleo de peixe" juntos. Usando técnicas de text mining (análise inteligente de textos), surgiu a relação entre estes dois conceitos, justamente porque apareciam com alta frequência numa coleção de textos sobre problemas de circulação sanguínea.

Este é um ótimo exemplo de como fazer as perguntas certas ajuda a encontrar as respostas certas. No caso, os referidos autores perguntaram qual a relação entre dois conceitos, que eles ainda não haviam notado em nenhum texto.

O uso de mapas mentais pode ajudar neste tipo de investigação, para encontrar hipóteses iniciais, necessitando pouco ou talvez nenhum entendimento do domínio (para iniciar; depois sim será necessário um background especializado).

A partir da figura acima, relacionando conceitos, pode-se:

a) sugerir ligações para procurar (ex.: há ligação entre A e D ? de que tipo ?);

b) procurar evidências que liguem os conceitos (ex.: há algum texto falando de A e D juntos ? há alguma caso ? podemos fazer algum experimento que concretize A e D ?);

c) procurar um conceito que ligue outros (ex.: existe um conceito X, tal que A ó X ó D ?).

E fica o desafio: como os índios descobriram que a mandioca não seria venenosa se cozinhada adequadamente ?

Referências

CHRISTIANSON, Scott. 100 diagrams that changed the world: from the earliest cave paintings to the innovation of the ipod. New York: Penguin books, 2012.

JOHNSON, Steven. Where good ideas come from - the natural history of innovation. New York: Riverhead Books, 2010.

KOESTLER, Arthur. The Act of Creation - a study of the conscious and unconscious processes in humor, scientific discovery and art. New York: Arkana (The Penguin Group), 1964.

LEONARD, Annie. The Story of Stuff (A história das coisas). Video produced by Free Range Studios and directed by Louis Fox. 2007.

SCHUMPETER, Joseph. On the Concept of Social Value. Quarterly Journal of Economics, v.23, 1908, p. 213-232.

SWANSON, Don R.; SMALHEISER, N. R. An interactive system for finding

complementary literatures: a stimulus to scientific discovery. Artificial Intelligence, Amsterdam, v.91, n.2, p.183-203, Apr. 1997.