quarta-feira, 20 de abril de 2016

Text Mining (Análise Textual) da Votação do Impeachment na Câmara – Resultados



Aqui vão os resultados da análise textual (text mining) da votação do Impeachment da Presidente Dilma, ocorrida dia 17 de abril de 2016 na Câmara dos Deputados em Brasília.
O texto corresponde às transcrições dos áudios, feitas pelos taquígrafos.

Etapas do processo de Text Mining


- coletar o arquivo pdf com as transcrições de áudio da votação (neste link)
- preparar o arquivo e os textos (extrair texto do pdf, separar os textos por deputado, eliminar palavras muito repetidas e stopwords) (lista de stopwords neste link)
- criação dos conceitos (lista ao final deste post)
- identificação dos conceitos nos textos
- separação em listas (voto sim, voto não, por região, por partido)
- mineração dos textos utilizando o software Text Mining Suite  (download aqui).


Em vez de fazer a análise por palavras, o que pode gerar erros semânticos, fiz a análise por conceitos, conforme proposta nos artigos abaixo:


LOH, S., OLIVEIRA, José Palazzo Moreira de, GAMEIRO, M. A.
Knowledge discovery in texts for constructing decision support systems. Applied Intelligence (Boston). , v.18, p.357 - 366, 2003.

LOH, S., OLIVEIRA, José Palazzo Moreira de, GASTAL, F. L.
Knowledge discovery in textual documentation: qualitative and quantitative analyses. Journal of Documentation. , v.57, p.577 - 590, 2001.


A ideia é analisar os conceitos ou temas ou assuntos citados e não a presença de palavras, pois somente a presença pode confundir a análise. Por exemplo, o tema “família” pode aparecer através de diversas palavras tais como pai, mãe, filho, etc.



Resultados da Análise


Temas/Conceitos mais citados: (número de deputados que citaram o tema)

País ou Brasil: 288
Povo ou eleitor: 213
família ou algum parente: 193
respeito: 141
impeachment: 126
democracia: 123
Dilma: 89
Golpe: 75
Corrupção: 68
Constituição: 66
Deus: 64
Governo: 64
Crime: 53
Eleições: 26
Progresso: 26
Agricultura: 16

Em 189 votos, houve palmas.


Palavras que apareceram somente uma vez (seleção):

Ricos, maçons, gaúcho, gaúcha, jango, pesquisa, inovação, horror, farroupilha, prisão, cristianismo, pronatec, investimentos, fascistas, oportunistas, picareta, picaretas, moderno, covardia, oligarquia, marginais, suicídio, pelegagem, raposas, favores, sistêmica, estrutural, destemido, autoestima, insegurança, retrocesso, independência, universidade, carteira assinada, energia, corintianos, recessão, petróleo, estudantes, revolucionários, cassação, boquinha, mérito, desigualdades, inocente, inocência, promessas, profetizo, futebol, luther king, comunismo, aliança, sacrifício, analfabetos, cultura, empreendedorismo, bandido, suspeito, circo, assalto



Associações entre temas ou assuntos ou conceitos:


60,94%  dos votos que falam em deus também falam em povo-eleitor. Isto aconteceu em 0039 voto(s) (07,63% do total)
59,38%  dos votos que falam em deus também falam em familia. Isto aconteceu em 0038 voto(s) (07,44% do total)
58,49%  dos votos que falam em crime também falam em povo-eleitor. Isto aconteceu em 0031 voto(s) (06,07% do total)
57,58%  dos votos que falam em constituicao também falam em povo-eleitor. Isto aconteceu em 0038 voto(s) (07,44% do total)
55,06%  dos votos que falam em dilma também falam em povo-eleitor. Isto aconteceu em 0049 voto(s) (09,59% do total)
54,55%  dos votos que falam em constituicao também falam em respeito. Isto aconteceu em 0036 voto(s) (07,05% do total)
54,41%  dos votos que falam em corrupcao também falam em povo-eleitor. Isto aconteceu em 0037 voto(s) (07,24% do total)
51,59%  dos votos que falam em impeachment também falam em povo-eleitor. Isto aconteceu em 0065 voto(s) (12,72% do total)
50,94%  dos votos que falam em crime também falam em dilma. Isto aconteceu em 0027 voto(s) (05,28% do total)
50,00%  dos votos que falam em agricultura também falam em familia. Isto aconteceu em 0008 voto(s) (01,57% do total)
47,06%  dos votos que falam em corrupcao receberam palmas. Isto aconteceu em 0032 voto(s) (06,26% do total)
46,15%  dos votos que falam em eleicoes também falam em impeachment. Isto aconteceu em 0012 voto(s) (02,35% do total)
43,75%  dos votos que falam em deus receberam palmas. Isto aconteceu em 0028 voto(s) (05,48% do total)
43,40%  dos votos que falam em crime receberam palmas. Isto aconteceu em 0023 voto(s) (04,50% do total)
43,40%  dos votos que falam em crime também falam em impeachment. Isto aconteceu em 0023 voto(s) (04,50% do total)
42,42%  dos votos que falam em constituicao também falam em democracia. Isto aconteceu em 0028 voto(s) (05,48% do total)
42,28%  dos votos que falam em democracia receberam palmas. Isto aconteceu em 0052 voto(s) (10,18% do total)
42,19%  dos votos que falam em deus também falam em respeito. Isto aconteceu em 0027 voto(s) (05,28% do total)
41,18%  dos votos que falam em corrupcao também falam em familia. Isto aconteceu em 0028 voto(s) (05,48% do total)
40,38%  dos votos que falam em povo-eleitor também falam em respeito. Isto aconteceu em 0086 voto(s) (16,83% do total)
39,90%  dos votos que falam em familia receberam palmas. Isto aconteceu em 0077 voto(s) (15,07% do total)
39,84%  dos votos que falam em democracia também falam em golpe. Isto aconteceu em 0049 voto(s) (09,59% do total)
39,84%  dos votos que falam em democracia também falam em respeito. Isto aconteceu em 0049 voto(s) (09,59% do total)
39,39%  dos votos que falam em constituicao receberam palmas. Isto aconteceu em 0026 voto(s) (05,09% do total)


Análise por segmentos (Conceitos mais citados):


SIM: 367;
NÃO: 137;
ABSTENÇÕES: 7;
AUSENTES: 2;
Total: 511 votos

Por voto

O % indica quantos deputados citaram o tema em cada lado da votação
(% em relação ao seu próprio grupo)

Voto SIM

Voto NÃO

pais-brasil - 67,2%
familia - 48,9%
povo-eleitor - 45,9%
palmas - 40,0%
respeito - 29,5%
impeachment - 27,9%
democracia - 16,1%
deus - 16,1%
governo - 15,4%
corrupcao - 14,4%
dilma - 14,4%
constituicao - 11,5%
crime - 10,8%
progresso - 5,9%
golpe - 5,9%
eleicoes - 3,3%
agricultura - 2,0%
democracia - 57,8%
pais-brasil - 44,0%
povo-eleitor - 40,5%
golpe - 38,8%
respeito - 37,1%
palmas - 34,5%
dilma - 27,6%
impeachment - 23,3%
constituicao - 21,6%
familia - 19,0%
crime - 16,4%
corrupcao - 13,8%
governo - 10,3%
eleicoes - 8,6%
deus - 7,8%
agricultura - 5,2%
progresso - 2,6%





Observações:
- em termos percentuais (dentro do seu grupo), os que votaram “sim” citaram muito mais os familiares (48,9%) que os que votaram “não” (19%)
- em termos percentuais (dentro do seu grupo), os do “não” citaram mais a democracia que os do “sim” (57,8% contra 16,1%)
- os do “não” falaram mais em golpe (38,8%) do que os do “sim” (5,9%)
- os do “não” falaram mais em crime (16,4%) do que os do  “sim” (10,8%)
- as citações sobre corrupção foram parelhas
- os do “sim” falaram mais em Deus que os do “não” (16,1% contra 7,8%)
- a constituição foi mais citados pelos que votaram “não” (21,6% contra 11,5%)


Por regiões

O % indica quantos deputados da região citaram o tema


Nordeste: 150 votos

Sudeste: 170

Sul: 79

pais-brasil - 62,7%
povo-eleitor - 48,7%
palmas - 42,0%
familia - 35,3%
respeito - 30,7%
impeachment - 28,7%
democracia - 28,7%
dilma - 20,7%
governo - 18,0%
crime - 14,7%
constituicao - 14,7%
golpe - 12,7%
corrupcao - 10,0%
deus - 9,3%
eleicoes - 6,7%
progresso - 6,0%
agricultura - 1,3%

pais-brasil - 58,8%
familia - 46,5%
povo-eleitor - 39,4%
respeito - 30,0%
impeachment - 25,3%
palmas - 24,7%
democracia - 21,8%
dilma - 20,6%
deus - 17,6%
constituicao - 17,1%
golpe - 15,9%
corrupcao - 15,9%
governo - 14,1%
crime - 12,4%
eleicoes - 5,9%
progresso - 5,9%
agricultura - 3,5%

pais-brasil - 57,0%
palmas - 41,8%
povo-eleitor - 38,0%
familia - 26,6%
democracia - 21,5%
impeachment - 20,3%
respeito - 19,0%
corrupcao - 16,5%
golpe - 15,2%
dilma - 13,9%
governo - 8,9%
agricultura - 7,6%
constituicao - 5,1%
deus - 3,8%
crime - 3,8%
eleicoes - 3,8%
progresso - 2,5%


Observações:
- os deputados da região sudeste foram os que menos levantaram palmas (apenas 24,7%, contra 42% dos deputados do nordeste e 41,8% do sul)
- os que mais citaram a família foram os do sudeste (46,5%)
- os deputados do sul foram os que mais citaram a agricultura (7,6%, contra 1,3% e 3,5%)
- os que mais citaram Deus foram os do sudeste (17,6% contra 9,3% e 3,8%)
- os que menos citaram a presidente Dilma foram os do Sul (13,9% contra 20,7% e 13,9%)
- os do Sul foram os que menos citaram a constituição (apenas 5,1% contra 14,7% e 17,1%)
- e também foram os do sul que menos falaram em crime (apenas 3,8% contra 14,7% e 12,4%)



Por Partidos

O % indica quantos deputados do partido citaram o tema

PMDB: 65 votos

PT: 63

PSDB: 52 votos

PP: 45

PDT: 19

pais-brasil - 66,2%
povo-eleitor - 46,2%
palmas - 38,5%
familia - 32,3%
respeito - 30,8%
impeachment - 27,7%
democracia - 23,1%
deus - 13,8%
governo - 12,3%
dilma - 12,3%
progresso - 10,8%
corrupcao - 9,2%
crime - 9,2%
golpe - 6,2%
constituicao - 6,2%
agricultura - 3,1%
eleicoes - 3,1%

democracia - 68,3%
golpe - 66,7%
pais-brasil - 55,6%
povo-eleitor - 49,2%
dilma - 44,4%
respeito - 33,3%
constituicao - 33,3%
corrupcao - 23,8%
palmas - 20,6%
impeachment - 17,5%
crime - 17,5%
familia - 14,3%
deus - 14,3%
agricultura - 11,1%
governo - 4,8%
eleicoes - 4,8%
progresso - 3,2%

pais-brasil - 76,9%
respeito - 51,9%
povo-eleitor - 48,1%
palmas - 46,2%
familia - 44,2%
impeachment - 44,2%
dilma - 30,8%
crime - 25,0%
constituicao - 21,2%
democracia - 19,2%
governo - 19,2%
corrupcao - 17,3%
deus - 15,4%
golpe - 7,7%
progresso - 3,8%

familia - 62,2%
pais-brasil - 57,8%
impeachment - 40,0%
povo-eleitor - 35,6%
palmas - 35,6%
respeito - 26,7%
deus - 15,6%
democracia - 15,6%
corrupcao - 8,9%
eleicoes - 6,7%
progresso - 6,7%
governo - 4,4%
agricultura - 4,4%
dilma - 4,4%
crime - 4,4%

palmas - 63,2%
pais-brasil - 57,9%
povo-eleitor - 42,1%
democracia - 36,8%
corrupcao - 26,3%
impeachment - 21,1%
familia - 21,1%
respeito - 15,8%
deus - 15,8%
dilma - 10,5%
progresso - 10,5%
golpe - 10,5%
governo - 10,5%
crime - 10,5%



Observações:
- o PSDB se destaca porque foi o partido (seus deputados) que mais citaram o país (76,9%)
- também foi os deputados do PSDB que mais falaram sobre respeito (51,9%)
- os do PP foram os que mais citaram a família (62,2%) e os do PT os que menos citaram (14,3%)
- os do PDT foram os que conseguiram mais palmas (63,2%), com os do PSDB em 2º lugar (46,2%)



Definições dos conceitos conforme regras determinísticas usadas no software Text Mining Suite



--------------------
impeachment
     impeachment |  1,00
     impedimento$ |  1,00

--------------------
pais-brasil
     país |  1,00
     brasil |  1,00
     Brasil |  1,00
     pátria |  1,00

--------------------
familia
     família$ |  1,00
     filho$ |  1,00
     filha$ |  1,00
     pai |  1,00
     neto$ |  1,00
     neta$ |  1,00
     marido |  1,00
     esposa |  1,00
     mãe |  1,00
     irmã$ |  1,00
     sobrinh$ |  1,00

--------------------
democracia
     democr$ |  1,00

--------------------
povo-eleitor
     povo |  1,00
     eleitor |  1,00
     eleitores |  1,00
     população |  1,00
     popular$ |  1,00
     sociedade |  1,00

--------------------
palmas
     palmas |  1,00

--------------------
respeito
     respeit$ |  1,00
     dign$ |  1,00
     honra$ |  1,00
     decent$ |  1,00
     decência$ |  1,00

--------------------
golpe
     golpe$ |  1,00
     golpis$ |  1,00

--------------------
constituicao
     constituição |  1,00
     constituciona$ |  1,00

--------------------
corrupcao
     corrupção |  1,00
     corrup$ |  1,00

--------------------
governo
     governo |  1,00
     república |  1,00

--------------------
crime
     crime$ |  1,00
     roub$ |  1,00
     impunidade |  1,00
     fraude$ |  1,00
     saque$ |  1,00

--------------------
dilma
     presidenta |  1,00
     Dilma |  1,00

--------------------
progresso
     crescimento |  1,00
     desenvolvimento |  1,00
     progresso |  1,00

--------------------
eleicoes
     eleiç$ |  1,00
     urnas$ |  1,00

--------------------
deus
     deus |  1,00
     arquiteto universo |  1,00
     jesus |  1,00
     crist$ |  1,00
     bíbli$ |  1,00

--------------------
agricultura
     agricult$ |  1,00
     rural |  1,00
     rurais |  1,00
     agrári$ |  1,00

sábado, 16 de abril de 2016

Resumo sobre a Inconfidência Mineira

Nesta época, de convulsão em Brasília e próximo do feriado de 21 de abril, nada mais apropriado que relembrar a história de Tiradentes e da Inconfidência Mineira.

Aqui vai um pequeno resumo com base no livro que acabei de ler:
DORIA, Pedro. 1789 - Os Contrabandistas, Assassinos e Poetas que sonharam a Independência do Brasil. Casa dos Livros, 2014.

Começa pelo adjetivo regionalista "mineira". Sim, Minas Gerais era a região mais importante da época, pelas atividades econômicas relativas à extração de ouro e pedras, mas também pelos impostos que pagava. Ali se formou o grupo que pensou num levante. Mais especificamente em Vila Rica (hoje Ouro Preto). O nome já diz tudo: era a capital econômica do Brasil. Ali estavam famílias muito ricas, que faziam a elite desde muito tempo antes.

Os inconfidentes incluíam pessoas de classe média e ricos. Comerciantes, funcionários públicos,  juízes e militares. Não havia pobres. Mesmo Tiradentes era alferes, empresário e dentista nas horas vagas. Todos tinham casas boas em Vila Rica ou fazendas. Nestas casas se reuniam para pensar a revolução. E também nas tabernas, onde bebiam, filosofavam e tentavam aliciar novos inconfidentes.

E não havia entre eles escravos. Estes apenas serviam de pombo correio. Assim como na independência americana, não foi prometido o fim total da escravidão. Apenas para alguns com algumas regras restritas. Lembremos que, na Revolução Farroupilha, escravos participaram ativamente com a promessa de dupla liberdade.  

Mas os inconfidentes tinham contatos em São Paulo e Rio de Janeiro. A maioria era comerciante que cedia suas casas para inconfidentes de passagem. Apenas os mineiros foram condenados.

A data 21 de abril refere-se ao dia de 1792 em que Tiradentes (Joaquim José da Silva Xavier) foi enforcado no centro do Rio de Janeiro. Mas as prisões começaram em 1789. As ideias de libertação vieram antes.

A morte na forca e depois o esquartejamento foi para servir de exemplo. Assim, como Jesus Cristo, pelo crime de sedição. Se não havia perdão dos romanos no século I, também não houve por parte de Portugal no século XVIII. Mas na verdade, somente Tiradentes morreu enforcado. Vários outros foram condenados à mesma morte, mas a pena foi comutada para degredo ou prisão em alguma colônia portuguesa na África.

Assim como Cristo, também os inconfidentes tiveram seu traidor. Que o fez por espontânea vontade. Por dinheiro. O contratador Joaquim Silvério dos Reis, cheio de dívidas. Alguma semelhança ? Bom, Tiradentes sugeriu que na bandeira do novo Brasil tivesse um triângulo para lembrar a Santíssima Trindade.

Mas também houve delatores que o fizeram por pressão, por medo. Mesmo assim a delação não foi premiada: foram condenados.

Os grupos. Havia os revolucionários como Tiradentes, que queriam acabar com o jugo português. Inspirados pela Independência dos Estados Unidos um pouco antes (1776). Inclusive alguns tiveram contato com Thomas Jefferson e Benjamin Franklin. Mas estes não puderam apoiar o movimento (apenas apoio moral), porque ainda estavam fazendo seu novo país (e eram embaixadores em Paris e Londres).

Por falar em apoio, alguns inconfidentes conseguiram a promessa de apoio bélico (incluindo navios e homens) de comerciantes ingleses e franceses . O que não aconteceu de fato.

Havia os pensadores e filósofos. Inspirados pelas ideias iluministas dos franceses. Conseguiam alguns poucos livros, geralmente em inglês ou francês, incluindo a Declaração de Independência dos Estados Unidos. Os livros eram comprados em sebos ou de pessoas na Europa. Aqui no Brasil, passavam de mão em mão.

Havia entre eles vários poetas. O mais famoso, Tomás Antônio Gonzaga, que escreveu "Marília de Dirceu". Este também tinha sido desembargador em Minas Gerais. Era uma época romântica. Vários casais apaixonados. Cartas e poemas. Namoros proibidos. Filhos fora do casamento. Tanto era assim que havia casas que recebiam bebês recém nascidos durante a noite, para que não fossem abandonados na rua (porcos que viviam nas ruas poderiam devorar as crianças).

Então havia também juristas, pensando na constituição e na forma do novo governo. Há quem diga que há haviam escrito tudo, mas tais documentos não foram encontrados (ainda). Talvez foram queimados para não haver provas. Por falar nisto, Tiradentes foi o único réu confesso.

Havia padres. Casados, ou solteiros com filhos, comerciantes, ricos, contrabandistas, donos de fazendas. Foram deportados do Brasil e punidos pela própria Igreja Católica.

Havia comerciantes, fazendeiros e contratadores. Entre estes, João Rodrigues de Macedo, que foi casado com Xica da Silva. Um contratador servia para recolher o ouro extraído em nome de Portugal. Como diz  o nome, fazia um contrato com o Rei para entregar uma certa quantia de ouro. Se extraísse mais, era dele. Muitas vezes acontecia o contrário. Assim, na época da conjuração, o metal já estava escasso e as dívidas dos contratadores só aumentava.

Os contratadores eram escolhidos por privilégios. Esta é uma característica do estilo português e até hoje não perdemos esta mania. E Portugal sempre utilizava intermediários. Não queriam sujar as mãos. Só receber sua parte. Alguma semelhança hoje em dia ? Foi assim com os primeiros exploradores de pau-brasil (entre eles Fernando de Noronha, que inclusive pôde comprar uma ilha, famosa hoje).

Os motivos da insurreição. Um dos mais importantes foi o pagamento de impostos a Portugal. Minas Gerais era rica e achava que pagava pelo Brasil todo e sustentava Portugal.

Havia 3 impostos: o Dízimo (obrigatório, e pago diretamente à Igreja), o Quinto (20% das extrações, pago diretamente ao Rei) e as Entradas (uma espécie de ICMS da época). Naquela época, havia muito contrabando de ouro e pedras, porque os impostos eram altos. O Rei inclusive fez Estradas Reais. As pessoas só podiam passar por elas. Se fossem pegas viajando fora delas, eram contrabandistas.

O tiro pela culatra dos inconfidentes e a salvação de Portugal foi que uma cobrança monstro de impostos atrasados (chamada Derrama) não aconteceu. Portugal indicou novo governador para cobrar o seu quinto, que estava atrasado. O problema é que a quantia era muito grande. Toda a população teria que pagara. Dividindo igualitariamente cada um teria que pagar o que não ganharia na vida toda. Os impostos também foram motivos para a independência americana e toda a revolta dos judeus contra romanos.

Os inconfidentes esperavam (e até sugeriam que fosse feita) a Derrama para começar a revolução com um grande motivo. Certamente, toda a população iria participara do movimento. Mas a Derrama não aconteceu. Antes disto, o vice-rei ficou sabendo de tudo e abortou a operação. Prendeu todos os líderes e simpatizantes. Eram poucos. Talvez aí também esteja uma causa para o fracasso.

Mas também os governantes e juízes eram escolhidos por Portugal. Bem como as leis. E havia muita corrupção. Servidores públicos ficavam ricos e favoreciam seus amigos. Governantes podiam criar companhias militares e delegar postos como quisessem. Todos com altos salários. Havia até regimentos fantasmas. Alguma semelhança hoje em dia ?

Ricos ficavam mais ricos. Pobres, mais pobres. Os brasileiros não gostavam de Portugal. Mas não sabiam como se livrar. E não estavam tão organizados como os norte-americanos. Ou não tinham líderes tão inteligentes. Somente alguns poucos brasileiros conseguiam fazer cursos universitários na Europa. Aqui não havia isto. Foram estes que começaram o movimento.

Outro motivo do levante foram as ideias libertárias que chegavam do norte da América e da Europa. A época é a mesma da Revolução Francesa. E os eventos aconteceram praticamente juntos. Só que na França, o povo todo participou da revolução. Aqui, apenas alguns sonhadores. O romantismo, apoiado na influência de norte-americanos e franceses, inflamado pelos escritos de filósofos e poetas, estrangeiros ou nacionais, acenou com o sentimento de liberdade e mudança. Próprio de jovens. Mas os inconfidentes não eram jovens. A maioria já próximos ou passando os 40 anos.

O fracasso também pode ser associado às deserções. Comerciantes foram aliviados de algumas dívidas. A ameaça de morte afugentou os mais indecisos. E militares foram seduzidos com cargos. Alguma semelhança hoje em dia ?

Não foi a primeira revolta. Mas foi uma que chegou perto de um novo país. Por isto, talvez tenha sido novidade para alguns que participaram. E por isto a data é comemorada com tanta importância quanto o 7 de setembro (com feriado nacional). Tiradentes foi mártir e líder inspirador de liberdade e mudança.

Nem foi a última revolta. Talvez as manifestações atuais sejam reflexo da rebeldia e do sonho daquela época.

Veja uma lista de revoltas no Brasil em