Text Mining por Stanley Loh

Call for Chapters - book on Social CRM

2011-09-13T16:43:00.002-03:00

We are editing a new book on Social CRM (Customer Relationship Management) and inviting authors to contribute to it.
The Call for Chapters is available at (and link to information about the book):
http://www.invenio.com.br/cfc.htm

Análise de sentimentos em textos (sentiment analysis)

2011-05-28T09:05:00.007-03:00

O que é ?
Uma recente aplicação das técnicas de Text Mining é analisar o sentimento presente em textos. Ou seja, saber qual o sentimento do autor quando escreveu um texto. A tarefa parece meio esotérica, mas a ideia é mais simples. Analisar as palavras no texto e entender o tipo de sentimento que o texto quer expressar.
Em geral, as ferramentas analisam somente 2 tipos de sentimentos: positivo e negativo. Ou seja, saber se o texto está falando bem (positivamente) ou mal (negativamente) sobre um certo tema.

Sinônimos ?
Outro termo utilizado é Mineração de Opiniões (opinion mining).

Para quê ?
Muitas empresas estão preocupadas em saber o que as pessoas estão falando dela ou de seus produtos ou serviços. Querem saber se estão falando bem ou mal e qual o sentimento predominante.

Ferramentas para Análise de Sentimentos ?
Uma das ferramentas que faz análise de sentimentos (positivos ou negativos) está em
http://www.youtube.com/profstanleybrasil#p/u/3/94CyzMxItxk
O usuário entra com palavras-chave para definir um tema ou assunto, a ferramenta captura textos na web sobre este tema (blogs, notícias, páginas e posts do twitter) e depois analise o tipo de sentimento presente no texto. No final, a ferramenta diz quantos textos positivos, negativos ou neutros foram encontrados (além de listar os textos de cada categoria).

Como fazem isto ?
Em geal, são utilizadas ontologias de tarefa para tanto. Este tipo de ontologia possui uma lista de palavras (simples e expressões) que servem como indicadores do sentimento. Além disto, são utilizadas graus numéricos para indicar o quanto a palavra ou expressão indica o sentimento. Estes graus serão utilizados em processos probabilísticos pois palavras de 2 tipos podem estar presentes no texto (e mesmo um termo pode ser usado positiva ou negativamente). Assim, o processo probabilístico consegue identificar o sentimento predominante mesmo que palavras dos 2 tipo estejam presentes (qual a probabilidade de cada sentimento estar presente no texto).

Analisam conteúdo ?
Na verdade, as ferramentas não analisam o que exatamente os textos estão falando, apenas procuram encontrar o sentimento pela análise de indicadores (palavras positivas ou negativas).

E outros tipos de sentimentos além de positivo ou negativo ?
Existem ontologias mais detalhadas, ou seja, que permitem identificar sentimentos mais precisos.
O modelo OCC é um modelo psicológico e cognitivo que contém descrições de 22 tipos diferentes de emoções (por exemplo, “happy for”, “resentment”, “gloating”, “pity”, “joy”, “distress”, “pride”, “shame”, “admiration”, “reproach”, “love”, “hate”, “hope”, “fear”, “satisfaction”, “fears-confirmed”, “relief”, “disappointment”, “gratification”, “remorse”, “gratitude” e “anger”).
Ref.: Ortony, A.; Clore, G.L.; Colins, A. (1988). The Cognitive Structure of Emotions, Cambridge University Press. 1988

Outras referências ?
Um bom survey sobre o assunto encontra-se em:
Pang, Bo and Lee, Lillian. (2008, January). Opinion Mining and Sentiment Analysis.
Foundations and Trends in Information Retrieval, v.2, n.1-2. Delft, Netherlands.

Existe outra ontologia (Affect Base) criada pelo grupo “The Cognitive and Communication Technologies” (http://tcc.itc.it/), baseada no Wordnet.

E há também a WordNet Affect (http://wndomains.itc.it).

Demonstração em vídeos de software para Text Mining

2010-06-29T21:04:00.001-03:00

A InText Mining disponibilizou no youtube vídeos de demonstração do seu software Text Mining Suite.
Veja no canal www.youtube.com/intextmining

Erros ortográficos, qualidade de textos

2009-12-01T15:25:00.002-02:00

Um dos entraves à mineração de textos são os erros encontrados em textos.
Todo processo de mineração envolve uma etapa inicial de preparação dos dados. Não é diferente no processo de Text Mining.

Certa vez estava tentando minerar prontuários médicos de pacientes numa clínica. Eram tantos erros que distorciam os resultados. Os médicos registravam as informações com muita rapidez, sem voltar para corrigir erros (já que o trabalho deles não é este). Corretores ortográficos poderiam ajudar, mas eram erros de digitação na maioria das vezes. Tivemos que criar uma ontologia (ou thesaurus) para agrupar palavras relacionadas a um mesmo conceito, incluindo ali os erros.

Em outro projeto, um sistema de recomendação para um chat, fizemos um corretor ortográfico simples, estatístico, baseado na Sabedoria das Massas (mais ou menos como o Google usa). Usando um algoritmo de similaridade entre palavras (a função de Edit Distance chamada Levenshtein), era possível comparar as palavras digitadas no chat com todas as já utilizadas em sessões anteriores. As mais similares eram levadas para análise; a grafia mais comum era considerada a correta. Tudo isto em real time.

Abaixo vão alguns textos interessantes sobre este assunto de erros em textos.

Text Data Quality: Mistakes and More
Posted by Seth Grimes
http://intelligent-enterprise.informationweek.com/blog/archives/2009/11/text_data_quali.html;jsessionid=H0RZQT5Q2UZKPQE1GHPSKHWATMY32JVN
Text Data Quality
by Seth Grimes
http://www.b-eye-network.com/channels/1394/view/12072

On Text Data Quality
Posted by Manya Mayes
http://blogs.sas.com/text-mining/index.php?/archives/48-On-Text-Data-Quality.html

5th Text Analytics Summit SAS and Teragram Workshop
by Manya Mayes
http://www.textanalyticsnews.com/usa/presentations/SASTeragramWorkshop.pdf

Recuperação de Informações Geográficas Parte 3 - por Cleber Gouvêa

2009-12-01T11:56:00.002-02:00

Para viabilizar a Resolução de Topônimos torna-se necessário, portanto conforme ilustrou o post anterior identificar as localidades relacionadas nos textos para posteriormente desambiguá-las visando verificar o seu sentido correto. Para viabilizar isso são utilizadas técnicas de Processamento de Linguagem Natural (ex: REM ou WSD) as quais baseiam-se na verificação de evidências (ex: termos co-ocorrentes às localidades) que possam auxiliar na identificação do sentido das localidades. Para a resolução de cada tipo de ambiguidade são utilizadas evidências específicas.

Para a ambiguidade geo/não-geo são analisadas evidências (denominadas de expressões de contexto) que aparecem junto dos topônimos alvo (ex: "cidade de", "nos arredores de") que auxiliem na identificação de seu caráter geográfico. Já para a ambiguidade geo/geo torna-se necessário a verificação de entidades que auxiliem na identificação correta da posição geográfica da localidade, para isso as estratégias baseiam-se na identificação de evidências que representem o estado ou país relacionado a localidade a ser desambiguada, como ilustra o exemplo abaixo.

Exemplo Desambiguação Geo/Geo

Para a desambiguação geo/geo outra estratégia comum é a utilização de heurísticas (ex: considerar como sentido correto a localidade que possuir maior número de habitantes, ou a que representa alguma capital).

Para possibilitar a inferência dessas evidências nos textos estas são armazenadas em gazetteers, podendo ser incluídas nessas estruturas de forma manual (abordagem baseada em conhecimento) ou automaticamente (aprendizagem automática). O primeiro método depende de um especialista humano, já o segundo busca a obtenção automática dessas evidências utilizando pra isso análise de corpora previamente anotada.

A abordagem manual é útil apenas para domínios específicos (ex: para o georreferenciamento de textos de um conjunto limitado de informações ou linguagens específicas), para viabilizar a identificação de evidências em larga escala torna-se necessário, no entanto a utilização de métodos automáticos. Para serem viáveis estes devem, contudo serem simples e extensíveis, não necessitando de anotação de grandes quantidades de textos e também permitindo o suporte a variados tipos de idiomas, o que devido às características específicas das linguagens apresenta-se como um desafio importante.

Após a resolução dos topônimos encontrados nos textos estes podem ser representados com o auxílio dos gazetteers a partir de coordenadas geográficas, viabilizando assim todas as aplicações apresentadas no primeiro post.

Para a identificação das coordenadas geográficas relacionadas às localidades vários serviços de geo-codificação encontram-se disponíveis, dentre os principais estão o Geonames e a Yahoo Geo-Coding API.

Para mais informações sobre geotagging e os desafios envolvendo o georreferenciamento de textos os seguintes livros são importantes referências:

Georeferencing: The Geographic Associations of Information

The Geospatial Web

Há também várias conferências e workshops sobre o assunto, os principais são o GIS e o GIR (foco acadêmico) e Where 2.0 (foco comercial).

Na web utilizem algumas destas palavras-chave (em inglês porque o conteúdo em português ainda é limitado):

- Geographic Information Systems
- Geographic Information Retrieval
- Geolocation
- Geotagging
- Geobrowsers
- Neogeography
- Geospatial Web
- Geoweb
- Georeferencing

Recuperação de Informações Geográficas Parte 2 - por Cleber Gouvêa

2009-12-01T11:51:00.005-02:00

Conforme ilustrou o post anterior, como na web não há nativamente mecanismos para a identificação do contexto geográfico das informações, a Recuperação de Informações Geográficas (RIG), área surgida a partir da demanda por uma pesquisa integrada entre os Sistemas de Informação Geográfica e a Recuperação de Informações tradicional[1] tem sido alvo de intensa pesquisa, podendo integrar-se também a outras áreas específicas.

Figura Áreas Relacionadas à RIG
Fonte: https://dspace.ist.utl.pt/bitstream/2295/154018/1/GeographicalR.ppt

O foco central é lidar com todos os problemas da Recuperação de Informações que envolvam algum tipo de consciência espacial (spatial awareness), ou seja, que incluam referências geográficas (georreferências), visando auxiliar dessa forma na identificação e recuperação das informações de acordo especificamente com seu contexto geográfico.

O processo de identificação do contexto geográfico de textos é denominado de (geotagging [2] e envolve duas etapas principais:

Geo-Parsing - tem o objetivo de reconhecer as referências geográficas nos textos ignorando nomes de localidades que não possuam sentido geográfico (ex: nomes de pessoas com o mesmo nome de localidades).

Geo-Coding - busca desambiguar as localidades recuperadas, ou seja, associar cada localidade a apenas uma única localização geográfica (footprint). Como os textos podem possuir mais que uma localidade desambiguada torna-se necessário também definir algoritmos de ranqueamento específicos visando qualificar as localidades de acordo com o seu grau de associação com o texto.

Para viabilizar a execução destas etapas os dois principais componentes utilizados são:

Gazetteer / Ontologia Geográfica - Os quais buscam representar e estruturar os relacionamento semânticos entre as localidades, incluindo também outros detalhes relacionados a elas (ex: coordenadas geográficas, e outras entidades que auxiliem nos processos de georreferenciamento). Dependendo da complexidade da sua estrutura podem ser simples dicionários geográficos (gazetteers) ou complexas ontologias geográficas.

Índice Espacial - O qual tem o objetivo de auxiliar no processo de recuperação de informações geográficas representando as informações georreferenciadas. Associam dessa forma os documentos às localidades representadas por eles, podendo utilizar também algum algoritmo de relevância para qualificar esse relacionamento. O objetivo é permitir com isso a recuperação de documentos de acordo com a sua relevância para determinada localidade(relevância spacial) utilizando os mesmos princípios da recuperação de informação tradicional (que utiliza, no entanto a relevância temática).

Como os topônimos (ex: cidades, países, etc.) conseguem identificar precisamente determinada região espacial eles têm sido priorizados para a identificação do contexto geográfico dos textos. Esse processo denominado de Resolução de Topônimos [3] traz, contudo desafios específicos já que principalmente do ponto de vista linguístico um topônimo pode possuir variados tipos de ambiguidade. Essas ambiguidades são divididas habitualmente em [2]:

Ambiguidade Geo/Não-Geo - quando uma localidade possui ambiguidade com outro tipo de entidade não-geográfica (ex: São Paulo cidade e São Paulo time de futebol).

Ambiguidade Geo/Geo - ocorre quando uma localidade possui ambiguidade com outro tipo de localidade (homonímia), por ex: Belém (no Pará) e Belém (na Paraíba) ou mesmo ambiguidade entre cidades/estados por ex: Rio de Janeiro (cidade) e Rio de Janeiro (estado). Outra ambiguidade desse tipo é quando uma localidade pode ser identificada por meio de outras definições (sinonímia), ex: Rio de Janeiro e "Cidade Maravilhosa" ou "Rio".

As técnicas utilizadas para a Resolução de Topônimos são apresentadas no próximo post.

Referências

1. Larson, R.R., Geographical information retrieval and spatial browsing. Geographical Information Systems and Libraries: Patrons, Maps, and Spatial Information. pp. 81-124. 1996.

2. Amitay E., Har’el N., Sivan R., Soffer A., Web-a-where: Geotagging Web Content. In Proceedings of the 27th SIGIR, pages 273–280, 2004.

3. Leidner J. L., Toponym Resolution in Text - Annotation, Evaluation and Applications of Spatial Grounding of Place Names. Edinburgh: Institute for Communicating and Collaborative Systems, 287p. 2007 (Tese, Doutorado em Ciências da Comunicação).

Recuperação de Informações Geográficas Parte I - por Cleber Gouvêa

2009-03-02T15:48:00.010-03:00

Parte I: Contribuição do Cleber Gouvêa com revisão de Stanley Loh:

A internet como um mundo de pontas e a web, sua progênie mais famosa, compartilham características e ao mesmo tempo desafios importantes relacionados ao acesso às informações.
Grande parte das consultas na web tem o foco geográfico [1] e com isso serviços que recuperam e analisam informações geográficas tem aproveitado a grande quantidade desse tipo de informação na web tornando-se assim parte importante da vida de milhões de pessoas.

Para viabilizar o acesso e permitir a estruturação de informações geográficas, formatos específicos tem sido criados com a ajuda da OGC (Open Geospatial Consortium), sendo que os dois principais já reconhecidos são o GeoRSS e o KML.

Com o suporte dos geobrowsers (Google Maps, Live Local, Yahoo Maps) a esses arquivos e com a possibilidade da sobreposição das informações diretamente nos mapas, estes formatos tem sido apontados como núcleo da Web Semântica Geoespacial[2] (definida por Max J. Egenhofer) a qual tem por "objetivo a definição semântica e a consequente viabilização do consumo de informações geográficas".

Novo Desafio para os sistemas de busca

Naturalmente que as possibilidades da identificação do contexto geográfico das informações não se restringem aos geobrowsers. Dispositivos móveis com acesso a web e integrados com serviços de geo-localização (ex: GPS) podem realmente levar os motores de busca na web para uma terceira geração [3] (alguém já pensou em desambiguar e consequentemente direcionar as informações de acordo com a localidade do usuário?), o Google Android, o G1 e as APIs semânticas estão aí...

Informações mobile-like ultrapassam assim em relevância as acessíveis através de nossos desktops. A consideração do contexto (temporal, local) do usuário torna-se, portanto um fator crucial para aumentar a importância e a facilidade da pesquisa no futuro.

“Onde quer que você esteja ou vá, obtenha informações relevantes à sua localização.”

RSS X GeoRSS

Se fizermos uma pesquisa entre os principais portais e blogs do mundo veremos uma alta adoção do formato RSS ou Atom para a estruturação das informações e uma pequena ou talvez ínfima utilização de GeoRSS ou KML. Por quê ?
Infelizmente a anotação semântica de informações geográficas é um processo dispendioso, mesmo com o buzz da colaboração na web. O fato é que muitas vezes para o resposável pelo conteúdo pode ser inviável essa anotação particular das informações. Métodos automáticos estão consequentemente ganhando popularidade.

Nesse sentido as estratégias top-down, ou seja o reconhecimento do contexto geográfico dos textos (processo definido como geotagging) utilizando pra isso métodos automáticos têm se apresentado como os mais viáveis.

O processo de geotagging é estudado pela RIG (Recuperação de Informações Geográficas), a qual será o foco do próximo post.

Referências

1. Sanderson M., Kohler J. Analyzing geographic queries. In SIGIR Workshop on GIR, 2004.
2. Egenhofer, M. J., Toward the Semantic Geospatial Web. National Center for Geographic Information and Analysis. Department of Spatial Information Science and Engineering. Department of Computer Science. Main. 2002.
3. Andrei Broder, “The Next Generation Web Search and the Demise of the Classic IR model “, ECIR 2007, Roma, Itália, Abril 2007.

Listas de stopwords - stoplist (portugues, ingles, espanhol)

2008-11-26T10:28:00.004-02:00

Palavras muito frequentes e com pouco significado (tais como artigos, preposições, algumas conjunções), geralmente são desconsideradas nas minerações de texto.

Neste link há 3 listas de stopwords ou stoplists: para Português, Inglês e Espanhol.

As listas foram criadas com base em análises estatísticas de vários autores.
Portanto, talvez precisem ser calibradas para diferentes aplicações.
Um exemplo de calibragem: se você está minerando textos sobre casos médicos, é possível que palavras como "médico", "paciente" e "doença" apareçam em todos os textos. Estas palavras poderiam então ser acrescentadas na lista de stopwords para serem desconsideradas das análises.

Stemming e Análise Sintática

2008-11-25T16:30:00.001-02:00

Aqui vão duas dicas de sistemas online que podem ajudar em processos de preparação de textos:

- Stemming: é um processo de reduzir palavras a seus radicais
(exemplo: casamento ==> cas, carro ==> carr).
Isto permite encontrar mais textos sobre um mesmo assunto sem precisar usar variações linguísticas (plurais, aumentativo, masculino/feminino).
Siga o link para utilizar um serviço online de stemming para a língua portuguesa
(link alternativo = http://gpsi.ucpel.tche.br/~evandro/stemming/stem.php).

- Análise Sintática: é um processo de quebrar textos em partes (parser), analisando as relações entre as palavras (sujeito, verbo, complemento, etc) e tb inclui análise léxico-morfológica (função da palavra na frase, tipo adjetivo, substantivo, etc.)
Siga o link para utilizar um serviço online de análise sintática para o português.

Text Mining e Information Retrieval (IR) - e outras áreas relacionadas

2008-11-25T14:51:00.001-02:00

Text Mining é uma evolução (ou uma especialização) da área de Information Retrieval - IR.
IR está relacionada a processos de encontrar fontes de informações, ou seja, documentos ou textos que podem contar a informação desejada. Veja neste link mais detalhes sobre técnicas de Information Retrieval (incluindo técnicas de indexação, modelos de match e tipos de organizações de arquivos e índices).
Outra área relacionada é a Information Extraction (Extração de Informações), cujo objetivo é extrair dados a partir de textos (encontrar valores para atributos). Por exemplo, num texto que fale sobre uma pessoa, encontrar seu nome, endereço, idade, sexo, etc.
Também há relações de Text Mining com as seguintes áreas:
- Resumos de textos (sumarização)
- Busca de Informações na Web
- além é claro de Data Mining.

Exemplo de Text Mining (análise de textos)

2008-11-25T13:34:00.000-02:00

Este é um exemplo de análise utilizando ferramentas de Text Mining. A análise foi feita sobre palavras.

Foram comparados os discursos de posse do Presidente Lula (2003 x 2007).

As minerações dos textos foram feitas utilizando o software Text Mining Suite da empresa InText Mining Ltda.

As Tag Clouds foram criadas com a ferramenta http://www.wordle.net/

A 1a Tag Cloud é referente ao Discurso de 2003 e a 2a Tag Cloud refere-se ao discurso de 2007.

Abaixo, segue a lista das principais palavras (mais frequentes) utilizadas em ambos os discursos (comuns aos 2 discursos). Ao lado da palavra, a frequência relativa dela no texto.

mais 0,01364

brasil 0,01190

país 0,01066

ser 0,00570

desenvolvimento 0,00570

mundo 0,00546

governo 0,00546

povo 0,00545

social 0,00545

hoje 0,00521

nacional 0,00520

política 0,00496

crescimento 0,00422

vamos 0,00397

fome 0,00396

anos 0,00348

nação 0,00347

bem 0,00273

brasileiro 0,00272

políticas 0,00248

energia 0,00248

milhões 0,00248

vida 0,00248

projeto 0,00248

sul 0,00248

brasileiros 0,00248

investimento 0,00224

igual 0,00224

educação 0,00224

qualidade 0,00224

sou 0,00224

capaz 0,00223

renda 0,00223

deus 0,00223

dar 0,00223

brasileira 0,00223

mudar 0,00223

mudança 0,00223

segurança 0,00223

novo 0,00223

maior 0,00223

acesso 0,00199

forma 0,00198

trabalho 0,00198

sociedade 0,00198

países 0,00198

dia 0,00198

reforma 0,00198

econômico 0,00198

novos 0,00174

setores 0,00174

instituições 0,00174

popular 0,00174

instrumento 0,00174

tempo 0,00174

pública 0,00174

estados 0,00174

presidente 0,00173

internacional 0,00173

meio 0,00173

momento 0,00173

criar 0,00173

Abaixo segue a lista das principais palavras exclusivas do discurso de 2003 (ou seja, que aparecem somente no Discurso de 2003).

tragam 0,00300

américa 0,00300

venceu 0,00250

tantas 0,00250

capacidade 0,00250

riqueza 0,00250

exmo 0,00200

sr 0,00200

medo 0,00200

diante 0,00200

sabe 0,00200

terras 0,00200

pacto 0,00200

base 0,00200

srs 0,00150

modelo 0,00150

andar 0,00150

rio 0,00150

campo 0,00150

produtivo 0,00150

unidos 0,00150

vai 0,00150

conselho 0,00150

consigo 0,00150

contribuição 0,00150

humano 0,00150

desenvolvidos 0,00150

membros 0,00150

cultural 0,00150

coração 0,00150

amar 0,00150

Abaixo segue a lista das principais palavras exclusivas do discurso de 2007 (ou seja, que aparecem somente no Discurso de 2007).

diferente 0,00500

melhor 0,00450

deu 0,00350

expansão 0,00300

projetos 0,00300

pedi 0,00300

precisamos 0,00250

opção 0,00250

tenho 0,00200

novas 0,00200

cidadania 0,00200

desafio 0,00200

pessoas 0,00200

programas 0,00200

área 0,00200

atrás 0,00150

parte 0,00150

primeira 0,00150

alto 0,00150

difícil 0,00150

consumo 0,00150

distribuição 0,00150

problemas 0,00150

interesses 0,00150

escolha 0,00150

consolidar 0,00150

voz 0,00150

segundo 0,00150

dificuldades 0,00150

privado 0,00150

capazes 0,00150

medidas 0,00150

dez 0,00150

empresas 0,00150

inovação 0,00150

universidade 0,00150

formação 0,00150

fortalecimento 0,00150

sistema 0,00150

resolver 0,00150

exige 0,00150

Uma aplicação semelhante mas analisando os debates das eleições presidenciais nos Estados Unidos (ano de 2008) pode ser encontrada em http://mkweb.bcgsc.ca/debates/ (dica do Luis Fernando Garcia).

Técnicas de Text Mining

2008-11-25T13:21:00.001-02:00

Nos links abaixo, podem ser encontradas descrições detalhadas sobre técnicas de Text Mining.

Text Mining – tutorial de técnicas
Text Mining – exemplos de aplicações
Text Mining - Descoberta de Conhecimento em Textos (resumo)
Text Mining - Descoberta de Conhecimento em Textos (completo)

ou

Text Mining – tutorial de técnicas
Text Mining – exemplos de aplicações
Text Mining - Descoberta de Conhecimento em Textos (resumo)
Text Mining - Descoberta de Conhecimento em Textos (completo)

Definição de Text Mining

2008-11-25T13:12:00.000-02:00

Text Mining ou Mineração de Textos ou Descoberta de Conhecimento em Textos (KDT) é um processo de análise de textos, geralmente utilizando técnicas estatísticas, para encontrar informações ou conhecimentos implícitos em textos.
O termo é derivado de Data Mining (Descoberta de Conhecimento em Bancos de Dados - KDD). A diferença é que em Data Mining as técnicas de mineração são aplicadas sobre dados estruturados (células de planilhas ou linhas/colunas de tabelas), enquanto que Text Mining aplica técnicas de mineração sobre dados em formato de textos (dados não-estruturados).
As informações que podem ser mineradas estão codificadas nos textos através da chamada linguagem natural (livre, irrestrita, não padronizada).
A grande dificuldade do processo de Text Mining é justamente aplicar técnicas sobre características ou informações textuais, sendo que estão são representadas por palavras.
Palavras geram problemas de compreensão (ambiguidades, polisemias, sinonímias, contexto, etc.).
O processo de Text Mining pode ser aplicado sobre palavras, mas sem muita precisão. O ideal é identifiar informações (significados ou conceitos) nas palavras e então aplicar as técnicas de mineração sobre estas informações (processo em duas etapas).
Este tipo de abordagem é melhor explicado no artigo "Concept-based knowledge discovery in texts extracted from the Web". As citações deste artigo podem ser encontradas aqui.

Início do blog

2008-11-25T10:51:00.001-02:00

Este é o início do blog "Mining Text", que tratará de assuntos relativos a Text Mining (Mineração de Textos).
A idéia é apresentar e discutir técnicas, ferramentas e aplicações de Text Mining.
Começamos indicando o site da InText Mining e suas ferramentas.