Blog: O nosso dia-a-dia

10/09/2009 | 05:10

Inteligência artificial e categorização de notícias

Por Robson Garcia Formoso

Nos últimos meses, foi demonstrado que os softwares criados e implementados pela Knowtec facilitam e ajudam a aumentar a produtividade em diversas tarefas. A categorização, ou clipping, de notícias é uma tarefa manual, feita por uma equipe de revisores. Hoje, o atual número de mídias agregadas pede uma maior automatização do processo e, ao utilizar um sistema inteligente, é possível antecipar o clipping com qualidade.

Com o Auto SI, sistema desenvolvido pela Knowtec, as principais mídias nacionais impressas, com versões eletrônicas, são parseadas (capturadas) e suas notícias ficam armazenadas em uma base de dados que é alimentada diariamente, ficando disponíveis para a equipe de revisão.

Categorizar notícias nada mais é que uma classificação de acordo com o assunto. O processo manual consiste na leitura da notícia. Com o Auto SI, o revisor seleciona o grupo temático da matéria e direciona para qual ela deve ser encaminhada. Os grupos temáticos são previamente cadastrados na base de dados, que é atualizada pelos próprios revisores.

Sem um software de automatização, o revisor precisa passar por um treinamento para conhecer o extenso número de grupos temáticos. Por vezes isso gera dúvidas, possibilidade de haver erros na associação de grupos e atrasos na entrega do clipping.

O clipping é o resultado final de todo esse processo de categorização. Consiste em um email personalizado para cada cliente, no qual as notícias de seu interesse ficam disponíveis e separadas por assunto. Manualmente, o processo costuma levar cerca de duas horas e meia e é feito todos os dias da semana pela equipe de revisão.

Com métodos de inteligência artificial é possível criar um módulo para automatizar o processo de categorização, ocasionando maior produtividade em menor tempo e menor chance de erro. A técnica empregada consiste em analisar notícias previamente categorizadas que estão armazenadas em uma base de dados. Com cálculos matemáticos é realizada uma análise de similaridade entre as notícias, reunindo os grupos temáticos. Após a seleção, é realizado um processo com cálculos probabilísticos para a formação do conjunto de grupos temáticos que se associarão à nova notícia.

Em um dos vários testes realizados, aplicou-se o processo utilizando 30% para o grau de similaridade e um intervalo de tempo de 30 dias para 15 notícias novas que entraram. No período de trinta dias foram obtidas oito mil e três (8.003) notícias e foram feitas aproximadamente cento e vinte mil (120.000) comparações. Todo o processo conseguiu um resultado de 89% de acerto dos grupos temáticos, sendo que partes dos erros eram humanos, cometidos na base de dados.

Nesse ambiente temos duas variáveis que podem ser usadas para aumentar a eficácia do sistema, que são o grau de similaridade e o intervalo de tempo para resgatar as notícias. Em trabalhos futuros essas variáveis podem ser corrigidas por outro sistema de inteligência artificial, conforme o ambiente.

O resultado obtido é bem aceito para um sistema que leva aproximadamente trinta e quatro minutos, ou seja, duas horas a menos que o manual. Do ponto de vista comercial, também se mostra uma ferramenta muito importante, pois é capaz de gerar um clipping simples.

* Robson Garcia Formoso, analista de sistemas e ex-colaborador da Knowtec em Florianópolis, é coautor deste texto.

Comentários

  • Jennifer-Tool

    Era isso que eu estava

    26/10/2009 | 09:10

    Era isso que eu estava procurando, obrigado.

  • Comentar

    Deixe seu comentário

Foto

Robson Garcia Formoso,

Analista de sistemas ex-funcionário da Knowtec de Florianópolis, é formado em ciências da computação e já trabalhou com projetos de pesquisa na Universidade Federal de Santa Catarina. Nas horas vagas, toca cavaquinho.

Envie para um amigo

Busca

  • FLORIANÓPOLIS

    + 55 48 3338 0175

    Ver localização

    Endereço

    Fechar X

    Módulo 6 - Conjunto A

    Rod. José Carlos Daux, 600

    (SC-401)

    Florianópolis,SC - Brasil

    88030-000

  • BRASILIA

    + 55 61 3965 8100

    Ver localização

    Endereço

    Fechar X

    SCN Quadra 05 BL. A Nº 50

    Torre Sul - Sala 201

    Asa Norte

    Brasília, DF - Brasil

    70715-900

  • SÃO PAULO

    + 55 11 3583 0088

    Ver localização

    Endereço

    Fechar X

    Rua Tabapuã, 145

    Salas 25 e 26

    Itaim bibi

    São Paulo,SP - Brasil

    04561-000

TRABALHE CONOSCO

A Knowtec neutraliza sua emissão de carbono e está em dia com o planeta

Fechar X