UM ESTUDO SOBRE A SELEÇÃO AUTOMÁTICA DE TRABALHOS EM REVISÕES E MAPEAMENTOS SISTEMÁTICOS DA LITERATURA.

Abstract

RESUMO:Quando se deseja iniciar uma nova pesquisa é essencial que se faça uma análise do atual estado da arte do tema de interesse. No entanto, garantir que essa análise seja completa e justa, sem que nenhum trabalho seja favorecido na análise, é uma tarefa difícil. Esta é a principal justificativa para a realização de uma Revisão Sistemática da Literatura (RSL) e de um Mapeamento Sistemático da Literatura (MSL). Existem diversos motivos para a realização de revisões/mapeamentos, dentre eles pode-se destacar: a necessidade de sumarizar toda evidência empírica sobre determinado tratamento ou tecnologia e identificar gaps na área de pesquisa e sugerir pontos de futura investigação. Apesar de seus benefícios, a condução desses trabalhos continua sendo um processo manual e de trabalho intensivo. Uma RSL/MSL requer bastante esforço e ferramentas que apoiam a sua execução são fundamentais para auxiliar em cada etapa, orientando a sua execução, organização, e consequentemente reduzindo o tempo necessário para sua conclusão. Existem esforços para semi automatizar etapas de uma RSL/MSL. Uma dessas abordagens é a aplicação de Aprendizagem de Máquina (AM) junto com a Mineração de Texto (MT) para auxiliar o estágio de Triagem de Citação (TC), conhecida também como Seleção de Estudos (SE). No entanto, nem todas as soluções propostas são transparentes e adequadas. Apesar das primeiras adaptações de RSLs na área de Computação, especialmente em Engenharia de Software (ES), terem ocorrido há mais de uma década, a perspectiva de boas ferramentas de apoio construídas com base em técnicas de MT é promissora, mas sua eficácia não foi totalmente explorada e testada. Este trabalho tem como principal objetivo a proposição de um método que visa reduzir o esforço e tempo de execução de Revisões e Mapeamentos Sistemáticos, com foco na fase de seleção inicial de estudos, na etapa de condução. Esse método utiliza características textuais de artigos, obtidas do título, resumo e palavras-chave e de posse dessas características, aplica-se técnicas de AM para classificar os artigos em aceitos ou rejeitados. Foram realizadas duas avaliações, a primeira para identificar que configurações foram capazes de reduzir a quantidade de artigos a serem lidos, além disso, a redução da perda de artigos relevantes. Na segunda foi realizada uma comparação com uma ferramenta existente na literatura com o mesmo objetivo. Os resultados apontam que com uma pequena perda de estudos relevantes é possível reduzir em até 69% o trabalho realizado na seleção de trabalhos. Além disso, o método proposto obteve resultados de redução de esforço inferiores em relação à ferramenta a qual foi comparada.

ABSTRACT:When it is desired to start a new research it is essential that an analysis of the current state of the art of the subject of interest is made. However, ensuring that this analysis is complete and fair without any work being favoured in the analysis is a difficult task. This is the main justification for a Systematic Literature Review (SLR) and a Systematic Mapping Literature (SML). There are several reasons for the realization of revisions/mappings, among them we can highlight: the need to summarize all empirical evidence about a particular treatment or technology; identify gaps in the research area and suggest future research points. Despite its benefits, conducting such work remains a manual and labourintensive process. An SLR/SME requires a lot of effort and tools that support its execution are fundamental to assist in each step, guiding its execution, organization, and consequently reducing the time needed for its completion. There are efforts to semi-automate steps of an SLR/SME. One of these approaches is the application of Machine Learning (ML) along with Text Mining (TM) to semi-automate the Citation Screening (CS) stage, also known as Study Selection (SS). However, not all solutions proposed are transparent and appropriate. Although the first SLR adaptations in the area of Software Engineering (SE) occurred more than a decade ago, the perspective of good support tools built on TM techniques is promising, but its effectiveness has not been fully explored and tested. This work has as main objective the proposal of a method that aims to reduce the effort and execution time of Systematic Reviews and Mappings, focusing on the initial selection phase of studies of the conduction stage. This method uses textual characteristics of articles, obtained from the title, abstract and keywords, and possessing these characteristics apply ML techniques to classify the articles into accepted or rejected. Two evaluations were performed, the first aimed to identify which configurations were able to reduce the quantity of articles to be read, in addition, the reduction of the loss of relevant articles. In the second, a comparison was made with a tool existing in the literature with the same objective.The results show that with a small loss of relevant studies it is possible to reduce the amount of articles to be read by up to 69%. In addition, the proposed method obtained lower effort reduction results in relation to the tool to which it was compared.