INVESTIGANDO FERRAMENTAS DE APOIO À PROGRAMAÇÃO BASEADAS EM IA: do cenário controlado ao ambiente de produção

Abstract

RESUMO: Este trabalho investigou o impacto do uso de ferramentas de geração de código assistido por Inteligência Artificial (IA), com foco na avaliação do GitHub Copilot, a partir de uma abordagem metodológica estruturada em três etapas: (i) uma fase de investigação, com levantamento da literatura e identificação dos principais desafios e indicadores utilizados na avaliação de ferramentas de geração de código; (ii) uma etapa de coleta de dados, com a realização de um estudo empírico com estudantes e um estudo de caso com desenvolvedores profissionais; e (iii) uma fase de análise, composta por procedimentos quantitativos e qualitativos que permitiram responder às questões de pesquisa e interpretar os efeitos do uso da ferramenta em diferentes contextos de desenvolvimento de software. Os resultados revelam que o Copilot pode reduzir o tempo de execução das tarefas e o ritmo de alterações (LOC/h), entre estudantes e profissionais em tarefas rotineiras, respectivamente. No entanto, não foram observadas melhorias significativas na qualidade funcional do código, reforçando a necessidade de uso crítico das sugestões geradas pela ferramenta. A análise qualitativa complementou esses achados ao indicar que a percepção dos participantes foi majoritariamente positiva, embora tenham sido apontadas limitações técnicas e operacionais. Assim, este estudo contribui com evidências empíricas sobre o uso do Copilot, destacando tanto seu potencial como suporte à redução do esforço de desenvolvimento quanto a importância de estratégias formativas para sua adoção consciente em ambientes educacionais e profissionais. ABSTRACT: This study investigated the impact of using artificial intelligence (AI)-assisted code gener- ation tools, focusing on GitHub Copilot, through a methodological approach structured in

three stages: (i) an investigation phase, including a literature review and the identification of key challenges and indicators used to evaluate code generation tools; (ii) a data collection phase, consisting of an empirical study with students and a case study with professional developers; and (iii) an analysis phase, involving quantitative and qualitative procedures to answer the research questions and interpret the effects of using the tool in different software development contexts. The results reveal that Copilot can significantly reduce task execution time and development effort, especially among undergraduate students and professionals performing routine tasks. However, no significant improvements were observed in the functional quality of the code, reinforcing the need for critical use of the tool’s suggestions. The qualitative analysis supported these findings, showing that participants’ perceptions were mostly positive, although technical and operational limitations were noted. Thus, this study provides empirical evidence on the use of Copilot, highlighting both its potential as a support tool to reduce development effort and the importance of formative strategies for its conscious adoption in educational and professional environments.