Modelos Preditivos e Generativos para Análise Automatizada de Radiografias da Coluna Lombo-Sacra e Pododáctilos

Abstract

RESUMO:A radiografia é uma ferramenta essencial na medicina moderna para a visualização interna do corpo humano. Essa técnica, amplamente utilizada para examinar diversas patologias, como doenças ósseas e alterações em tecidos moles, fornece imagens detalhadas com base na absorção diferencial dos raios-X por tecidos de diferentes densidades. No entanto, a análise de radiografias apresenta desafios significativos, como a identificação de anomalias sutis e a interpretação precisa das imagens, muitas vezes dificultada pela variabilidade dos exames e pela sobrecarga de trabalho dos radiologistas. Esta tese propõe uma abordagem inovadora para otimizar a triagem de exames e a geração de laudos médicos preliminares a partir de radiografias, com foco nas radiografias da coluna lombo-sacra e dos pododáctilos. A metodologia desenvolvida combina técnicas de inteligência artificial preditiva e generativa, utilizando arquiteturas avançadas de redes neurais convolucionais como Inception-V3, VGG e ResNet50, aliadas a modelos generativos baseados em Transformers, para enfrentar os desafios associados à análise radiográfica. O objetivo principal é melhorar a eficiência na triagem de exames e fornecer laudos médicos automatizados como suporte à decisão clínica, oferecendo uma segunda opinião detalhada para auxiliar no diagnóstico tanto na coluna lombo-sacra quanto nos pododáctilos. A pesquisa utilizou dois conjuntos de dados radiográficos de lombo-sacra composto por 44.540 e de pododáctilos composto por 16.710. As imagens foram coletadas de hospitais e clinicas de todo território brasileiro, abrangendo uma variedade de cenários clínicos. O desenvolvimento de modelos preditivos, baseado em aprendizado profundo, focou na triagem e filtragem de radiografias, identificando exames que requerem maior atenção e otimizando a eficiência do processo. Além disso, foram desenvolvidos modelos generativos, usando técnicas de aumento de dados e fine-tuning, para a geração automática de laudos médicos preliminares, complementando o trabalho dos radiologistas com diagnósticos e descrições detalhadas a partir das imagens analisadas. Os resultados obtidos na metodologia de classificação de patologias de lombo-sacra, utilizando a técnica de ensemble, demonstraram alta precisão, com valores de 0,941 (Acurácia), 0,874 (kappa), 0,983 (Precisão), 0,952 (F1-Score), 0,947 (AUC), 0,972 (Especificidade) e 0,983 (Sensibilidade). Já na geração automática de laudos para radiografias de lombo-sacra, as métricas alcançadas foram: 0,612 (BLEU-1), 0,552 (BLEU-2), 0,507 (BLEU-3), 0,470 (BLEU-4), 0,471 (METEOR) e 0,633 (ROUGE-L). Para os laudos gerados a partir de radiografias de pododáctilos, os resultados foram: 0,516 (BLEU-1), 0,432 (BLEU-2), 0,386 (BLEU-3), 0,370 (BLEU-4), 0,414 (METEOR) e 0,364 (ROUGE-L). Esses resultados destacam a eficácia do método desenvolvido, que demonstrou potencial para melhorar a precisão dos diagnósticos, otimizar o processo de triagem e oferecer uma solução prática e eficiente para a geração automática de laudos médicos, contribuindo significativamente para o avanço da prática clínica moderna. ABSTRACT: Radiography is an essential tool in modern medicine for visualizing the internal structures of the human body. This technique, widely used to examine various pathologies, such as bone diseases and soft tissue abnormalities, provides detailed images based on the differential absorption of X-rays by tissues of different densities. However, the analysis of radiographs presents significant challenges, including the identification of subtle anomalies and the accurate interpretation of images, often hindered by variability in exams and the heavy workload of radiologists. This thesis proposes an innovative approach to optimize the triage of exams and the generation of preliminary medical reports from radiographs, focusing on lumbosacral and pododactyl radiographs. The developed methodology combines predictive and generative artificial intelligence techniques, utilizing advanced convolutional neural network architectures such as Inception-V3, VGG, and ResNet50, alongside generative models based on Transformers, to address the challenges associated with radiographic analysis. The main objective is to improve the efficiency of exam triage and provide automated medical reports as clinical decision support, offering a detailed second opinion to assist in the diagnosis of both the lumbosacral spine and pododactyls. The research used two radiographic datasets: a lumbosacral dataset comprising 44,540 images and a pododactyl dataset comprising 16,710 images. The images were collected from hospitals and clinics across Brazil, encompassing a variety of clinical scenarios. The development of predictive models, based on deep learning, focused on triaging and filtering radiographs, identifying exams that require further attention, and optimizing the efficiency of the process. Additionally, generative models were developed using data augmentation and fine-tuning techniques for the automatic generation of preliminary medical reports, complementing the radiologists’ work with detailed diagnoses and descriptions from the analyzed images. The results obtained for the classification of lumbosacral pathologies using an ensemble technique demonstrated high accuracy, with values of 0.941 (Accuracy), 0.874 (κ), 0.983 (Precision), 0.952 (F1-Score), 0.947 (AUC), 0.972 (Specificity), and 0.983 (Sensitivity). For the automatic generation of reports for lumbosacral radiographs, the achieved metrics were: 0.612 (BLEU-1), 0.552 (BLEU-2), 0.507 (BLEU-3), 0.470 (BLEU-4), 0.471 (METEOR), and 0.633 (ROUGE-L). For the reports generated from pododactyl radiographs, the results were: 0.516 (BLEU-1), 0.432 (BLEU-2), 0.386 (BLEU-3), 0.370 (BLEU-4), 0.414 (METEOR), and 0.364 (ROUGE-L). These results highlight the effectiveness of the developed method, which demonstrated potential to improve diagnostic accuracy, optimize the triage process, and offer a practical and efficient solution for the automatic generation of medical reports, contributing significantly to the advancement of modern clinical practice.