EXPLORAÇÃO DE MODELOS HÍBRIDOS COM ATENÇÃO PARA CLASSIFICAÇÃO DE CERATITE INFECCIOSA EM IMAGENS DE MICROSCOPIA CONFOCAL IN VIVO

Abstract

RESUMO: A ceratite infecciosa (CI) é uma inflamação da córnea causada por agentes patológicos, como fungos e protozoários do gênero Acanthamoeba, podendo evoluir para cegueira quando não diagnosticada precocemente. Embora a cultura microbiológica seja um método preciso de diagnóstico, sua natureza invasiva e o tempo de resposta limitam o uso clínico. Nesse contexto, a microscopia confocal in vivo (IVCM) surge como alternativa não invasiva e de alta resolução, porém sua interpretação demanda expertise especializada. Este trabalho investiga modelos de deep learning para a classificação automática de imagens IVCM em quatro classes: ceratite fúngica (FK), ceratite por Acanthamoeba (AK), ceratite não especificada (NSK) e córnea normal. A partir da base pública IVCM-Keratitis, foram avaliadas quatro arquiteturas convolucionais individuais (VGG16, MobileNetV3, DenseNet161 e ResNet101) e quatro abordagens, baseadas na concatenação de vetores de características de duas arquiteturas base. As abordagens mais completas incorporam um bloco de atenção do tipo Self-Attention (SA) após a concatenação, permitindo ponderar a relevância relativa das características antes da classificação por uma MLP. Os resultados indicam que a Abordagem IV (DenseNet161 + ResNet101 com SA) apresentou o melhor equilíbrio entre detecção e erros de classificação, alcançando médias de precisão de 96,22%, sensibilidade de 96,01% e F1-score de 96,03% (acurácia média de 96,01%). Por fim, aplicou-se o algoritmo Grad-CAM para interpretar qualitativamente as regiões mais relevantes nas predições, evidenciando padrões de atenção complementares entre as arquiteturas base. Os achados sugerem que modelos híbridos com SA podem contribuir para diagnósticos assistidos em contextos com escassez de especialistas, apoiando a tomada de decisão clínica e reduzindo casos de perda visual evitável. ABSTRACT: Infectious keratitis (IK) is an inflammation of the cornea caused by pathogenic agents such as fungi and protozoa of the genus Acanthamoeba, and it may progress to blindness when not diagnosed early. Although microbiological culture is an accurate diagnostic method, its invasive nature and turnaround time limit routine clinical use. In this context, in vivo confocal microscopy (IVCM) emerges as a non-invasive, high-resolution alternative; however, its interpretation requires specialized expertise. This study investigates deep learning models for automatic classification of IVCM images into four categories: fungal keratitis (FK), Acanthamoeba keratitis (AK), non-specified keratitis (NSK), and normal cornea. Using the public IVCM-Keratitis dataset, we evaluated four individual convolutional architectures (VGG16, MobileNetV3, DenseNet161, and ResNet101) and four hybrid approaches based on concatenating feature vectors extracted by two backbone networks. The most comprehensive variants incorporate a self-attention (SA) block after concatenation, enabling adaptive weighting of the relative importance of features prior to classification by an MLP. The results indicate that Approach IV (DenseNet161 + ResNet101 with SA) achieved the best balance between detection performance and misclassification errors, with mean precision of 96.22%, sensitivity of 96.01%, and F1-score of 96.03% (mean accuracy of 96.01%). Finally, Grad-CAM was employed to qualitatively interpret the most relevant regions driving the predictions, revealing complementary attention patterns between the backbone networks. Overall, the findings suggest that SA-enabled hybrid models can support computer-aided diagnosis in settings with limited specialist availability, assisting clinical decision-making and reducing avoidable vision loss.