<link rel="stylesheet" href="styles.f3b1fba60ec7970c.css">

Apparent Attention in Classrooms: Probing Vision Models with Synthetic Data

Carregando...
Imagem de Miniatura

Título da Revista

ISSN da Revista

Título de Volume

Editor

DOI

Resumo

RESUMO: Ao modelar a atenção visualmente aparente em cenários de sala de aula, um conjunto sintético de dados, rotulado por meio de modelos visão–linguagem e construído sob restrições computacionais, fornece uma base empírica sólida para investigar, em condições controladas, o comportamento de representações visuais contemporâneas pré-treinadas. Os resultados reforçam uma interpretação operacional da utilidade das representações, segundo a qual estas são consideradas eficazes na medida em que permitem a extração eficiente de informações relevantes para a tarefa por meio de classificadores simples. Nesse contexto, análises sensíveis à variância e induzidas pela tarefa da geometria dos embeddings indicam que, sob os mecanismos de sondagem e a função de perda adotados, a discriminação supervisionada entre estados atento e desatento induz uma estrutura de sensibilidade efetivamente unidimensional em espaços de embeddings de alta dimensão. Essa estrutura fortemente anisotrópica de sensibilidade da perda já está presente ao operar sobre representações congeladas e pode ser exposta de forma confiável com uma quantidade muito reduzida de dados, como evidenciado pela rápida saturação das curvas de aprendizado e pela limitada sensibilidade ao aumento da capacidade do readout, indicando que o sinal supervisionado necessário para essa discriminação binária é acessível sem adaptação específica do backbone à tarefa. Motivado pela hipótese de que Vision Foundation Models organizam variação relevante para tarefas associadas ao comportamento atencional visualmente aparente quando combinados com readouts leves, este trabalho adota uma perspectiva centrada na representação, que prioriza a análise geométrica em detrimento da otimização ponta a ponta. O reconhecimento da atenção visualmente aparente é, assim, formulado como uma investigação das propriedades geométricas induzidas por objetivos supervisionados em espaços de embeddings pré-treinados, e não apenas como um problema de decodificação. Para testar essa hipótese em condições controladas, é construído um conjunto de dados sintético de sala de aula — disponibilizado publicamente — como instrumento experimental para a perturbação seletiva de indícios atencionais visualmente aparentes em uma variedade de atividades em sala de aula e configurações comportamentais, mantendo-se um rótulo binário de atento versus desatento e sem tratar dados sintéticos como substitutos de distribuições do mundo real. As anotações comportamentais para os alvos binários são fornecidas por modelos multimodais visão–linguagem. Embeddings provenientes de Vision Foundation Models e de um baseline convolucional congelados são então avaliados como objetos geométricos sob regimes de readout com capacidade variável. O desempenho é avaliado por meio de métricas padrão de classificação (Macro-F1 e ROC–AUC), enquanto as propriedades geométricas induzidas pela tarefa são examinadas por meio de projeções sensíveis à covariância (Análise Discriminante Linear) e de espectros empíricos da Informação de Fisher. Os resultados mostram que a separabilidade sob o objetivo binário atento versus desatento emerge com poucas amostras e satura rapidamente, enquanto o aumento da capacidade do readout principalmente intensifica a sensibilidade ao longo da mesma direção discriminativa dominante, em vez de induzir direções adicionais estatisticamente independentes induzidas pela tarefa. O baseline convolucional apresenta um perfil geométrico induzido pela tarefa qualitativamente semelhante, embora com menor eficiência amostral e desempenho inferior nas etapas subsequentes. Em conjunto, esses resultados fornecem evidência quantitativa e não anedótica de que, para a distinção comportamental estudada e dentro das condições explicitamente definidas do presente projeto experimental — incluindo o protocolo de supervisão, o regime de tamanho amostral explorado e a família de mecanismos de readout avaliados —, representações visuais pré-treinadas e mantidas congeladas já tornam acessível a maior parte da variação relevante para a tarefa por meio de adaptadores leves, com benefício marginal limitado decorrente do aumento da complexidade do readout. De forma mais ampla, esses achados motivam o uso de diagnósticos geométricos e baseados na teoria da informação como ferramentas para caracterizar como objetivos supervisionados interagem com representações pré-treinadas, esclarecendo tanto seus regimes efetivos de operação quanto suas limitações. ABSTRACT: When modeling visually apparent attention in classroom scenes, a synthetically generated dataset labeled via vision–language models—constructed under constrained computational resources—provides a strong empirical basis for probing the behavior of contemporary pretrained visual representations under controlled conditions. The results reinforce an operational interpretation of representation usefulness, in which representations are considered effective insofar as they enable efficient extraction of task-relevant information by simple classifiers. In this context, variance-aware, task-induced analyses of embedding geometry indicate that, under the chosen probe and loss, the supervised attentive versus inattentive discrimination induces an effectively one-dimensional sensitivity structure in high-dimensional embedding spaces. This strongly anisotropic loss sensitivity structure is already present when operating on frozen representations and can be reliably exposed with very little data, as reflected in the rapid saturation of learning curves and the limited sensitivity to increased readout capacity, indicating that the supervised signal required for this binary discrimination is accessible without task-specific adaptation of the backbone. Motivated by the hypothesis that Vision Foundation Models can support task-relevant variation for visually apparent attentive behavior when paired with lightweight readouts, this work adopts a representation-centric perspective that prioritizes geometric analysis over end-to-end optimization. Visually apparent attention recognition is thus framed as an investigation into the geometric properties induced by supervised objectives in pretrained embedding spaces, not solely as a decoding task. To test this hypothesis under controlled conditions, a synthetic classroom dataset—made publicly available—is constructed as an experimental instrument for selectively perturbing visually apparent attentional cues across diverse classroom activities and behavioral configurations, while retaining a binary attentive versus inattentive target label and without treating synthetic data as a surrogate for real-world distributions. Behavioral annotations for the binary targets are provided by multimodal vision–language models. Embeddings from frozen Vision Foundation Models and a convolutional baseline are then evaluated as geometric objects under fixed readout regimes with varying capacity. Performance is assessed using standard classification metrics (Macro-F1 and ROC–AUC), while task-induced geometric properties are examined through covariance-aware projections (Linear Discriminant Analysis) and empirical Fisher Information spectra. Results show that separability under the binary attentive versus inattentive objective emerges with few samples and saturates rapidly, while increasing readout capacity primarily sharpens sensitivity along the same dominant discriminative direction instead of inducing additional statistically independent task-induced directions. The convolutional baseline exhibits a qualitatively similar task-induced geometric profile, albeit with reduced sample efficiency and lower downstream performance. Taken together, these results provide quantitative, non-anecdotal evidence that, for the behavioral distinction studied and within the explicitly defined conditions of the present experimental design — including the supervision protocol, the explored sample-size regime, and the family of readout mechanisms evaluated — frozen pretrained visual representations already make most of the task-relevant variation accessible to lightweight downstream adapters, with limited marginal benefit from increasing readout complexity. More broadly, these findings motivate the use of geometric and information-theoretic diagnostics as principled tools for characterizing how supervised objectives interact with pretrained representations, clarifying both their effective operating regimes and their limitations.

Descrição

Orientador: Prof. Dr. Ivan Saraiva Silva Coorientador: Prof.Dr.Kelson Rômulo Teixeira Examinador externo: Prof. Dr. Bruno Motta de Carvalho (UFRN) Examinador interno: Prof. Dr. Vinícius Ponte Machado

Citação

Avaliação

Revisão

Suplementado Por

Referenciado Por