Como o docente avalia o estudante que usou simulação: novos parâmetros para uma nova prática
A prova escrita avalia o que o estudante sabe. A simulação registra o que ele faz quando precisa decidir. O que os dados de desempenho digital revelam (e como o professor pode usá-los para avaliar competências).
Há uma pergunta que os professores que incorporam simulação à formação clínica inevitavelmente fazem em algum momento: como avalio o que o estudante desenvolveu até aqui?
Não o quanto ele memorizou. Não se acertou o diagnóstico no final. Mas se desenvolveu a competência que o exercício se propunha a treinar: raciocinar clinicamente sob incerteza, conduzir uma anamnese com escuta ativa, priorizar riscos, revisar uma hipótese quando um novo dado contradiz a interpretação anterior.
Essas são perguntas que uma prova escrita não responde bem (não porque a prova seja um instrumento inútil, mas porque ela foi desenhada para capturar outro tipo de dado). E é aqui que a simulação abre uma possibilidade nova para o docente: não apenas como método de ensino, mas como método de avaliação.
O que a prova escrita não captura
A avaliação tradicional em saúde é predominantemente somativa: ao final de um período, o estudante demonstra o que sabe por meio de questões de múltipla escolha, dissertativas ou provas práticas pontuais. Esse modelo tem virtudes conhecidas (é padronizável, comparável, escalável), mas apresenta uma limitação estrutural para a formação baseada em competências: ele avalia o produto do aprendizado, não o processo.
O problema é que competências clínicas são, em grande medida, processuais. Saber o diagnóstico correto é diferente de saber chegar ao diagnóstico correto a partir de informações parciais, em tempo real, com a possibilidade de erro ao longo do caminho. O segundo é o que o ambiente clínico real exige e o primeiro é o que a maior parte das provas escritas consegue medir (1).
A literatura sobre avaliação em educação médica tem desenvolvido, nas últimas décadas, o conceito de programmatic assessment (avaliação programática) como resposta a essa limitação. A avaliação programática na formação baseada em competências envolve a coleta de informações quantitativas e qualitativas (pontuações de desempenho e feedback narrativo) que informam o aprendizado do estudante ao longo do tempo. Uma variedade de indicadores de desempenho deve servir como insumo para os julgamentos sobre a progressão do aprendiz, potencialmente enriquecendo a qualidade do feedback. Em vez de depender de um único instrumento de alto impacto, a avaliação programática combina múltiplos pontos de dados, colhidos ao longo do processo formativo, para construir uma imagem mais completa e justa da trajetória do estudante (2).
O que os dados de simulação revelam
É nesse contexto que os relatórios pedagógicos gerados por plataformas de simulação clínica adquirem valor avaliativo concreto. Eles não registram apenas se o estudante chegou ao diagnóstico correto, mas como ele chegou até lá, ou por que não chegou.
No Clinical Case, por exemplo, cada interação do estudante com o paciente virtual gera dados sobre o processo de tomada de decisão: quais perguntas da anamnese foram feitas e em que ordem, quais exames foram solicitados, quais hipóteses foram formuladas, em que momento o estudante revisou sua interpretação e o que motivou essa revisão. O relatório ao final do caso não entrega uma nota, mas um mapa do raciocínio clínico.
Para o docente, esse mapa é pedagogicamente muito mais rico do que o resultado final. Um estudante que chegou ao diagnóstico correto por eliminação, sem compreender a lógica subjacente, aparece de forma diferente no relatório em relação a um estudante que construiu uma hipótese sólida desde o início, mesmo que tenha cometido um erro pontual no caminho.
O MedRoom Anamnesis, por sua vez, opera na mesma lógica aplicada à entrevista clínica: ao final de cada sessão com o paciente virtual, o estudante recebe um relatório pedagógico que avalia dimensões como organização da entrevista, exploração das queixas, escuta ativa e coerência entre os dados coletados e a hipótese formulada. Para o professor, esse relatório é um instrumento de avaliação formativa que nenhuma prova de múltipla escolha consegue gerar.
Como usar esses dados na prática docente
A incorporação dos dados de simulação ao processo avaliativo não precisa ser complexa. Vamos a algumas formas diretas de uso:
- Como avaliação formativa ao longo do semestre: os relatórios do Clinical Case ou do Anamnesis podem substituir ou complementar provas parciais com foco em processo clínico, com critérios claros definidos pelo docente antes da atividade (quais dimensões serão avaliadas, qual nível de desempenho é esperado para aquele momento da formação).
- Como instrumento de feedback individualizado: o professor pode usar os dados do relatório em conversas individuais ou em grupo para discutir padrões de raciocínio (onde a turma como um todo tende a errar, quais etapas da anamnese são sistematicamente negligenciadas, que tipo de exame é solicitado prematuramente ou de forma excessiva).
- Como complemento à avaliação somativa: os dados acumulados ao longo do semestre constroem uma evidência longitudinal do desenvolvimento do estudante, que pode ser considerada na composição da nota final ou nos critérios de progressão, especialmente em cursos que já adotam modelos de formação baseada em competências.
Uma nova forma de olhar para o estudante
O que muda, no fundo, quando o docente começa a usar dados de simulação para avaliar é a pergunta que ele faz. Em vez de "o estudante sabe a resposta?", ele passa a perguntar: "o estudante sabe como pensar diante de um problema clínico?"
Essa mudança de pergunta não é apenas metodológica. É uma mudança de perspectiva sobre o que significa aprender e sobre o que significa avaliar o aprendizado em um campo em que o que o profissional faz com o que sabe importa tanto quanto o que ele sabe.
As ferramentas estão disponíveis. Os dados estão sendo gerados a cada interação. O que cabe ao docente é decidir como usá-los (e deixar que eles informem, com mais precisão e mais justiça, a trajetória de cada estudante).
Quer saber como integrar os relatórios pedagógicos do Clinical Case e do Anamnesis ao seu modelo de avaliação? Fale com a equipe MedRoom e explore como os dados de simulação podem enriquecer sua prática docente.
(1) NORCINI, J. et al. 2018 Consensus framework for good assessment. Medical Teacher, v. 40, n. 11, p. 1102–1109, 2018. DOI: 10.1080/0142159X.2018.1500016. Disponível em: https://pubmed.ncbi.nlm.nih.gov/30299187/
(2) BOK, H. G. J.; DE JONG, L. H.; O'NEILL, T.; MAXEY, C.; HECKER, K. G. Validity evidence for programmatic assessment in competency-based education. Perspectives on Medical Education, v. 7, p. 362–372, 14 nov. 2018. DOI: 10.1007/s40037-018-0481-2. Disponível em: https://link.springer.com/article/10.1007/s40037-018-0481-2
