Postagem em destaque

Autoeficácia nas palavras do próprio Albert Bandura

Este artigo traduzido faz parte dos meus estudos de doutorado. Ele fornece um referencial teórico importante para estudantes e professores...

quarta-feira, 16 de dezembro de 2009

Críticas construtivas à prova do CREMESP

O Conselho Regional de Medicina divulgou em seu site os resultados da prova do CREMESP de 2009. Em princípio, trataria-se de uma iniciativa benéfica para a formação dos jovens médicos e para a sociedade que se serve de seus serviços. Mas os problemas surgem logo de cara. Já no subtítulo a chamada pernóstica: "Reprovados 56% dos estudantes de sexto ano de Medicina que realizaram o Exame do Cremesp em 2009". Uma tremenda forçada de barra, por vários motivos.
1) Muitas questões cobram memorização ao invés de raciocínio, isto é, tem um nível taxonômico baixo. Nos dias de hoje, com a informação facilmente acessível em palms e iPhones da vida, é uma perda de tempo forçar os estudantes a decorarem "verdades" que são logo ultrapassadas. Com o surgimento de evidências científicas cada vez melhores e mais numerosas, é fato que a "verdade" em medicina é efêmera, e o ritmo das descobertas nos campos do diagnóstico e do tratamento, é cada vez mais acelerado. Com isso, fica evidente que hoje o médico deve ser treinado a gerar hipóteses, compreender processos e resolver problemas, o que é cognitivamente muito superior à mera memorização de nomes e números. Algumas questões dessa prova do CREMESP foram tão na contramão da educação médica moderna, que dá até vergonha. Além de uma baixa representatividade do conteúdo que deveria estar no blueprinting da formação do médico brasileiro.
2) A análise psicométrica das questões foi superficial, anotando-se ao lado das questões mais erradas, apenas o índice de dificuldade. Em nenhum momento mencionou-se os procedimentos de validade e confiabilidade/fidedignidade. Sem a análise psicométrica mais profunda, que permita a validação e a verificação da precisão das questões, jamais poderia o CREMESP afirmar que houve "reprovações" ou "aprovações" na prova, especialmente considerando o propósito de "exame de ordem" inserido implicitamente nessa empreitada. Existem métodos sérios para determinação de "cut-offs" para decisões de aprovação/reprovação, como os métodos de Angoff, Hofstee, Ebel e suas modificações. A possibilidade de que essa prova seja usada para medir a competência profissional dos egressos de cursos de graduação em Medicina exige uma análise psicométrica mais séria que essa demonstrada no relatório divulgado.
3) Apesar de acreditar nos bons propósitos da prova, penso que para ela cumprir de forma adequada seus objetivos, é necessária uma extensa requalificação dos processos de confecção e correção do teste, que garantam a qualidade das questões e promovam mudanças benéficas às instituições avaliadas, com feedback detalhado. Caso contrário, será apenas um instrumento de propaganda negativa para a própria Medicina, seus cursos de graduação e todos os futuros profissionais.

Penso que, se aprimorada, essa prova poderá realmente ser utilizada para que se propõe. O problema é que, mesmo já estando no quinto ano de sua realização, essa prova ainda não mostrou a que veio. Coloco-me à disposição do CREMESP para ajudar na avaliação psicométrica da prova, incluindo o cálculo das matrizes de correlações, covariâncias, da análise fatorial e do alfa de Cronbach - medida da consistência interna do teste e principal método de estudo de confiabilidade de uma prova.

UPDATE (03 de abril de 2010):
Essa inquietação virou um trabalho científico, cujo resumo e referências bibliográficas estão aqui.
Related Posts Plugin for WordPress, Blogger...