Postagem em destaque

Autoeficácia nas palavras do próprio Albert Bandura

Este artigo traduzido faz parte dos meus estudos de doutorado. Ele fornece um referencial teórico importante para estudantes e professores...

domingo, 18 de abril de 2010

Análise psicométrica do teste de progresso individual (TPI) realizado pelo curso de Medicina da Universidade Cidade de São Paulo em 2009/2

O resumo abaixo é de um estudo que fizemos sobre as propriedades psicométricas do nosso TPI (teste de progresso individual). Espero que gostem.

--------------

Análise psicométrica de um teste de progresso individual (TPI) realizado em um curso de Medicina na cidade de São Paulo.

Carlos Fernando Collares, Waldir L. Grec, Valdes R. Bollela, José Lúcio Martins Machado

INTRODUÇÃO: A alta qualidade na avaliação de competências em escolas médicas requer o uso integrado de diversos instrumentos. Além de propriedades psicométricas adequadas, os instrumentos de avaliação devem ser exeqüíveis e direcionados a partir dos objetivos pedagógicos, considerando o contexto e o ambiente de avaliação. O teste de progresso tem sido utilizado com sucesso tanto em escolas médicas tradicionais quanto naquelas que utilizam a aprendizagem baseada em problemas. É utilizado também em programas de pós-graduação e tem mostrado exeqüibilidade e boa relação custo-benefício. Os testes de progresso não são ligados a nenhum módulo e/ou disciplina do currículo e são aplicados para os alunos de todas as etapas do curso. Por serem abrangentes, considera-se que avaliem a aprendizagem mais significativa, ao invés do mero “estudo para a prova”. Todavia, questões de múltipla escolha supostamente tendem a avaliar níveis taxonômicos mais baixos, sendo criticadas quando avaliam apenas a memorização de fatos isolados. O curso de Medicina onde este estudo foi realizado realiza o TPI semestralmente, na forma de uma prova com 75 questões de múltipla escolha, com enunciados envolvendo situações clínicas, procurando-se observar as orientações do manual do National Board of Medical Examiners (NBME).

OBJETIVOS: estudar as propriedades psicométricas do TPI realizado em uma escola médica da cidade de São Paulo no segundo semestre de 2009.

MÉTODOS: As 75 questões do TPI foram avaliadas por meio de estatística descritiva e das medidas tradicionais da teoria clássica dos testes, como índices de dificuldade e de discriminação, além das correlações bisserial e ponto-bisserial. Calculou-se a correlação bisserial e ponto-bisserial de todas as alternativas, no intuito de identificar questões com percentual elevado respostas erradas entre alunos de elevado desempenho final no TPI. A análise fatorial exploratória foi realizada para assegurar a correção do valor do coeficiente do alfa de Cronbach, o qual é calculado para determinar a confiabilidade da prova, por meio de sua consistência interna. Para a realização das análises foram utilizados os softwares ITEMAN e SPSS.

RESULTADOS: Dos 600 estudantes regularmente matriculados, 385 (64,16%) realizaram o TPI. A média de acertos entre os estudantes de todas as etapas foi de 27,984 questões (37,31% da prova, o que resultou em um índice de dificuldade médio de 0,627), com um desvio padrão de 6,944. A assimetria da curva (“skewness”) foi de 0,395. A curva mostrou-se também platicúrtica (–0,088). As correlações bisserial e ponto-bisserial médias foram de 0,270 e 0,202, respectivamente. A análise fatorial revelou a unidimensionalidade do TPI, conforme observado no scree plot, com a solução unifatorial resultando em um autovalor (“eigenvalue”) aproximado de 4,9. O cálculo do alfa de Cronbach resultou em um coeficiente de 0,707. Apesar disso, 18 questões (24%) mostraram alternativas erradas com correlações ponto-bisseriais significativamente superiores à alternativa correta.

CONCLUSÕES: O valor do alfa de Cronbach demonstra que o TPI apresentou ótima confiabilidade. A assimetria indica que houve leve desvio para a esquerda em relação ao desempenho, o que pode estar relacionado ao elevado percentual de ausentes em algumas etapas mais avançadas. Por outro lado, a curtose discretamente negativa indica pouco desvio da distribuição normal. O achado de alternativas erradas com correlações ponto-bisseriais significativamente superiores à alternativa correta, juntamente com a determinação dos índices de dificuldade, não apenas identificou questões que permitiam interpretações dúbias; mas também sinalizou quais áreas do currículo poderiam necessitar de ajustes no processo de ensino-aprendizagem. A realização de estudos sobre as propriedades psicométricas de instrumentos de avaliação, como o TPI, é uma ferramenta de apoio à garantia da qualidade na educação médica, fornecendo informações que auxiliam não apenas no aprimoramento dos programas de avaliação, mas também na integração curricular e no desenvolvimento docente.


Related Posts Plugin for WordPress, Blogger...