Analyse docimologique des épreuves écrites à la Faculté de médecine de Tunis
Mots-clés :
indice de difficulté, indice de discrimination, consistance interne, courbe de distribution des scores.Résumé
Résumé
Prérequis : Parmi les diverses techniques docimologiques permettant l’étude objective des épreuves, l’analyse des items (questions) utilise différents indices et coefficients obtenus à partir des questions et de l’examen pour en juger la valeur. Notre travail avait pour objectif principal de déterminer les indices métriques principaux des questions d’examen.
Méthodes : Notre base de données a été l’ensemble des notes de tous les étudiants, à tous les niveaux, à toutes les questions, des épreuves écrites passées à la session principale de l’année universitaire 2012-2013 à la Faculté de Médecine de Tunis, soit un total de 2515 étudiants, de 66 épreuves (thèmes / certificats), de 187 disciplines et de 3138 questions. Nous avons utilisé pour l’analyse des questions le fichier « AnItem.xls ».
Résultats : L’indice de difficulté moyen des 66 épreuves a été optimal optimal, soit 0.59. Les questions classées à difficulté acceptable ou faciles ont été prédominantes, représentant 89.17% du total des questions. Le pouvoir discriminant de toutes épreuves a été moyen, soit un indice moyen de discrimination de 0.28. Les questions à mauvaise discrimination ont représenté 23,62% du total des questions. La meilleure discrimination a été retrouvée pour les disciplines à difficulté variant de 0,4 à 0,6. Les questions idéales ont représenté 27,02% des questions avec de larges variations au sein des disciplines. L’homogénéité interne, toutes épreuves confondues, a été acceptable (alpha de Cronbach de 0,79) mais la majorité des disciplines avait une homogénéité non acceptable. Ces dernières avaient au maximum 33 questions (chacune) et la corrélation entre leur alpha et le nombre de leurs questions a été positive. Les courbes de distribution des scores ont été majoritairement platykurtiques (72.73%) et à asymétrie négative (89,39%). Le Premier Cycle des Etudes Médicales 1 (PCEM1), soit la première année, a été le niveau avec les meilleurs indicateurs métriques.
Conclusion : L’analyse d’items a montré que nos épreuves étaient de consistance interne acceptable et de bonne qualité en termes de difficulté et de discrimination. Elles tendaient à la facilité et discriminaient surtout entre les étudiants moyens. Une analyse continue permettra d’améliorer encore plus leur qualité.
Téléchargements
Références
Hingorjo MR, Jaleel F. Analysis of One-Best MCQs: the difficulty index, discrimination index and distractor efficiency. J Pass Med Assoc 2012; 62:142-147.
University of Washington. Office of educational assessment. Understanding item analysis. (http://www.washington.edu/oea/services/scanning_scoring/scoring/item_analysis.html). Accessed February 21, 2015.
MacAlpine M. A summary of methods of item analysis. CAA Centre Bluepaper 2, University of Luton 2002.
Educational Data Systems. Preliminary item statistics using point-biserial correlation and p-values. (http://www.eddata.com/resources/publications/EDS_Point_Biserial.pdf). Accessed February 21, 2015.
Tavakol M, Dennick R. Making sense of Cronbach's alpha. Int J Med Educ 2011; 2:53-55.
Meshkani Z, Hossein Abadie F. Multivariate analysis of factors influencing reliability of teacher made tests. IJME 2005; 6:149-152.
Kartik A, Neeraj R. Itemized analysis of questions of multiple choice question (MCQ) exam. IJSR 2013; 2:279-280
Tabatabaee M, Bahreyni Toosi M, Derakhshan A, Dalloee M, Gholami H. Analytic assessment of multiple-choice tests. IJME 2003; 2:87-91.
Henrysson S. Correction of item-total correlations in item analysis. Psychometrika 1963; 28:211-218.
McDonald M. Systematic assessment of learning outcomes: Developing multiple-choice exams. Mississauga: Jones and Bartlett Publishers; 2002.
Barman A, Ja'afar R, Rahim F, Noor A. Psychometric characteristics of MCQs used in assessing pahase-II undergraduate medical students of university Sains Malaysia. The Open Medical Education Journal 2010; 3:1-4.
Bouzidi L, Jaillet A. Can online Peer assessment be trusted?. Educational Technology and society 2009; 12:257-268.
Mitra NK, Nagaraja HS, Ponnudurai G, Judson JP. The levels of difficulty and discrimination indices in type A multiple choice questions of pre-clinical semester 1 multidisciplinary summative tests. IeJSME 2009; 3: 2-7.
Yu CH. Talk presented at: SAS Users Group International 26; April 23, 2001; California, CA. (http://www2.sas.com/proceedings/sugi26/p246-26.pdf). Accessed February 21, 2015.
Gliem J, Gliem R. Talk presented at: Midwest Research to Practice Conference in Adult, Continuing, and Community Education. October 9, 2003; Ohio, OH. (https://scholarworks.iupui.edu/bitstream/handle/1805/344/Gliem%20&%20..?sequence=1). Accessed February 20, 2015
Jackson S. Research methods: a modular approach. Belmont, CA: Cengage Learning; 2008
Lord F. Applications of item response theory to practical testing problems. New York, NY: Routledge 2008.
Theodorsson T, El Shafie K, Al Wardy A, Khan A, Al Mahrezi A, Al Shafaee M. Assessment of family doctors in Oman: getting the questions right preliminary findings of a performance analysis of multiple choice questions. The Internet Journal of Medical Education 2009; 1
Si-Mui S, Rashiah R. Relationship between item difficulty and discrimination indices in true/false type multiple choice questions of a para-clinical multidisciplinary paper. Ann Acad Med Singapore 2006; 35:67-71.
