Évaluation des compétences : le modèle des ECOS

Dans le cadre de la réforme du deuxième cycle des études médicales, l’accent est mis sur l’acquisition des compétences cliniques, qui seront désormais prises en compte dans le  dispositif de répartition des postes d’internes remplaçant les ECNi.

Leur évaluation doit répondre à des critères d’objectivité et de reproductibilité, permettant de conserver l’égalité des chances entre les étudiants et de s’assurer que l’étudiant a bien acquis les compétences au programme du deuxième cycle.

Ainsi, la prise en compte des notes de stage lors de l’évaluation finale n’a pas été souhaitée, car ne conférant pas assez de garanties d’équité entre les étudiants.

A la place, une méthode d’évaluation des compétences cliniques reproductible et scientifiquement  documentée a été proposée : les ECOS.
Existant depuis plus de vingt ans, une importante variété d’ECOS ont été décrites. Voici une présentation des principes généraux des ECOS.

Qu’est-ce que les ECOS ?

Les Examens cliniques Objectifs et Structurés (ECOS) sont un outil d’évaluation des étudiants en science de la santé (infirmiers, médecins, etc.), utilisé dans de nombreux pays. C’est un outil basé sur la simulation permettant d’évaluer de manière standardisée le comportement et les performances professionnelles.

Déroulement de l’examen

L’examen prend généralement la forme de 8 et 20 stations de 5 à 15 minutes chacune. Elles permettent de mettre en place des séquences d’évaluation, sous la forme de scénarios cliniques associés à des questions. Elles peuvent être de plusieurs types :

• Station avec patient standardisé. L’étudiant interagit avec un patient standardisé, c’est-à-dire un patient simulé. Ce peut être un comédien, un patient expert, un enseignant, un ancien malade, ayant appris un scénario et ayant été entraîné.  
  L’étudiant peut se voir demander d’effectuer une anamnèse, un examen clinique, un geste technique, une prise en charge, etc. L’étudiant est évalué sur l’exécution de cette tâche, la communication, les aspects éthiques et relationnels. Il peut être ajouté des phases de “débriefing” à certaines stations afin d’expliciter sa conduite.  
• Station avec matériel. L’étudiant doit exécuter une procédure, décrire ou interpréter des éléments cliniques. Pour cela, des mannequins, des enregistrements audio ou vidéo, des photos, des pièces anatomiques ou histologiques, etc. peuvent être utilisés.

En arrivant à une station, une fiche consigne est fournie par l’examinateur. Elle comprend toutes les informations nécessaires sur le cas présenté, ainsi que la part de prise en charge devant être effectuée dans cette station (effectuer l’examen clinique, proposer des hypothèses diagnostiques, des examens complémentaires, etc).

L’étudiant enchaîne les stations l’une après l’autre en respectant le sens de circulation, la durée de la station et le temps de transit entre stations. Il n’est ainsi jamais en contact avec un autre étudiant dans le circuit ou ayant déjà effectué l’épreuve, pour éviter tout risque de fraude.

Portrait des ECOS

     Un examen d’une grande qualité pédagogique

Les ECOS permettent d’évaluer dans un cadre standardisé de multiples capacités de nature technique, relationnelle et éthique au programme du deuxième cycle des études médicales. Les différents aspects d’une consultation sont traités, permettant de construire un profil représentatif des compétences de l’étudiant, ciblant ses forces et faiblesses. Son exploitation à des fins de formation permet de définir des axes de travail visant à développer l’ensemble des compétences nécessaires en fin de deuxième cycle.

De nombreuses situations cliniques sont proposées lors d’un même examen, permettant à l’étudiant de se retrouver confronté à une grande diversité de prises en charge relevant de situations courantes qu’il sera amené à rencontrer dans sa pratique professionnelle future. L’ensemble du référentiel de compétences du deuxième cycle peut donc être abordé lors de cet examen.

De plus, les résultats obtenus lors d’ECOS démontrent une corrélation élevée avec la qualité de la pratique en situation réelle.

     Caractéristiques docimologiques

Les ECOS sont des épreuves pouvant présenter une bonne fidélité, c’est-à-dire garantissant une équité entre les étudiants. Il faut pour cela avoir entre 8 et 20 stations d’une dizaine de minutes chacune. C’est  donc ce que nous avons proposé dans le cadre de la réforme.

L’utilisation d’une grille de correction élaborée de façon collégiale et testée préalablement permet de satisfaire les impératifs d’objectivité liés à ce type d’épreuves.

Toutes ces caractéristiques sont donc particulièrement intéressantes en vue d’une utilisation dans le cadre d’épreuves visant à classer les étudiants.

     Limites et  lacunes

Les ECOS présentent malgré tout quelques points de vigilance. N’étant pas un examen au lit du malade mais une simulation, les situations ne sont pas toujours conformes à la réalité. La standardisation de l’examen, indispensable au maintien de l’équité, nuit par ailleurs à la véracité des situations.

De plus, lors de l’ECOS, l’évaluation porte sur des prises de décision observables. Le comportement des étudiants peut parfois relever de mimétisme, sans que l’étudiant ait réellement développé la compétence souhaité. Cet effet est néanmoins moindre lorsqu’un temps d’explicitation du raisonnement est prévu à la fin de la station.

De manière générale, l’évaluation des compétences pose en elle-même des difficultés. Il est en effet compliqué de traduire l’acquisition des compétences sur une échelle numérique. Il est néanmoins possible de le classer comme “acquis”, “en cours d’acquisition”, “absent”, permettant de classer les étudiants.

Les ECOS sont actuellement la modalité d’évaluation des compétences privilégiée pour la future procédure de matching. Bien que présentant des défauts et demandant une certaine organisation, ils constituent un moyen d’évaluation fiable, standardisé et reproductible du développement des compétences de l’étudiant.
Sa mise en place nécessite une formation à la fois des équipes pédagogiques facultaires, mais aussi des étudiants. L’ANEMF insiste lors des discussions sur l’évaluation des compétences pour que les étudiants qui seront évalués selon cette méthode, puissent avoir accès durant leur formation à des entraînements facultaires pour se familiariser avec ce format.

 

ressources bibliographiques :

Comment (mieux) former et évaluer les étudiants en médecine et en sciences de la santé ? , Thierry Pelaccia, 2017, Chapitre 20

https://webtv.univ-rouen.fr/videos/examen-clinique-objectifs-structures-quand-et-pourquoi-utiliser-cette-methode-devaluation/

http://www.unifr.ch/clinical-skills/assets/files/Examens/guide%20eval.pdf
Epstein, 2007

Tamblyn and all, 1998