Mini-CEX. Retroalimentar o… retrogradar

Según las teorías Neuro-científicas sobre el aprendizaje universitario, la planificación de estrategias de enseñanza aprendizaje y evaluación deben estimular muchas áreas o componentes cerebrales que interrelacionados logran un mejor aprendizaje.

Por otra parte, se considera que la evaluación formativa con estrategias de observación directa en el lugar de trabajo, como el Mini-CEX, brinda resultados de aprendizajes efectivos como lo demuestran algunas considerables evidencias en el campo de la salud.

La retroalimentación o devolución es un componente fundamental del Mini-CEX. 

¿…Qué es la retroalimentación formativa…?: Es la información específica sobre el desempeño observado de un alumno comparado con un estándar, dada con la intención de mejorar el rendimiento del alumno.

Surgen también, inquietudes como; ¿…quién, cómo, dónde y cuándo debe efectuarse…?.

La retroalimentación narrativa y específica (…y no un puntaje) de una evaluación formativa en el campo de la clínica médica cumple un papel fundamental en este complejo proceso. Para que la retroalimentación se comporte como una variable que intenta medir el efecto sobre el aprendizaje, ésta debe ser una medida del efecto objetivable, reproducible y en lo posible práctica. Una de las posibles consecuencias de una devolución insuficiente del evaluador sobre la observación directa del desempeño del alumno podría ser una respuesta negativa en la esfera de la motivación con ansiedad y sensación de desaliento, en las habilidades-destrezas.

Debe tenerse presente que la retroalimentación se ha vinculado con la motivación, percepciones autoestima y autorreflexión que podrían explicar resultados negativos en el alumno antes descriptos los que pacientemente deberían ser encaminados hacia un comportamiento que faciliten la auto-evaluación y el aprendizaje autorregulado de sus habilidades ya que son claves para su futura práctica profesional competente. En este sentido, y en forma complementaria, existen experiencias basadas en la revisión de rendimiento capturados en videos en las que el alumno tiene la oportunidad de auto-evaluarse registrando su propia evolución en sucesivos encuentros durante la cursada. (Hammoud M y cols. Is video review of patient encounters an effective tool for medical student learning? A review of the literature. Advances in Medical Education and Practice 2012:3 19–30. Disponible de: http://www.dovepress.com/is-video-review-of-patient-encounters-an-effective-tool-for-medical-st-peer-reviewed-article-AMEP )

Una retroalimentación deficiente ocurre debido a varias situaciones descriptas. Una de las más frecuentemente citadas es la directa falta/ausencia de devolución. Una devolución poco clara, falta de concreción en el desempeño observado pone al evaluador en situación de aparente falta de interés desde la perspectiva del alumno quien espera recibir una opinión sobre su desempeño. (Saedon H y cols. The role of feedback in improving the effectiveness of workplace based assessments: a systematic review. BMC Medical Education 2012, 12:25 Disponible de: http://www.biomedcentral.com/1472-6920/12/25 )

También es muy importante que el evaluador se encuentre verdaderamente entrenado e implicado en una retroalimentación continua hacia el alumno. Además, ésto permitirá al docente aprender a reconocer la necesidad de empatizar con el alumno, tratar con calidez e interactuar con confianza en el proceso de aprendizaje. 

Propuestas para mejorar la retroalimentación:

La retroalimentación debe formar parte de una agenda de mejoramiento de calidad en la enseñanza clínica.

Entrenamiento apropiado de los evaluadores para dar una retroalimentación de alta calidad

Debe detectar problemas precozmente y hacer una devolución inmediata, en tiempo real.

Ayudar a aclarar lo que es un buen rendimiento (objetivos, criterios, estándares esperados);

Facilitar el desarrollo de la auto-evaluación (reflexión) en el aprendizaje;

Alentar al docente y a sus pares al diálogo en torno al aprendizaje;

Alienta creencias motivacionales positivas y de autoestima del alumno;

Proporciona oportunidades para cerrar la brecha entre el desempeño actual y el deseado;

Provee información a los docentes que se puede utilizar para ayudar a adaptar la enseñanza.

(Nicol D, Macfarlane-Dick D. Formative assessment and selfregulated learning: a model and seven principles of good feedback practice. Studies in Higher Education Vol. 31, No. 2, 2006: 199–218. Disponible de: http://dx.doi.org/10.1080/03075070600572090 )

Un modelo modificado para dar una retroalimentación efectiva (narrativa y específica) podría ser:

·         Reflexión del alumno sobre lo que se hizo bien,

·         Lo que se puede mejorar y

·         Dar un plan de acción.

Las intervenciones para dar una retroalimentación efectiva dependen más del usuario (evaluadores-evaluados) que del instrumento mini-CEX (formulario e instrucciones).

Aunque lleva tiempo y esfuerzo aplicarla, es una herramienta de gran valor para el desarrollo académico de nuestros alumnos. (Alves de Lima A. Devolución constructiva. Una estrategia para mejorar el aprendizaje. MEDICINA (Bs As) 2008; 68: 88-92. Disponible de: Devolución constructiva).  

José Gómez

Mini-CEX - Herramienta de evaluación con observación directa y retroalimentación: Mejorando la Calidad Educacional

Algunas herramientas de evaluación con observación directa continúan en debate acerca de la calidad y del  impacto educativo o medida del efecto educativo (propiedades psicométricas) sobre el aprendizaje en educación médica de grado.

Por ejemplo algunas de éstas son: Exámen clínico con objetivo estructurado (OSCE); Exámen caso largo objetivo estructurado (OSLER); Evaluación de habilidades técnicas con objetivo estructurado (OSATS), todas evalúan en el nivel “muestra cómo” (Miller), miden competencias en todo lo que es capaz de hacer (observador/evaluador no visible).

Otras herramientas con observación directa más retroalimentación inmediata como el ejercicio de evaluación clínica reducido (Mini-CEX); Observación directa de habilidades de procedimientos (DOPS); Discusión basada en casos (CbD) / Gráfico de estímulo recordatorio (CSR); Mini evaluación por pares (mini-PAT), éstas evalúan en el nivel “Hace” y miden el rendimiento/habilidades clínicas reiteradamente en cada uno de los dominios clínicos con observación directa (observador/evaluador visible al lado del alumno y del paciente) y retroalimentación inmediata para potenciar buenos desempeños y mejorar déficits en etapa formativa. (Boursicot K et al. Performance in assessment: Consensus statement and recommendations from the Ottawa conference. Med Teach 2011: 33: 370-383).

El Mini-CEX (ABIM 1990) ha demostrado ser válido, confiable y factible y se utiliza en forma creciente en la etapa de grado en educación médica en nuestro país. El impacto educativo se relaciona con el proceso formativo del alumno, generalmente muy bien aceptado por evaluadores y alumnos pero requiere entrenamiento continuo de los evaluadores para realizar observación directa y para otorgar una buena retroalimentación oportuna. Este efecto podría ser mejorado si se combina con otra herramienta como el ejercicio de habilidades de comunicación.

Esta herramienta también se encuentra influenciada por múltiples fuentes de errores en la medición como pueden ser aquellos provenientes de los propios alumnos, los pacientes (reales o estandarizados), los docentes / tutores evaluadores, los ítems a ser evaluados.

A su vez, poniendo al docente evaluador en análisis, lo citado previamente puede resultar al cometer frecuentemente errores como el sesgo de tendencia central (puntuación moderada intermedia y no tan extremas), el sesgo de indulgencia/severidad (evaluador con estilos benévolo o muy exigente), el efecto halo (la impresión inicial lleva a valorar el resto en el mismo sentido), el efecto de contaminación (competencias destacadas pero impertinente para la evaluación efectuada), el efecto novedad (evaluador encandilado que desconsidera trayectoria educativa). 

Dado que evaluar con Mini-CEX se realiza un proceso continuo de observación directa y retroalimentación inmediata, un avance aparentemente importante en el mejoramiento de los resultados con ésta herramienta podría ser la aplicación de la técnica estadística de “Generalizabilidad o Teoría G” disponible en algunos programas comerciales de estadística. Aunque la interpretación es muy laboriosa, con la ecuación G mediante un análisis de variancia se pueden identificar y estimar componentes de variación que influencian los resultados y posibilita que la diferencia de puntajes encontrada entre alumnos evaluados sea verdadera o real (por ejemplo, Coeficiente G = 0.8 o mayor) y no debida a variancia o ruidos (facetas). La mayor confiablidad que otorga este coeficiente fundamenta el estudio de decisión (D-study). La variancia mayor es siempre esperada normalmente desde los alumnos y la variabilidad que influye marcadamente en los resultados es la proveniente de los evaluadores. (Tavakol M. Post-examination interpretation of objective test data: Monitoring and improving the quality of high-stakes examinations: AMEE Guide No. 66. Med teach 2012; 34: e161–e175)

José Gómez

Criterios de una buena evaluación de competencias profesionales: ¿…Beneficio educacional…?

Evaluar permite determinar si se lograron los objetivos del proceso de enseñanza aprendizaje e implica un proceso sistemático de acopio de información a través de la aplicación de instrumentos válidos y confiables, para analizarla objetivamente en lo cuantitativo y en lo cualitativo y así poder emitir juicios de valor sobre el grado de correspondencia de la información y criterios previamente establecidos, fundamentando la toma de decisiones sobre el proceso de enseñanza aprendizaje.

Para qué evaluar puede ser respondida de múltiples forma pero la más significativa es que permite establecer estrategias de estímulo, correctivas y de mejora del proceso de enseñanza aprendizaje. En éste contexto la evaluación formativa o de proceso intenta mejorar la performance y facilitar el aprendizaje, reforzando conductas positivas, desalentando las negativas, enriqueciendo la relación entre el docente y el estudiante, favoreciendo el aprendizaje continuo y promoviendo la comunicación entre el docente y el estudiante.

Las estrategias evaluatorias formativas basadas en la observación directa y con oportunidad de retroalimentación han sido descriptas al menos en cuatro tipos: Ejercicio de Evaluación Clínica Reducido (EECR; MiniCEX); Observación Directa de Habilidades de Procedimientos  (ODHP); Evaluación Estructurada Objetiva de Habilidades Técnicas (EEOHT) y Discusión Basada en Casos  (DBC; Casos, viñeta clínica, ateneos). (Norcini J and Burch V. 2007. Workplace-based assessment as an educational tool: AMEE Guide no 31. Med Teach 29:855–871. LCME / ACGME.)

Si analizamos las principales ventajas del Mini-CEX se comprobaron su confiabilidad y su validez de contenido, evalúa diferentes situaciones clínicas, es de corta duración y está focalizada en la evaluación del paciente en un escenario real. La evidencia indica que el Mini-CEX evalúa el nivel “Hacer” en la pirámide de Miller.

La Carrera de Medicina de la Universidad Nacional del Nordeste (U.N.NE.) tiene como objetivo principal la formación de un médico generalista. Haciendo foco en el objetivo principal de la carrera y en busca de un mejoramiento continuo de la calidad en educación médica, los criterios de una buena evaluación formativa deben reconocer la íntima relación entre la retroalimentación y un aprendizaje continuo del alumno. Los criterios revisados fueron: Validez, Reproducibilidad, Equivalencia, Factibilidad, Efecto educacional, Efecto catalítico y Aceptabilidad. (Norcini J, et al. Criteria for good assessment: consensus statement and recommendations from the Ottawa 2010 Conference. Med Teach. 2011; 33: 206–214.)

Es así que parece resultar fácil que los criterios para una buena evaluación permiten alinear la mejor estrategia evaluatoria con la práctica educacional y pueden evitar efectos no intencionados. Entre los puntos clave destacados en el consenso/recomendaciones se encuentran algunos criterios importantes como el efecto educacional y el catalítico. Uno de los puntos prácticos que se derivan es que la institución debe desarrollar un programa de entrenamiento continuo a los docentes involucrados para ser mejor evaluador con la aplicación del Mini-CEX, además, aprender a usar los resultados de la evaluación continua y frecuente para mejorar la calidad de futuros aprendizajes y analizar la calidad de la evaluación como monitoreo de la calidad de la enseñanza en la institución.

A partir de aquí ya no parece tan fácil y como ocurre generalmente con la aparición de nuevas formas de evaluación, como un trabajo en progreso que incorpora aspectos cuali-cuantitativos y de contexto realista, uno de los criterios más considerados es el “efecto educacional”. Este efecto puede ser  entendido como la motivación de las personas a prepararse de una manera que tiene un beneficio educacional percibido como maduración profesional. Sin embargo existe escasa evidencia al estudiar éste criterio en la arena de la evaluación educativa. Alves de Lima A y cols., demostraron en 2 grupos (con y sin Mini-CEX) de alumnos de cuarto año de la carrera de medicina  que no había diferencias en el desempeño clínico cuando fueron evaluados al final de la cursada. (Alves de Lima y cols. Efecto educativo de la evaluación del desempeño profesional: el caso del mini-CEX. MEDICINA (Bs.As.) 2013; 73: 286-291.). Adicionalmente, el complejo interjuego entre el contexto, las subjetividades del alumno, del evaluador docente y del paciente evaluado influyen en cada uno de los comportamientos resultantes.

La educación médica basada en competencias reconoce a la experiencia (expertise) como objetivo final, no un estado supremo; y que requiere evaluación integral continua. (Holmboe E y cols. The role of assessment in competency-based medical education. Med Teach 2010; 32: 676-682.). Se puede extraer entonces que, por ahora, la búsqueda de una evaluación integral continua facilita una maduración profesional competente como una medida (subjetiva) de beneficio percibida  aunque en ausencia de evidencia robusta objetiva.

José Gómez

Aprendizaje basado en problemas con dinámica clínica (ABP)

El ABP está basado en la teoría constructivista. Fomenta la participación y aprendizaje activo del alumno a partir de un problema “gatillo” para que el estudiante defina sus propias necesidades de aprendizaje. Es creciente el uso en ambiente clínico donde el caso clínico real clínico de sala fue previamente seleccionado por los docentes/tutores acorde con los objetivos generales.

Luego, en la dinámica del ABP los alumnos trabajan en la primera sesión (de 2 a 4) sobre la estructura de cuatro columnas: “Problemas”: Se deben aclarar los términos y conceptos, se lee y analiza el caso; “Hipótesis”: se formulan hipótesis y objetivos de aprendizaje; “Dudas” las que surgen de las hipótesis, falta de conocimiento y necesidades de aprendizaje para resolver el caso, “Plan de acción”: buscar bibliografía y las tareas que demanda el caso.

La segunda sesión de ABP los alumnos ya vienen con el caso mejor interpretado y con mayor motivación. Se analiza el caso, se modifican o no las hipótesis, se agregan datos adicionales, se identifican nuevos objetivos de aprendizaje. Aquí es muy importante el estudio independiente que realiza el alumno. La tercera sesión se sintetiza y testea el caso problema; se resuelve el problema. Luego se realiza una encuesta final entre alumnos y al tutor.

Esta estrategia produce en nosotros como docentes, un cambio sustancial ya que estamos en un mismo nivel que el estudiante, dejamos de ser vistos como la “autoridad”. Es muy satisfactorio y reconfortante ver como los estudiantes crecen con su propia agenda de aprendizaje. 

¿…Cómo y cuándo comenzar con el ABP…?. No es fácil, primero se debe tener presente que debe existir la necesidad del cambio e identificar claramente los factores de organización. Comentar entre colegas docentes la posibilidad de aplicar ABP es muy útil, así como la planificación, y la necesidad de una verdadera implicación de parte nuestra; promover una comunicación fluída docente-alumno, mantener una evaluación del progreso del alumno y la necesidad de un presupuesto asignado para los recursos necesarios y básicos.

En la práctica y dispuestos en círculo ¿…qué deben hacer y cómo trabajar…? La información obtenida de la historia clínica se describe en la estructura de cuatro columnas - Problemas, Hipótesis, Dudas, Plan de acción-. A todos les llama la atención esta estrategia pero con pequeñas intervenciones orientadoras alguno logran identificar claramente cuál era el problema del caso clínico elegido pero con alguna dificultad en enunciar claramente las hipótesis. Se debe promover la descripción de la columna de dudas (muy recomendado al iniciar) ya que significan necesidades de aprendizaje y en el plan de acción inicial describir como mínimo la bibliografía necesaria para intentar resolver el caso problema. Algunos preguntan si hay que venir sabiendo los objetivos y el tema, pero no es necesario. Poco a poco se observa que en el grupo comienzan a escucharse e interactuar entre sí, moderando la tendencia de querer resolver todo el caso en una sola sesión, situación que demanda frecuentes intervenciones re-orientadoras,  aclarando que el caso debe resolverse en varias sesiones que se van entregando progresivamente. 

los casos problemas armados en base a las sugerencias del profesor. El ejercicio de elaboración de los casos problemas es un gran desafío dada la exigencia en interpretar claramente la teoría de aprendizaje y la secuenciación basada en la descripción en papel o de encontrar un caso problema real de sala de complejidad intermedia.

Puede ser bastante difícil concordar acerca de varios puntos: 

¿…cuáles son los objetivos de aprendizaje,...uno o varios; 

¿...cómo seleccionar un problema gatillo completo; …

¿...el problema desafía el análisis y la capacidad de manejo del mismo…?.

A modo de ejercicio la información obtenida de los casos elaborados queda impresa en las láminas desarrolladas por los grupos de ABP las que pueden ser comparadas en una línea temporal. En el debate puede haber coincidencia o no, principalmente entre problemas e hipótesis. Se estimula así un interesante intercambio de ideas en torno al pensamiento crítico y el aprendizaje reflexivo.

También es habitual observar que el caso problema presenta dificultades en la contextualización del caso, con las secuencias de hechos y su relación con los objetivos de aprendizaje que había que alcanzar.

¿…cómo evaluar con la estrategia ABP…?. Se deben tener presente algunas variables para ver cómo funciona el grupo: Motivación, relaciones interpersonales, actividad y habilidad grupal para resolver el problema, ganancia de experiencia clínica y de comprensión del problema.

Recordar que lo que se evalúa en el ABP no es el diagnóstico correcto del problema planteado sino el grado de integración e interrelación que se observa en los estudiantes. Para ello se utiliza la siguiente escala: Pobre: Poco amistosos, destructivos; 

Satisfactorio: Habitualmente amistosos, constructivos; 

Sobresaliente: Siempre amistoso, constructivo. Complementando con una evaluación individual y otra grupal de elección múltiple en la última sesión.

El diseño de un programa de estudios usando ABP y centrado en el estudiante debería contener las preferencias de los estudiantes, su participación activa frente a los problemas del proceso educacional. El diseño debe contemplar: Tamaño del grupo tutorial, número de encuentros, apoyo con internet mediante foros, aplicaciones móviles (Android, IOS), nivel de evaluación, rol del tutor en el proceso tutorial, pasantías en hospital universitario, desarrollo de objetivos de aprendizaje, evaluación de habilidades clínicas, longitud del programa, formatos de problemas tutoriales. El aprendizaje no solo parte de problemas sino que incluye la generalización de los conceptos y principios adquiridos aplicables a otras situaciones.

Como docentes debemos debatir con soluciones evitando la inmovilización de la mera discusión teórica y pasar a involucrarnos activamente en el ABP.  Incentivar, moderar, estimular una mayor discusión reflexiva y crítica sobre la información clínica recabada. Facilitar el funcionamiento eficiente acorde a los objetivos de aprendizaje del caso y no adoptar una actitud directriz.

La currícula se encuentra en continuo cambio y los recursos educacionales probablemente siempre sean insuficientes por lo que para evitar un aprendizaje práctico en un ambiente impráctico no debe descuidarse el aspecto presupuestario que demanda la aplicación del ABP: Institución de salud con ambiente clínico, suficiente espacio físico, salones adecuados, material multimedial y audiovisual e internet, refrigeración.

José Gómez