Skip to main content
Detalle de la Buena Práctica

La Evaluación Externa como herramienta para la mejora continua en la implantación y el seguimiento de los Programas de Grado.


Palabras clave: Evaluación Externa, Seguimiento de la Implantación Grados, Mejora Continua, Sistema de Gestión Integrado, USJ

Resumen de la Práctica

La Evaluación Externa es una actividad de evaluación que la Universidad San Jorge desarrolla de forma voluntaria y es complementaria a la evaluación de acreditación de las titulaciones integrada dentro del protocolo de las Agencias de Calidad. Se trata de una evaluación presencial, a la que además del análisis de la documentación se le suman varias reuniones con los grupos de interés, sin que lo señalado resulte vinculante.

La Evaluación Externa permite aportar valiosas sugerencias de mejora a la titulación de grado evaluada o verificar el cumplimiento de las directrices recogidas en el Sistema de gestión integrado de la Universidad, y es especialmente efectiva si se cuenta con la colaboración de expertos de otras universidades que aportan al proceso evaluativo la experiencia acumulada de su conocimiento de la implantación de títulos en otras universidades, nacionales e internacionales. Los procedimientos de Evaluación Externa favorecen el análisis objetivo de las evidencias aportadas por la evaluación interna, y por tanto facilitan el diagnóstico de los resultados obtenidos para proponer acciones de mejora concretas.

La realización del seguimiento permanente de los títulos oficiales implantados en la Universidad San Jorge responde a las directrices para el seguimiento de títulos establecidas por la Red Española de Agencias de Calidad Universitaria (REACU).

A través de la Evaluación Externa se persigue la consecución de los siguientes objetivos:

  • Proporcionar una valoración independiente de la evolución del título desde su implantación.
  • Ofrecer una visión global de la situación actual del título.
  • Realizar un análisis comparativo entre el título de la Universidad San Jorge y títulos semejantes impartidos por otras universidades nacionales e internacionales.
  • Proponer acciones, tanto generales como concretas, que conduzcan a la mejora de la calidad del título.
  • Identificar las buenas prácticas existentes en el título.

En la Evaluación Externa participan todos los grupos de interés presentes en el grado: decano, vicedecano, personal docente e investigador, personal técnico y de gestión y alumnado.

El perfil del evaluador externo definido por la Universidad San Jorge es el de un experto de otra universidad nacional o internacional. Debe ser profesor doctor de relevante prestigio en su actividad docente e investigadora y que aporte experiencia en la evaluación de la implantación y seguimiento de títulos, y por tanto, conocedor del proceso de verificación y desarrollo de títulos. Puede ser miembro de un banco de evaluadores de una agencia de calidad estatal o autonómica, que no sea la ACPUA, por ser la agencia de la comunidad autónoma en que se encuentra implantada la Universidad. En este contexto, los evaluadores no representan a dicho banco ni a su propia universidad de origen.

La Evaluación Externa está implantada en la Universidad San Jorge desde el curso 2009/10. Es un proceso planificado, implantado en todos los grados de la Universidad San Jorge. La Evaluación Externa se realiza con una periodicidad bienal en los nuevos grados que todavía no están acreditados y con periodicidad trienal a partir de su acreditación.

1. Planificación de la Práctica

La Universidad San Jorge adopta dicho seguimiento como un proceso sistemático y continuo para evaluar la implantación y desarrollo de los programas y lo integra como parte de su Sistema de Gestión Integrado y su Planificación Estratégica. De este modo, a los procedimientos internos de seguimiento y evaluación de la calidad, se le suma también los procedimientos vinculados a la Evaluación Externa, entendida como necesaria y complementaria a la evaluación interna o autoevaluación que se lleva a cabo por la propia institución universitaria.

Dentro del Sistema de gestión integrado se dispone de un registro de evaluaciones, en el que se establece qué grados deben realizar la Evaluación Externa en cada curso académico, teniendo en cuenta la periodicidad establecida. La Evaluación Externa es un proceso planificado, al que se van incorporando los nuevos grados que se implantan en la universidad. Anualmente, desde la Unidad Técnica de Calidad, se realiza una planificación de las evaluaciones externas que se van a realizar en el curso académico, y se establecen los recursos humanos y materiales necesarios para su desarrollo.

La periodicidad establecida de las evaluaciones externas es la siguiente:

  • 1ª evaluación externa de un grado: en el segundo año de implantación.
  • 2ª evaluación externa de un grado: en el cuarto año de implantación.
  • Siguiente evaluación: 3 años después de la acreditación del grado.

2. Desarrollo y ejecución de la Práctica

  • Fase 1: Selección del evaluador.

El desarrollo de la Evaluación Externa comienza con la selección del evaluador externo. Desde la Unidad Técnica de Calidad (UTC) se gestiona la selección del evaluador a través de los Bancos de Evaluadores de las distintas agencias de calidad
universitarias.

  • Fase 2: Estudio de la documentación.

Una vez seleccionado el evaluador, y antes de la visita de evaluación, desde UTC se envía por correo electrónico al evaluador la siguiente documentación:

  • Guía Académica del Programa: documento que los alumnos matriculados en el programa tienen a su disposición; contiene información detallada sobre los objetivos, estructura y contenidos del plan de estudios.
  • Memoria Anual del Programa: memoria correspondiente al seguimiento y revisión del título. Es elaborado anualmente al terminar el curso académico.
  • Documento Descriptivo del Programa: documento operativo que recoge la información fundamental para la puesta en marcha y planificación del título, actualizado anualmente y que es elaborado por el Responsable Académico de cada programa, con la supervisión del Vicerrectorado de Ordenación Académica y Estudiantes.

Previa petición a la celebración de la visita de evaluación, el Evaluador Externo también tendrá a su disposición durante su visita las siguientes herramientas y documentos:

  • Guías Docentes: guía de una materia concreta de interés especial para el Evaluador Externo (especificar materia).
  • Pruebas de evaluación: exámenes, ejercicios prácticos, trabajos de investigación etc., tanto la rúbrica como la prueba realizada por el estudiante (especificar materia).
  • Hojas de calificaciones: resúmenes de calificaciones obtenidas por los estudiantes.
  • Acceso a la Plataforma Docente Universitaria (PDU).

 

  • Fase 3: Visita de Evaluación.

La visita se estructura de acuerdo con un esquema de trabajo, que permite la celebración de todas las reuniones previstas en los horarios establecidos. Durante la visita, el Evaluador Externo se reunirá con representantes de los siguientes grupos de interés: decano de la facultad, vicedecano del grado, personal docente e investigador (PDI), personal técnico y de gestión (PTG) (si procede) y alumnado. Con el fin de que el Evaluador Externo valore los recursos materiales disponibles para el desarrollo del programa, un representante de la Universidad realizará con el Evaluador Externo una visita guiada a las instalaciones, incidiendo en aquellas empleadas de forma específica para el desarrollo del título.

  • Fase 4: Elaboración del Informe de Evaluación Externa.

Para obtener una visión global del título y de acuerdo con las líneas generales del Sistema de Gestión Integrado de la Universidad San Jorge y las directrices específicas de ANECA, la Evaluación Externa del programa debería valorar de forma cualitativa (aspectos más destacables) y cuantitativa (escala 0-10) cada uno de los ítems de los siguientes aspectos del título:

  • Publicación de información sobre el título.
  • Plan de estudios.
  • Metodologías docentes.
  • Instalaciones y recursos.
  • Orientación y atención a los estudiantes.
  • Sistema de Gestión Integrado.

Tras analizar los diversos epígrafes recogidos en el apartado “Aspectos Generales”, el Evaluador Externo expondrá cuáles son los puntos más destacables y positivos del desarrollo del programa. Asimismo, el Evaluador Externo deberá señalar aquellos puntos que han sido valorados como insuficientes en el Informe de Evaluación Externa, y proponer acciones de mejora que permitan mejorar la evaluación de ese punto.

También identificará las Buenas Prácticas de innovación docente que se llevan a cabo en la titulación. Por último, y tras analizar la documentación recibida, la información obtenida de las reuniones mantenidas con los diversos grupos de interés, y habiendo señalado los puntos fuertes y aspectos mejorables del programa, el Evaluador Externo redactará unas Conclusiones generales que ofrezcan una visión global del programa, así como indicaciones para el óptimo proceso de implantación de la titulación.

  • Fase 5: Difusión del Informe de Evaluación Externa.

El Informe de Evaluación Externa realizado por el Evaluador Externo es considerado un documento interno de la Universidad San Jorge. El Personal de la Universidad (Consejo Rector, Decano, Vicedecano, Personal Docente e Investigador, Personal Técnico y de Gestión) tendrá acceso al informe.

  • Fase 6: Análisis de sugerencias.

La UTC se encarga de comunicar al departamento responsable las sugerencias de mejora identificadas por el evaluador externo. Cada responsable tendrá que analizar las sugerencias y determinar su pertinencia, y si fuera necesario establecer las acciones de mejora oportunas.

3. Resultados de la Práctica

Desde la implantación de esta práctica en el curso 2009/2010, se han realizado un total de 42 evaluaciones externas. Todos los grados de la Universidad San Jorge se someten a la Evaluación Externa siguiendo la planificación establecida. Las titulaciones con mayor antigüedad han realizado 4 evaluaciones externas desde su implantación. De los 42 informes de Evaluación Externa realizados, se han analizado un total de 118 sugerencias de mejora a través del procedimiento establecido en el Sistema de Gestión Integrado.

Los resultados de la práctica no se han evaluado de una manera sistemática, pero sí que se han detectado puntos fuertes y aspectos mejorables a través de distintas reuniones y foros de conversaciones establecidos entre los participantes. Los puntos fuertes identificados son:

• Contar con la colaboración de un experto externo para valorar la implantación del Grado, sumado a los procedimientos internos que la propia Universidad, aporta una información adicional relevante.
• La presencia de expertos de reconocido prestigio que han realizado un exhaustivo trabajo de análisis de la documentación y de la información extraída de las reuniones con los diversos grupos de interés, aportando valiosas conclusiones y propuestas de mejora.
• Los Informes de Evaluación Externa elaborados por los Evaluadores son analizados por el equipo directivo del programa, la Dirección de la Facultad y la Universidad, incorporándose a los Planes de Acción de la titulación.
• Los Informes de Evaluación Externa son integrados como parte de las Memorias Anuales del Programa presentadas a la ACPUA y presentadas a los grupos de interés (Dirección Facultad, Dirección Titulación, representante del profesorado, representante del Personal Técnico y de Gestión y representante del alumnado).
• Carácter innovador de la iniciativa, herramienta complementaria al protocolo de seguimiento de la ACPUA.
• Implicación activa de los grupos de interés (dirección de la facultad, dirección del programa, personal docente e investigador, personal técnico y de gestión y alumnado) en el proceso.
• Buena acogida de la Evaluación Externa por los grupos de interés citados que se han mostrado muy proactivos en el proceso y han valorado muy positivamente los informes de Evaluación Externa como mecanismo para la mejora continua.
• Realizada al finalizar el primer curso de implantación del programa, se convierte en una herramienta de mejora continua voluntaria de la titulación.

Los aspectos mejorables identificados, son los siguientes:

• Es una evaluación unipersonal y en ocasiones recoge opiniones personales del evaluador externo no relacionadas directamente con los temas señalados.
• Algunos evaluadores tienen poca experiencia en este tipo de evaluación presencial.
• Se trata de una foto estática del grado, que no contempla el día a día de la implantación y desarrollo. Se echa en falta un mayor conocimiento de la organización y funcionamiento de las universidades privadas.
• Sería necesaria una permanencia del evaluador externo durante más tiempo en la Universidad, favoreciendo así un conocimiento más de fondo de la implantación del Grado.
• Contar con evaluadores provenientes de universidades más similares a la Universidad San Jorge, o con experiencia laboral en universidades privadas, favoreciendo un conocimiento más experiencial del funcionamiento de las universidades privadas.
• Incluir en los Informes de Evaluación Externa un apartado relativo a propuestas de acción, que se sume a los apartados de puntos fuertes y aspectos mejorables.

De este modo, se exige un mayor compromiso del evaluador y daría más seriedad y rigor científico al proceso.

• Muchos de los planteamientos de estos evaluadores son propios de universidades públicas, que tienen características diferentes a las privadas (no exigencia de presencialidad para profesores, hay un límite de número de horas de docencia, etc.).
• Coordinar la implicación de las diferentes áreas implicadas en la puesta en marcha de las mejoras propuestas por el evaluador.

Por otro lado, cabe señalar que los propios Evaluadores Externos han manifestado también su positiva valoración de la iniciativa, de la que según señalan, no existen experiencias similares en otras instituciones universitarias.

4. Evaluación y Revisión de la Práctica

La implantación de la Evaluación Externa ha sido positivamente valorada por los diversos grupos de interés implicados en su realización. Tal y como se recoge tras la realización de la metaevaluación anteriormente señalada, esta actividad aporta información valiosa sobre el proceso de implantación de cada programa y permite detectar puntos fuertes y aspectos mejorables. Quizá, sería oportuno establecer una sistemática documentada que permita evidenciar el cumplimiento de los objetivos previstos con esta evaluación.

Desde el curso 2016/17 se ha establecido la realización de al menos una evaluación con la participación de un evaluador internacional. Esta innovación nos permite disponer de una visión más amplia sobre nuestros grados. Tomando en consideración esta positiva valoración, la Evaluación Externa se ha instaurado como práctica habitual en todos los programas de grado de la Universidad San Jorge.

5. Carácter Innovador de la Práctica

La Evaluación Externa es una herramienta de mejora continua que la Universidad San Jorge incorpora dentro de su Sistema de Gestión Integrado. La Universidad San Jorge opta por la implantación de esta metodología de evaluación como herramienta complementaria al protocolo de seguimiento de la ACPUA. Sumada a los procedimientos internos que la Universidad aplica para garantizar la mejora de sus programas, la colaboración de expertos de otras universidades aporta al proceso evaluativo la experiencia acumulada de su conocimiento de la implantación de títulos en otras universidades, nacionales e internacionales. A diferencia de la evaluación de acreditación realizada por las Agencias de Calidad, la Evaluación Externa implantada en la Universidad San Jorge es una actividad que la institución implanta de forma voluntaria y como herramienta interna de mejora, aunque las recomendaciones propuestas por los evaluadores son contempladas dentro de las Memorias Anuales del Programa y el Plan de Acción de cada titulación.

El proceso de Evaluación Externa y la documentación relacionada con su ejecución se ha procedimentado y se integra dentro de la documentación del Sistema de Gestión Integrado, certificado por AENOR. También existe un procedimiento de actuación para contactar con la Agencia de Calidad que facilita la base de datos del Banco de Evaluadores.

Por ello, la replicabilidad de la Evaluación Externa queda garantizada para cada programa implantado en la Universidad. A su vez, favorece la extrapolación del proceso a otras universidades que lo quieran implantar con sus programas.

El proceso de evaluación externa ha sido reconocido como buena práctica tanto por la Agencia de Calidad y Prospectiva Universitaria de Aragón (ACPUA) en sus informes anuales de seguimiento de títulos oficiales como por la Red Telescopi (Red de Observatorios de Buenas Prácticas de Dirección Estratégica Universitaria en Latinoamérica y Europa).

6. Divulgación de la Práctica

La realización de una Evaluación Externa se comunica a todos los grupos de interés a través de los distintos canales de comunicación internos que existen en la universidad. En la página web de la universidad se publica información sobre la práctica y su aplicación en los grados.

Se ha realización divulgación de esta práctica a través de la Red Telescopi (Red de Observatorios de Buenas Prácticas de Dirección Estratégica Universitaria en Latinoamérica y Europa).

7. Fuentes Complementarias

Enlaces y archivos, como información complementaria sobre la práctica.


https://www.usj.es/conoce-la-usj/calidad/sgi/documentacion/evaluacion-externa

8. Archivos Adjuntos

Esta Buena Práctica no posee archivos adjuntos.

Datos de Contacto
  Andy Tunnicliffe
calidad@usj.es
976 060 100
http://
Universidad San Jorge

Regresar al Buscador de Buenas Prácticas