Skip to main content
Detalle de la Buena Práctica

Modelo de Evaluación de Carreras


Palabras clave: Autoevaluación, Formación, Calidad

Resumen de la Práctica

La Universidad de Concepción es una Institución que busca ser reconocida nacional e internacionalmente por la calidad en todo su quehacer. Gestionar esta calidad es una de sus principales preocupaciones, por ello ha trabajado permanentemente en fortalecer su cultura de mejoramiento continuo, lo que en este caso se constata a través de la definición e implementación de mecanismos e instrumentos de monitoreo y evaluación, que son  utilizados en forma sistemática por los actores de los distintos procesos formativos de pregrado, de modo de que sean ellos mismos los responsables de evaluar e incorporar las mejoras requeridas en función de los propósitos definidos.  Específicamente, lo anterior se ha elaborado en el ámbito de la formación profesional, y se traduce en la concepción de un Modelo de Evaluación de Carreras, cuya definición data del año 2013 e implementación desde el año 2014.  

 La Universidad de Concepción ofrece programas de formación profesional en todas las áreas del conocimiento, así cuenta con 78 programas de formación, que se dictan en 90 carreras en tres sedes distintas.  Con el fin de resguardar la consistencia interna y externa de todos los programas se elaboró un Modelo de Evaluación de Carreras, en el que se integran tres diferentes tipos de evaluación, las que se aplican en distintas instancias, organizadas según la ocurrencia de los procesos de la formación,  y que tienen como propósito analizar y evaluar el desarrollo y los resultados de cada uno de ellos.   La implementación del modelo está liderada por el jefe de carrera, no obstante también implica la participación de las instancias colegiadas de gestión de la carrera, reconocido en este caso como el Consejo de Carrera.

 La generación e implementación de este modelo ha permitido a la Institución fomentar en el nivel de gestión de las carreras el seguimiento, la evaluación y el mejoramiento continuo de la formación profesional, facilitándolo a través de formularios y sistemas de información en línea, pautas de análisis de los procesos, cronogramas de evaluación y  sistemas para el registro y seguimiento de planes de acción. También ha permitido a la Institución fortalecer el sistema de análisis institucional a través de la generación de instrumentos de análisis y reportes de gestión que incluyen la totalidad de la información disponible en los procesos de la formación profesional. 

Como un beneficio colateral la implementación de este modelo, entre otras cosas, le da sentido a la información de gestión generada en la unidad de análisis  institucional, ya que es utilizada en forma directa por los gestores de las carreras, transformándolos en usuarios exigentes por la calidad, oportunidad y completitud de la información necesaria para la toma de decisiones propia de su gestión.

1. Planificación de la Práctica

El escenario del Pregrado en la Universidad de Concepción previo a la definición de esta práctica, se caracteriza por dos hitos relevantes: desarrollo de procesos de autoevaluación en las carreras que se someten al Sistema Nacional de Aseguramiento de la Calidad, según criterios definidos por el Sistema, con un ciclo determinado por los años de acreditación otorgados, y desarrollo en el año 2010 del primer proceso de diagnóstico estratégico del Pregrado en todas las carreras, que entregó como resultado 33 nudos críticos que fueron abordados con distintas estrategias en un plan de 5 años. El diseño e implementación del Modelo de Evaluación de Carreras corresponde a una de las estrategias definidas abordando entre otros los siguientes nudos críticos: Planificación de las actividades docentes, Acreditación de Carreras, Duración de las actividades finales de graduación, Duración de los estudios según lo declarado en el Plan de Estudios, Programación de las actividades docentes de la carrera.

Ante este escenario, el Modelo de Evaluación de Carreras  surge como respuesta a la necesidad de contar con un mecanismo permanente y sistemático de evaluación del proceso formativo  con participación de todos los actores, que facilite la revisión de resultados y que impulse la formulación y el seguimiento de planes de mejora derivados de la evaluación, con el objetivo de “Disponer de un mecanismo de autorregulación que permita asegurar la calidad, la pertinencia de las carreras y el mejoramiento continuo del proceso formativo de sus estudiantes”.

Para la definición del Modelo se utilizaron los resultados del proceso de Diagnostico Estratégico del Pregrado y el Diagrama de Procesos del ciclo de formación profesional definido en la misma fecha.  En la fase de diseño se establecieron para cada nivel del diagrama de procesos: estratégicos, primarios y de soporte, los factores  y/o elementos críticos a evaluar,  y al mismo tiempo se definieron los instrumentos, las guías de evaluación y seguimiento  y  la información requerida en las instancias de análisis. Estas tareas fueron desarrolladas por académicos e ingenieros de la Dirección de Docencia y de la Dirección de Estudios Estratégicos. En forma complementaria, se incorporaron en el sistema de control de gestión, los mecanismos e instrumentos necesarios para la entrega de toda la información requerida para el seguimiento y la evaluación. También se desarrollaron dos  Sistemas de apoyo para registro y seguimiento; uno de ellos es el Sistema de Planes en el que se registran los Planes de Desarrollo y de Mejora de todas las carreras, y se realiza el seguimiento de las acciones comprometidas, el otro corresponde al Sistema de Consejos de Carreras, que registra las instancias de evaluación desarrolladas con el Consejo de Carrera. Ambos sistemas permiten además llevar un control de aplicación del Modelo en las carreras de la UdeC.

 Paralelamente,  se definió un cronograma de evaluación anual, en función de la ocurrencia y periodicidad de los distintos procesos presentes en la formación, de modo de abordar durante el año el seguimiento y la evaluación de todos los factores definidos como críticos para cada proceso.  Los resultados de cada evaluación, son traducidos en un Plan de Mejoramiento, que se incorpora al Plan de Desarrollo de la Carrera y que además es monitoreado a través del mismo Modelo de Evaluación[1].

 Finalmente, la aplicación de este Modelo ha permitido a los consejos de carreras y jefes de carrera disponer de información confiable, y oportuna, a través del sistema de control de gestión, y de guías de análisis estructurado, para la instalación efectiva de un mecanismos de aseguramiento de la calidad, que promueve, orienta y facilita el mejoramiento continuo.

[1] Ver anexo “Diagrama modelo de evaluación de carreras”

 

2. Desarrollo y ejecución de la Práctica

El desarrollo del modelo de evaluación de carreras fue posible gracias al aumento de las capacidades de gestión -recursos humanos, instrumentos y sistemas-  provenientes de la adjudicación de fondos públicos concursables enfocados en el fortalecimiento de la docencia de pregrado de la institución, lo que permitió el diseño e implementación inicial del modelo.

Para la implementación del modelo de Evaluación de Carreras, además de generar los instrumentos de apoyo necesarios, se generó un Manual detallado del Modelo[2] y se desarrollaron jornadas de capacitación en las tres sedes de la Universidad, con el fin de incluir a la mayor cantidad de jefes de carrera en este proceso de socialización y difusión. Adicionalmente, en la Facultad de Educación, se acompañó a algunos consejos de carrera en la primera etapa de revisión de antecedentes y formularios asociados al Modelo.

Para entender mejor, el desarrollo de esta práctica se explican a continuación las tres fases de evaluación que han sido consideradas en el Modelo y cómo éstas se llevan a cabo en cada una de las carreras que dicta la Universidad:

 Los tres tipos de evaluación que contempla el modelo son:

  1. Evaluación inicial, cuyo propósito es verificar la existencia y aplicación de un conjunto específico de mecanismos de aseguramiento de la calidad en cada Carrera, con el fin de detectar áreas de mejora y formular acciones. Esta evaluación fue aplicada en todas las carreras de la Universidad que no han participado en procesos de acreditación del Sistema Nacional de Aseguramiento de la Calidad y consistió en aplicar una encuesta que fue en primera instancia contestada por los jefes de carrera, no obstante generaba un material que debía ser compartido posteriormente con los consejos de carrera. Los resultados de esta evaluación, además de ser utilizados como base para la definición de acciones de mejora registradas en el Sistema de Planes, fueron puestos a disposición de todas las carreras a través del Sistema de Control de Gestión.
  1. Evaluación Continua, consiste en un proceso permanente para todas las carreras que involucra la revisión del perfil de ingreso de los estudiantes, de la efectividad del proceso de formación y de la evaluación de sus egresados. Esta instancia de evaluación se encuentra estructurada en tres focos: estudiantes, procesos y egresados. Cada uno de estos focos de evaluación son revisados en distintas instancias del año (inicio semestre, fin de semestre y fin de año) por el Consejo de Carrera según los formularios y pautas de apoyo descritos en el Manual. Todas las carreras deben desarrollar esta evaluación, dejando constancia de ello en las actas del Consejo, las que a su vez son registradas en un sistema en línea  (Sistema de Consejos de Carreras). Las acciones de mejora definidas a partir de la evaluación se registran en el Sistema de Planes.
  1. Evaluación Global, consiste en un proceso colaborativo destinado a la revisión completa de la Carrera para la actualización y/o redefinición de la misma. Esta evaluación incluye un diagnóstico estratégico de la carrera, el que debe ser llevado a cabo al menos una vez durante el ciclo de duración de la carrera más un año, incorpora los resultados de todas las evaluaciones parciales realizadas (fase de evaluación inicial y continua), los avances de los planes de mejora establecidos en cada evaluación y su resultado debe ser el Plan de Desarrollo de la carrera actualizado.

La siguiente tabla muestra un resumen de aplicación del Modelo, identificando además a los responsables de cada etapa:

Tipo de Evaluación

Periodicidad

Responsable

Inicial

A definir por la Dirección de Estudios Estratégicos (DEE) y Dirección de Docencia de acuerdo a carreras que no estén acreditadas o cambios en los criterios nacionales de acreditación

Consejo de Carrera

 

Continua

Foco: Perfil de Ingreso

Inicio del año académico

Consejo de Carrera

 

Continua

Foco: Proceso Formativo

Anual (Enero)

Consejo de Carrera

Director de Departamento

Continua

Foco: Egresados

Anual (Enero)

Consejo de Carrera

 

Global

De acuerdo tiempo de duración teórico de la Carrera  más un año (T+1)

Consejo de Carrera

 

 

Respecto a los tiempos definidos para la ejecución de la práctica, no resulta factible evaluar si se ajustaron a la planificación preestablecida, debido a que se ha buscado en una primera instancia fortalecer el aprendizaje en los consejos de carrera e instalar la cultura de análisis de la información y de los resultados disponibles en pos de definir las oportunidades de mejora correspondientes. Al mismo tiempo, se ha trabajado en la generación de todos los instrumentos de apoyo necesarios para la tarea de análisis, los que paulatinamente se han incorporado en el Sistema de Control de Gestión[3].

 El año 2014, todas las carreras que no han participado en un proceso de acreditación nacional desarrollaron la evaluación inicial, y el 2015 se impulsó el desarrollo de la evaluación continua, trabajando fuertemente con los consejos de carrera de modo de hacer ver los beneficios del uso de este Modelo.

Respecto de la aplicación de esta práctica, resulta relevante destacar que la evaluación inicial es la única que se aplicó sólo a algunas carreras (las que no habían desarrollado procesos de acreditación), la evaluación continua y la evaluación global es aplicable al 100% de las carreras que dicta la Universidad y se espera llegar a ese nivel durante el año 2016.

 Así más que trabajar en función de una planificación predeterminada, la que indudablemente conlleva la necesidad de imponer algunas acciones,  se ha avanzado por la vía de la colaboración y la valoración del Modelo de parte de los responsables de la gestión de las carreras,  en el sentido de reconocerlo como un efectivo instrumento de apoyo a la mejora continua de todos los procesos presentes en la formación.

[2] Ver anexo “Portada manual modelo de evaluación de carreras”

[3] Ver anexo “Evaluación Inicial y Continua en Sistema de Control de Gestión”

3. Resultados de la Práctica

El Modelo de Evaluación de carreras comenzó a ser aplicado en su etapa de evaluación inicial el año 2014, abarcando el 100% de las carreras que nunca habían a esa fecha participado en un proceso de acreditación del Sistema Nacional de Acreditación del país (29 carreras de un total de 90). Como resultado de esta aplicación, se generó y publicó en el Sistema de Control de Gestión, informes de resultados relativos a la existencia y aplicación de los mecanismos de aseguramiento de la calidad que fueron incluidos en la encuesta de evaluación, tanto desde un punto de vista institucional (informe completo con todas las carreras) como por cada una de las carreras.  Este informe fue analizado por las carreras en sus respectivos consejos, con el fin de definir acciones de mejoramiento orientadas a instalar o reforzar los mecanismos que fueron identificados con “no existe” o “existe parcialmente”. En el contexto institucional también se trabajó con el informe global de modo de evaluar aquellos mecanismos que fueron declarados en la mayoría de las carreras cómo  débiles.

La síntesis institucional de los resultados de la evaluación inicial nos indica que sobre el 75% de las carreras que no han pasado por un proceso de acreditación, igualmente cuentan total o parcialmente con mecanismos de aseguramiento de la calidad, de acuerdo a los criterios que evalúa la Comisión Nacional de Acreditación (CNA), siendo el más débil el criterio Resultados del Proceso de Formación[4], debilidad que espera mejorar con la implementación del modelo en el 100% de las carreras.

Este análisis dio paso a la definición de acciones para cada una de las carreras, las que fueron incorporadas por los mismos consejos de carreras en el Sistema de Planes.  Cabe destacar que para la definición de acciones también se puso a disposición de las carreras  un formulario único, el cuál ha permitido instalar un lenguaje común para la elaboración, seguimiento y control de acciones de mejora continua.  En este formulario se establecen los campos mínimos que deben ser definidos para cada acción; como Iniciativas, Fechas de inicio y término, indicador, valor base y meta, responsable y recursos[5].

Respecto a la fase de Evaluación Continua se desarrolló,  también en el año 2014, de forma piloto en todas las carreras del área de Educación, la evaluación del perfil de ingreso de los estudiantes, para lo cual los Consejos de Carrera contaron, en el Sistema de Control de Gestión,  con los resultados de las pruebas de diagnóstico efectuadas a los estudiantes de nuevo ingreso, además de toda la información que caracteriza a los estudiantes que ingresan por primera vez a la Institución. A partir de esta evaluación, cada Consejo de Carrera estableció las acciones de mejoramiento necesarias de implementar para dar mayores garantías de éxito académico a los estudiantes de nuevo ingreso 2014.

Durante el año 2015 se trabajó en la capacitación a todas las carreras con el fin de que en enero 2016 el 100% de las carreras que dicta la Universidad de Concepción, desarrollaran la fase de evaluación continua en sus focos de estudiantes, procesos y  egresados.

A la fecha, 47 de las 90 carreras impartidas por la universidad han realizado su evaluación continua,  foco estudiantes, definiendo las fortalezas, debilidades e iniciativas asociadas a los procesos de promoción, captación, admisión, diagnóstico y nivelación, definidos en el diagrama de procesos de la formación profesional de pregrado. El análisis se sintetizó a nivel institucional[6], mostrando debilidades en los mecanismos y sistematicidad de la promoción (44%), ausencia de mecanismos de captación (35%), inexistencia de mecanismos de selección (89%), ineficacia en las actividades de nivelación (50%), por mencionar algunas.

Estos resultados fueron el insumo principal para la definición de iniciativas institucionales en la planificación estratégica del pregrado 2016-2020, proceso recientemente finalizado.

[4] Ver “Resultados Evaluación Inicial, año 2014”

[5] Ver anexo “Formulario para la definición de acciones”.

[6] Ver anexo “Análisis resultados evaluación continua, foco estudiantes, año 2016”.

 

4. Evaluación y Revisión de la Práctica

La recepción de la acciones relacionada con la aplicación del modelo ha sido positiva entre todos los actores, dado que ha permitido a los consejos de carreras y jefes de carrera disponer de información confiable, y oportuna, a través del sistema de control de gestión, y de guías de análisis estructurado, para el desarrollo de las instancias de análisis y evaluación de resultados.

Los sistemas de apoyo generados como la Plataforma de planes: diseñado para registrar y hacer seguimiento de los planes de desarrollo y planes de mejora de las carreras, el Sistema de Consejos de Carreras: diseñado para registrar las sesiones de los consejos de carrera y mantener un historial de las evaluaciones realizadas y los acuerdos adoptados, Sistema de Control de Gestión: diseñado para proporcionar todos los informes de gestión, indicadores, alertas e información general de los  todos los procesos que están presentes en la formación;  constituyen instrumentos de apoyo a la gestión que  facilitan e inducen los procesos de toma de decisiones inherentes a la gestión de las carreras.

Adicionalmente desde el año 2014 a la fecha se han generado y puesto a disposición de los gestores de las carreras, alertas de rendimiento académico por semestre y de titulación, con el fin de proporcionar todos los antecedentes necesarios para un efectivo seguimiento de los estudiantes. Esta información es utilizada por los jefes de carrera y los miembros de los consejos de carrera para el análisis y seguimiento de los resultados de los procesos  de  formación, contemplada en la evaluación continua, específicamente en los  focos de  procesos y de egresados. La recepción de este sistema de alertas por parte de los jefes de carrera ha sido favorable, recibiendo comentarios positivos de buena parte de ellos[7].

Dado que la fase de implementación de esta práctica, aún no se realiza en un 100%, no se dispone de antecedentes de evaluación de la misma, no obstante es importante destacar que dada su complejidad y cobertura, durante la fase de implementación de cada etapa y en su nueva aplicación en los distintos periodos se han ido incorporando las mejoras y las optimizaciones que corresponden, tanto a los instrumentos de análisis como a los formularios de apoyo.

La práctica planea evaluarse formalmente una vez que se haya alcanzado una implementación del Modelo de evaluación de Carreras en el 100% de las carreras impartidas por la institución, que de acuerdo a la planificación estratégica institucional esto debería cumplirse a mas tardar el mes de Diciembre del año 2016.

[7] Ver anexo “Comentarios Jefes de Carrera respecto a Sistema de Alertas”.

5. Carácter Innovador de la Práctica

La definición e implementación de este Modelo de Evaluación de Carreras, se sustenta en antecedentes derivados de los modelos de calidad (Deming, ISO, Malcolm Baldrige, EFQM, entre otros), de los mecanismos de aseguramiento de la calidad definidos por la Comisión Nacional de Acreditación, de los resultados generados en la Planificación estratégica del Pregrado y  del diagrama de procesos definidos para la formación, los que en su conjunto han permitido a la Institución generar un modelo autogestionado de evaluación, que además de proporcionar toda la guía necesaria para su implementación, contempla el desarrollo y fortalecimiento de la capacidad de gestión de los académicos que deben asumir estos roles en determinados momentos de su carrera profesional. Es conocido por todos que no siempre las capacidades de gestión están presentes en los líderes académicos, de modo que el modelo permite  empoderar a los jefes de carrera y a los consejos  de carrera para tomar decisiones de gestión, en función de antecedentes cuantitativos confiables y oportunos y pautas de análisis estructurado que guían y facilitan el proceso de autoevaluación.

Por otro lado, todas las plataformas de apoyo generadas (Sistema de Control de Gestión, Plataforma de Planes y Sistema de Consejos de Carrera) se encuentran coordinadas de modo de permitir la consistencia interna de los procesos de evaluación y seguimiento.  Están desarrolladas bajo esquemas de definición estándar de procesos  y se encuentran parametrizadas según las variables propias de la Universidad.

Cómo se mencionó anteriormente, la característica de autogestión del modelo permite su aplicación en una universidad completa y compleja con gran número de programas de formación (Udec tiene 92) y diversidad de áreas de conocimiento.

6. Divulgación de la Práctica

El Modelo de Evaluación de Carreras se institucionalizará  a través de una Resolución interna, que permitirá completar el proceso de implementación en todas las carreras. También  se han desarrollado sistemáticamente jornadas de  capacitación intensiva a todos los jefes de carrera. Además se han incorporado módulos de difusión y capacitación sobre el modelo en las jornadas de perfeccionamiento  docente que la Universidad desarrolla todos los semestres lectivos. 

Se está programando para el mes de enero de 2016 una semana intensiva de evaluación de carreras en la cuál todos los consejos aplicarán el modelo para el análisis y evaluación los focos de estudiantes, procesos y egresados. Esta actividad contará con el acompañamiento de la unidad de Análisis Institucional, de modo de impulsar y facilitar su conclusión.

7. Fuentes Complementarias

1.- Diagrama Modelo Evaluación de Carreras.pdf

http://telescopi.utalca.cl/plataforma/inc/imagehosting/tmp/fd83a028ce.pdf

2.- Portada Manual Modelo de Evaluación de Carreras.pdf

http://telescopi.utalca.cl/plataforma/inc/imagehosting/tmp/44b0e76a49.pdf

3.- Evaluación inicial y continua en Sistema de Control de Gestión.pdf

http://telescopi.utalca.cl/plataforma/inc/imagehosting/tmp/f8d5c1c9fa.pdf

4.- Resultados evaluación inicial, año 2014.pdf

https://www.dropbox.com/s/2sw1cq33nxx71bn/Resultados%20evaluaci%C3%B3n%20inicial%2C%20a%C3%B1o%202014.pdf?dl=0 

5.- Formulario para la definición de acciones.pdf

http://telescopi.utalca.cl/plataforma/inc/imagehosting/tmp/5c9caca1fd.pdf

6.- Análisis resultados evaluación continua, foco estudiantes, año 2016.pdf

https://www.dropbox.com/s/ee9oh7nibc0l2fb/Resultados%20evaluaci%C3%B3n%20continua%2C%20foco%20estudiantes%2C%20a%C3%B1o%202016.pdf?dl=0

7.- Comentarios Jefes de Carrera respecto a Sistema de Alertas.pdf

http://telescopi.utalca.cl/plataforma/inc/imagehosting/tmp/a5f9b20cd0.pdf

 

 En el siguiente link se encuentran todos los documentos (en caso de fallar algún enlace):

https://www.dropbox.com/sh/7eh3xxdz2uby4b5/AAAftS-vvGLLn-Ee9bbNvS99a?dl=0 

 

 

 

 

 

 

 

8. Archivos Adjuntos

Esta Buena Práctica no posee archivos adjuntos.

Datos de Contacto
  José Sanchez
dirdoc@udec.cl
41 2204579
http://
Universidad de Concepción

Regresar al Buscador de Buenas Prácticas