Skip to main content
Detalle de la Buena Práctica

Sistema de Monitoreo de Estudiantes y Titulados UTEM


Palabras clave: Análisis Institucional, Estudiantes

Resumen de la Práctica

¿Cómo son las familias de nuestros estudiantes? ¿Existe alguna característica que favorezca que un estudiante deserte de la universidad? ¿Están satisfechos con sus profesores? Cuando están en el mercado laboral, ¿Sienten que las habilidades aprendidas son útiles? ¿Existe algún factor durante la trayectoria académica que afecte la satisfacción laboral de los titulados? Estas y muchas preguntas más, son necesarias de responder para poder tomar decisiones correctas, sin embargo, muchas veces la información no se encuentra disponible o se encuentra dispersa en distintas unidades de la institución.

Para solucionar este problema, la UTEM implementa en 2014 el Sistema de Monitoreo de Estudiantes y Titulados (SMET-UTEM) cuyo objetivo es generar información del perfil de los estudiantes y titulados de la institución, mediante su caracterización y progresión durante las distintas etapas de su trayectoria académica y su inserción laboral, a partir del seguimiento de las distintas cohortes que ingresan a la Universidad, de modo de insumir y apoyar la toma de decisiones académicas y estratégicas de los directivos de la institución y sus equipos.

Con la información recopilada y analizada es posible, entre otros, priorizar estudiantes para los Programas de Apoyo Estudiantil, alimentar sistemas de alerta temprana de deserción, generar información para los procesos de acreditación, autoevaluación, procesos de mejora continua de las carreras, así como también rediseños curriculares y la definición de oferta de posgrado.

1. Planificación de la Práctica

1.- Situación de partida

Una de las principales debilidades detectadas en el proceso de Autoevaluación Institucional 2015 fue la brecha entre la disponibilidad de información existente y la deseada, para efectos de generar mediciones sistemáticas sobre el desempeño institucional. Para superar esta brecha, la universidad decide diseñar e implementar un sistema de información que permita tener información pertinente y oportuna para la toma de decisiones en la institución.

En la construcción y diseño del SMET-UTEM, un primer paso fue la revisión de las experiencias internacionales de sistemas de seguimiento similares, así como también literatura especializada en temas como retención universitaria (Díaz, 2008; Donoso & Schiefelbein, 2007; Gonzalez, 2006; Hageron, 2005; Seidman, 2005; Swail, 2004; Tinto, 1975), empleabilidad (Goldfinch & Hughes, 2007; Scheele, 2009) y trayectorias universitarias. A partir de estas experiencias se sistematizaron los aspectos y variables que se sugieren como claves para ser cubiertas por un sistema de seguimiento en el contexto universitario, además de los diferentes indicadores incluidos en cada aspecto.

 

2. Objetivos propuestos

En este contexto, se definió como objetivo general del SMET-UTEM generar información del perfil de los estudiantes y titulados de la institución, mediante su caracterización y evolución durante las distintas etapas de su trayectoria académica y su inserción laboral, a partir del seguimiento de las distintas cohortes que ingresan a la Universidad, de modo de insumir la toma de decisiones estratégicas del estamento directivo de la Universidad.

En particular, el SMET-UTEM tiene como objetivo específico el levantamiento de datos en cuanto a: a) caracterización social y educacional de los estudiantes y sus familias al ingresar a la Universidad; b) percepción de los estudiantes y titulados de la institución sobre sus servicios y su experiencia universitaria; c) progresión académica de los alumnos; y d) caracterización del proceso de inserción y progresión laboral de los titulados.

El SMET-UTEM recoge información tanto de carácter cuantitativo como cualitativo, a partir del registro académico de los estudiantes y del análisis de encuestas que integran preguntas abiertas y cerradas. Para el año 2019 existe información para la totalidad de etapas del sistema contándose con datos de seguimiento de aproximadamente nueve mil estudiantes. El sistema en total cuenta con seis etapas:

1) Admisión: momento en que un estudiante ingresa al primer semestre de su carrera.

2) Progresión: todos los semestres que el estudiante cursa desde que ingresa a la universidad hasta que finaliza su plan de estudios.

3) Fin de carrera: momento en que el estudiante está en trámite de obtener su título profesional o grado académico.

4) Deserción: momento en que un estudiante abandona la carrera a la que ingresó durante el primer o segundo semestre de estudios.

5) Inserción laboral: un año después de titulación.

6) Progresión laboral: tres años después de titulación.

 

3. Planificación anual

El plan de implementación del sistema fue el siguiente:

  • Año 1: Diseñar e implementar la Encuesta de inserción y progresión laboral y la Encuesta de Estudiantes de 1° año
  • Año 2: Diseñar e implementar la Encuesta a estudiantes que desertan en 1° año. Visualización de la encuesta de inserción y progresión laboral.
  • Año 3: Diseñar e implementar la Encuesta de satisfacción de estudiantes y la Encuesta de fin de carrera. Visualización de información de la encuesta de estudiantes de 1° año y encuesta a estudiantes que desertan.
  • Año 4: Validación de los instrumentos del SMET-UTEM. Visualización de información de la encuesta de satisfacción y fin de carrera.

Para evaluar el desarrollo e implementación del sistema, se definieron indicadores de tasa de respuesta, completitud de las etapas del sistema y uso y difusión de la información (informes, reportes, estudios, etc.) (Anexo 1 – Indicadores y Metas). 

2. Desarrollo y ejecución de la Práctica

1. Primera Fase: Puesta en Marcha (2014-2016)

En 2014 se implementaron tres fases del SMET-UTEM (Admisión, Deserción, Inserción y Progresión Laboral) una más que en la planificación original. De estas cuatro encuestas, no se logró la tasa de respuesta esperada en la encuesta a estudiantes de 1° año, lo que gatilló la implementación de la encuesta de manera online para el año 2015, con el objetivo de lograr una mejor cobertura.

Posteriormente, en 2015, se desarrollaron instancias expositivas con el Consejo Superior y las respectivas facultades para socializar los datos y conclusiones encontrados en los estudios realizados, con base en la información levantada por el sistema (Caracterización de estudiantes que desertan en primer año, Empleabilidad de los titulados de la UTEM, Perfil de estudiantes de primer año) hechos en 2014. Dichas presentaciones se acompañaron de la entrega de material impreso (dossiers) y digital (CDs), los cuales contenían la información respecto de la facultad y de las carreras pertenecientes a ella. Este proceso permitió al equipo encargado considerar las observaciones de los usuarios en torno a la forma en que se generan los datos, su procesamiento y su difusión. En paralelo, se gestionaron las capacitaciones a usuarios en el sistema BI de reporte de información para visualizar los resultados en la plataforma de gestión de la institución (SIGE-UTEM), lo cual, al incorporar los estudios mencionados, representa una estrategia integral de difusión de los resultados. Durante el primer semestre, además, se aplicó la segunda versión de la Encuesta a Matriculados de Primer Año.

Con esta fase de difusión hecha, y habiendo generado aprendizajes significativos de las primeras instancias, se procede a ejecutar el trabajo de campo de los estudios de Deserción 2015 (durante noviembre), Inserción y Progresión Laboral (diciembre de 2015 y enero de 2016) y la tercera versión de Matriculados de Primer Año UTEM (durante el proceso de admisión 2016). En el caso de la encuesta de Inserción y Progresión Laboral, esta es realizada telefónicamente por una consultora externa, la cual se decide cambiar para esta segunda versión ya que la evaluación del trabajo realizado no fue satisfactoria y se consideró que una nueva consultora podría mejorar también las tasas de respuestas.

Durante el año 2016 se incorporan la encuesta de satisfacción de estudiantes y la de fin de carrera en versión piloto. Ambas implementaciones arrojaron aprendizajes ya que las tasas de respuesta conseguidas y la información levantada no cumplieron con los estándares de calidad que el Departamento de Autoevaluación y Análisis consideraba necesarias y se realizaron correcciones para su correcta implementación durante el año 2017. En el caso de la encuesta de satisfacción se consideró que el sistema informático que se eligió para su implementación no era el más adecuado dado su poco uso por los estudiantes; paralelamente la universidad desarrollo un nuevo sistema (Academia.UTEM) que fue utilizado en la aplicación posterior teniendo mejores resultados. Para la encuesta de fin de carrera, esta es aplicada en papel al momento en que el estudiante acude a la Unidad de Títulos y Grados de la universidad y durante su primera aplicación, por un tema de descoordinación no se mantuvo un registro adecuado de las encuestas aplicadas y no se pudo identificar la carrera a la que pertenecía el encuestado, por lo que se decidió no considerar esta aplicación en el sistema, solucionándolo para el año 2017.

 

2. Segunda Fase: Implementación en Régimen (2017-2019)

Durante el año 2017 el sistema se aplicó en todas sus fases con éxito tanto en las fechas de aplicación como las tasas de respuestas logradas y se intensifico su difusión y uso de la información.

En 2018 se continuó con la aplicación de todos los instrumentos con un aumento general en las tasas de respuesta. Por otra parte, se realizaron más estudios utilizando la información generada, como el de “Perfil y desempeño de estudiantes con gratuidad” que tuvo una importante difusión dada la importancia del tema en la coyuntura nacional y que fue seleccionado para ser presentado en el Congreso Internacional de Orientación para el Aprendizaje en Educación Superior (OAES 2018). En este mismo ámbito, se adjudicó en 2018 el proyecto de investigación “Efectos pecuniarios y no pecuniarios del desajuste entre empleo y área de estudio: evidencia a partir de la implementación de un sistema transversal de seguimiento de estudiantes y titulados" con el Consejo Nacional de Educación, proyecto derivado directamente de la implementación del sistema.

Este mismo año se planificó la validación de los instrumentos aplicados en el SMET-UTEM por una consultora externa, actividad que concluyó durante el primer semestre de 2019.

Al evaluar el uso y difusión de la información, se cambió la orientación original del proyecto, que era dirigido principalmente a los tomadores de decisión de la institución a un rango más amplio de usuarios, sumándose las unidades profesionales cuya gestión se encuentra directamente relacionada al análisis de información.

3. Resultados de la Práctica

El análisis de la información recolectada por el Sistema ha permitido visualizar resultados importantes para la toma de decisiones e implementación de distintas políticas en la universidad:

Entre los principales hallazgos encontrados, se destaca que:

  • Más de dos tercios de los estudiantes declara que sus padres solo cursaron educación escolar (70% de las madres y 74% de los padres), es decir, los estudiantes son en su mayoría la primera generación universitaria en su núcleo familiar (76%);
  • Más de la mitad de los alumnos afirma que tiene necesidades o urgencias económicas que los obligarían a trabajar (59%); y un 72% de los encuestados percibe un ingreso familiar por debajo de los $570.000.
  • Se observa que la deserción de primer año ocurre con mayor frecuencia en estudiantes de la Facultad de Ingeniería; en los que provienen de regiones alejadas de la Metropolitana, y en los de género masculino.
  • Se evidencia que a mayor puntaje promedio PSU disminuye la probabilidad de deserción. En cambio, no se observan grandes diferencias en los niveles de deserción atribuibles a la dependencia del establecimiento educacional de procedencia o por el ingreso familiar.
  • Los principales factores autorreportados por los encuestados como razones de la interrupción de sus estudios son la ocurrencia de “paros” de estudiantes y temas vocacionales, en línea con la sugiere la literatura en esta esta materia.
  • Durante la progresión de la carrera, los resultados más relevantes de la encuesta de satisfacción de estudiantes arrojan que la dimensión relacionada a la docencia es la mejor evaluada por los estudiantes y que el ítem de infraestructura es el más crítico. El ítem más débil en el ámbito de la docencia es el uso de las evaluaciones docentes.
  • En cuanto a los sellos institucionales, la formación tecnológica es el aspecto peor evaluado, por lo que aparece como necesario fortalecerlo mediante estándares de uso, desarrollo y difusión tecnológica, tanto a nivel de ramos como en aspectos de infraestructura y equipamiento de la Universidad.

En las últimas etapas del seguimiento, los exestudiantes ya titulados destacan que:

  • El trabajo en equipo y la solución de problemas son las habilidades más relevantes para el desempeño laboral y enfatizan que la estabilidad, la posibilidad de aprender cosas nuevas y la autonomía en el trabajo, son los principales aspectos asociados con una mayor satisfacción laboral.
  • La calidad de su carrera y de la Universidad es buena, así como relevan el factor humano que prima en la comunidad universitaria y la calidad de los contenidos. En contraposición, la infraestructura persiste como un factor que afecta la percepción que se tiene de la institución.

Con la información obtenida por el sistema, que se ejemplificó en los puntos anteriores, es posible reconocer decisiones a nivel institucional y de carreras que se han basado en los insumos de información estratégica provistos por cada uno de los componentes. Entre las de mayor impacto en la gestión, destacan:

  • Orientaciones estratégicas para el proceso de elaboración del Plan de Desarrollo Estratégico UTEM 2016-2020.
  • Orientaciones para las decisiones de apertura de nuevas carreras.
  • Potenciamiento de las capacidades de diagnóstico en las carreras.
  • Generación de bases para propuesta de plan de acción remedial para mejorar las tasas de titulación oportuna en Facultad de Ingeniería.
  • Mejora en la efectividad de la focalización de beneficiarios del Plan de Apoyo Estudiantil.
  • Fundamentos para el aumento en la ponderación del puntaje ranking como factor de selección para el ingreso a las carreras.

 

4. Evaluación y Revisión de la Práctica

En el ámbito de la evaluación de la implementación del proyecto, los indicadores relacionados con las tasas de respuestas fueron los más complejos de cumplir; para esto se implementaron mejoras en el ámbito de medios de aplicación de la encuesta, como fue:

  • Pasar de encuestas en papel a online en el caso de la encuesta de estudiantes de 1° año.
  • Cambiar el sistema donde se alojaba la encuesta de satisfacción de estudiantes a uno con mayor uso y mejor evaluación de los estudiantes (de DIRDOC a Academia.UTEM).
  • En el caso de la encuesta de inserción y progresión laboral, se cambió la consultora que realizó la primera implementación de esta (Anexo 1 – Indicadores y Metas).

Al evaluar el uso y difusión de la información, se cambió la orientación original del proyecto, que era dirigido principalmente a los tomadores de decisión de la institución a un rango más amplio de usuarios, sumándose las unidades profesionales cuya gestión se encuentra directamente relacionada al análisis de información.

Por último, al ser encuestas la fuente principal de información del sistema, se realizó una evaluación de fiabilidad de cada instrumento por parte de una consultora externa, la que realizó sugerencias de mejora en la estructura, fraseo de preguntas y escalas que están siendo implementadas y presentó distintos análisis estadísticos (análisis de alfa de Cronbach, Correlación Ítem-Escala, Análisis factorial exploratorio) que resultaron positivos arrojando que los instrumentos presentan una alta confiabilidad de sus resultados.

5. Carácter Innovador de la Práctica

1. A nivel interno

Este sistema representa una práctica que permite levantar, generar y sistematizar evidencia de manera sistemática, periódica y uniformada de cada una de las cohortes desde su ingreso a la universidad, hasta los primeros años de inserción laboral. Anteriormente, se realizaban diversos estudios con objetivos similares, pero que respondían a necesidades puntuales de información. Las unidades seguían criterios de levantamiento de información propios, no coordinados entre sí. El SMET-UTEM genera información de plena disposición, verificable y en un lenguaje común a las unidades académicas y estratégicas de la institución.

Este sistema contempla una práctica de difusión y divulgación de los resultados a nivel de facultades y estamentos directivos y profesionales, iniciativa que simboliza el afán de la administración actual respecto a aumentar los grados de responsabilidad en la gestión por parte de los directivos, además de generar un trato más directo, personalizado y colaborativo con los mismos, considerando que en años anteriores el nivel de involucramiento con las carreras era menor al esperado.

2. A nivel de sistema universitario

SMET-UTEM contempla recopilación de información en distintos períodos de la trayectoria académica, permitiendo dar un sentido longitudinal a la recolección de información de los estudiantes. Esto favorece la caracterización no solo de las etapas académicas analizadas (corte transversal), sino que también desde una perspectiva evolutiva, a través de la recolección de un mismo conjunto de indicadores en las diversas etapas del ciclo estudiantil (seguimiento longitudinal).

SMET-UTEM se condice con un contexto de búsqueda de mecanismos integrados de sistematización de información sobre los estudiantes, a nivel de educación superior. En este sentido, la experiencia ganada en su implementación tiene la potencialidad de nutrir los debates que actualmente se desarrollan en instancias como Consorcio de Universidades del Estado (CUECH), teniendo el potencial para a futuro sentar las bases de un sistema de monitoreo integrado entre cada una de las universidades estatales.

 

6. Divulgación de la Práctica

1. Divulgación interna

La información generada por el sistema se presenta a través de reportes automáticos en la plataforma informática QlikView, soporte del Sistema de Información para la Gestión Estratégica (SIGE-UTEM). Dichos reportes tienen un carácter descriptivo y muestran los resultados de las encuestas que se aplican durante la trayectoria universitaria y laboral de los estudiantes. Están desagregados por ítem y permiten observar los resultados de la aplicación de la última encuesta al momento de la actualización de los datos, además de entregar una panorámica de las cohortes que se van siguiendo con el paso del tiempo.

Por otra parte, se realizan reportes del SMET-UTEM son informes que se publican anualmente, en los que se presentan los resultados de las encuestas aplicadas en las seis etapas del Sistema de Monitoreo de Estudiantes y Titulados, información que se analiza junto a los datos de registro curricular de los distintos grupos y cohortes respectivas. Estos informes son distribuidos tanto de manera impresa como digital a todas las autoridades de la institución y están disponibles en el sitio web de la Dirección General de Análisis Institucional.

Adicionalmente, se difunden los resultados mediante el envío de presentaciones a través del correo institucional, notas de prensa internas, links de descarga del archivo, links de acceso a la visualización de la información, y se efectúan presentaciones a académicos, directivos, administrativos, etcétera.

2. Divulgación externa

El uso de la información generada por el sistema se ha presentado en diversas instancias, tales como:

  • Ponencia "Perfil y desempeño de estudiantes beneficiados con gratuidad: el caso de la UTEM", Congreso OAES 2018.
  • Poster "Sistema de Monitoreo de Estudiantes y Titulados UTEM", Congreso OAES 2018.
  • Ponencia "Formación universitaria y su impacto en la trayectoria laboral: Profundizando el seguimiento y evaluación mediante la técnica del análisis semántico", Seminario U. de Talca.
  • Proyecto de investigación “Efectos pecuniarios y no pecuniarios del desajuste entre empleo y área de estudio: evidencia a partir de la implementación de un sistema transversal de seguimiento de estudiantes y titulados", Consejo Nacional de Educación.

7. Fuentes Complementarias

Esta Buena Práctica no posee fuentes complementarias.

8. Archivos Adjuntos

1.- Indicadores y Metas.pdf
2.- Bibliografía.pdf

Datos de Contacto
  Sebastián Guinguis Zucker
sguinguis@utem.cl
56227877525
https://dgai.utem.cl/
Universidad Tecnológica Metropolitana

Regresar al Buscador de Buenas Prácticas