Skip to main content
Detalle de la Buena Práctica

Difusión de evidencia para una gestión de calidad


Palabras clave: Difusión, análisis, evidencia

Resumen de la Práctica

La práctica “Difusión de la evidencia para una gestión de calidad” consiste en una estrategia de comunicación sistemática del análisis institucional disponible para la gestión de los directivos, profesionales y académicos de la Universidad Tecnológica Metropolitana.

Una de las lecciones del proceso de autoevaluación para la acreditación de la UTEM en 2016, fue el imperativo de sostener su toma de decisiones en información y evidencia oportuna, confiable y pertinente. No obstante, una de las debilidades detectadas para lograrlo era que los directivos de la institución no conocían del todo la evidencia disponible, ni tampoco tenían la capacidad ni el tiempo de analizarla para integrarla en su gestión. De este modo, el análisis institucional, por muy alto estándar que alcanzara, perdía eficacia.

La incorporación de la práctica de Difusión de evidencia, a partir de 2017, ha permitido que no solo los directivos, sino también los profesionales y los académicos regulares de la Universidad, tengan a disposición distintos mecanismos de acceso al análisis institucional:

  • SIGE-UTEM, plataforma BI de visualización de datos, con acceso vía cuenta de correo institucional
  • Publicaciones en formato pdf, disponibles para descarga en el sitio web http://dgai.utem.cl
  • Información actualizada semanalmente sobre evidencia, vía correos personalizados
  • Presentaciones y talleres de análisis de datos a comunidades de carrera o facultad y unidades académicas

La multiplicidad de mecanismos de disponibilidad de evidencia ha favorecido, primero, que los usuarios conozcan sobre la información existente, y, segundo, que sepan cómo acceder a ella, de manera sencilla y directa. Con esto, se genera una de las condiciones necesarias para el aseguramiento de la calidad, en la medida en que los tomadores de decisiones y los profesionales de la gestión cuentan con la información pertinente para levantar diagnósticos, hacer benchmarking, analizar problemáticas específicas y proyectar escenarios. Para lograrlo, la institución dispone de un área especializada en la Difusión de evidencia, al interior de la unidad de análisis institucional (Departamento de Autoevaluación y Análisis), articulada con el Programa de Comunicaciones de la UTEM. 

1. Planificación de la Práctica

El Departamento de Autoevaluación y Análisis es la unidad a cargo del análisis institucional en la Universidad Tecnológica Metropolitana. Su funcionamiento se organiza mediante el Programa PROGES, que en su origen (2016) se diseñó en base a tres componentes: SMET-UTEM (sistema de monitoreo de estudiantes y titulados), SIGE-UTEM (plataforma BI para visualización de datos) y Estudios Institucionales, los que constituyen los recursos fundamentales de generación y disposición de evidencia para los usuarios de la Universidad.

Por entonces, los usuarios identificados de PROGES eran 87 directivos del nivel central y facultades. El diagnóstico interno arrojó que dichos usuarios no utilizaban sino marginal y esporádicamente la evidencia para su gestión, dado que no la conocían, no la tenían a disposición o no sabían cómo usarla (Plan de Acción Correctivo UTEM, 2015).

Esta situación es recurrente en las instituciones de educación superior. Pese a la importancia de “formalizar y hacer fluida la conexión entre generación de información y toma de decisiones” (Astudillo et al., 2009), sucede que la gestión universitaria se caracteriza por mecanismos diferentes, propios de una comunidad fundada en la autonomía y la democracia interna, cuyos cargos directivos son asignados a académicos que suelen orientarse por criterios distintos a los de profesionales de la gestión (Fernández, 2009).

Así emergía el desafío de posicionar al interior de la universidad el análisis institucional disponible. Según un estudio encargado por el Mineduc (DPM Research, 2016), la denominada “socialización de la UAI” y la “difusión eficiente y oportuna” de la evidencia producida, así como “ayudar a los usuarios en la interpretación y uso de dicha información”, favorecen el cambio de la cultura antes descrita.

De este modo, en 2016 la UTEM se propone abordar las debilidades identificadas con la implementación de la presente práctica: “Difusión de evidencia para la gestión” , cuyo objetivo era fortalecer el impacto de la información y análisis en la gestión institucional de las unidades centrales y locales de la UTEM, con el propósito de que los directivos dispusieran, accedieran, utilizaran e integraran sistemáticamente la información estratégica en la gestión de iniciativas, acciones o inversiones de carácter académico, administrativo y de vinculación con el medio.

Los recursos dispuestos y las acciones para crear el área fueron:

  1. Contratación de un periodista especializado, bajo modalidad jornada completa.
  2. Disposición de presupuesto para la impresión de materiales de difusión.
  3. Alianza estratégica con el Departamento de Comunicaciones.

El plan de trabajo 2017 se define con un carácter de piloto, con 6 líneas de acción según los objetivos específicos

1. Promover la información estratégica para la gestión y asegurar su conocimiento por parte de los directivos.

1.1. Plan anual de visitas a las unidades, con materiales impresos y digitales de apoyo.

1.2. Creación de sitios web con información estratégica.

1.3. Generación de contenidos para los canales digitales UTEM.

2. Promover, apoyar y monitorear el uso de la información estratégica para la gestión.

2.1. Campañas de promoción de la integración de la información estratégica en la gestión.

2.2. Plan de apoyo en terreno para directivos.

2.3. Herramientas de monitoreo del impacto.

Las actividades contempladas en el 2.3 se refieren a un sistema de evaluación, que contemplaba:

  • Monitoreo de estadísticas de acceso a la plataforma online SIGE-UTEM (visualización de datos, modelo BI).
  • Encuesta de satisfacción de SIGE-UTEM.
  • Entrevistas semiestructuradas a usuarios.

 

2. Desarrollo y ejecución de la Práctica

1. Síntesis 2017

La ejecución de la práctica piloto de Difusión de la evidencia mostró que el diseño fue adecuado respecto de la disposición de recursos y los plazos esperados; se contó con la tecnología, el presupuesto y los recursos humanos necesarios, y se logró la articulación requerida tanto a nivel de equipo como con el Departamento de Comunicaciones.

Sobre las líneas de acción y sus actividades, el cumplimiento fue parcial:

  • Alto nivel de logro en las acciones propiamente de difusión: generación de contenidos digitales, elaboración y distribución de materiales impresos, y ejecución de capacitaciones.
  • Logro parcial en las visitas y presentaciones a unidades y facultades, dada la dificultad de coordinación con las contrapartes.
  • Las acciones concebidas para impactar en la gestión se ven postergadas o reformuladas, puesto que se evalúa que hay bajo conocimiento respecto de estas prácticas y baja disposición a participar.

 

2. Aprendizajes 

La primera de las lecciones de esta fase se relaciona con el bajo logro de las actividades para aumentar el uso de la evidencia. Esto llevó a concluir que se debía ajustar el alcance del concepto de impacto: el uso efectivo de evidencia en la gestión corresponde a un cambio de la cultura organizacional, que no se puede atribuir a una práctica de difusión. Más bien, esta transformación tiende a ocurrir bajo mecanismos de presión, principalmente por los procesos de acreditación externa (Zapata & Tejeda, 2009; Dooner et al, 2016).

El segundo aprendizaje se levanta tras la evaluación interna (encuesta y entrevistas), la que permitió identificar que: si bien se logró avanzar consistentemente en el conocimiento por parte de los usuarios sobre el análisis institucional disponible; persistía como obstáculo el bajo conocimiento de mecanismos de gestión en base a evidencia (más allá del proceso de acreditación). Sumado a lo anterior, se identificó que los usuarios no disponían de tiempo ni equipos profesionales capaces de implementar los ajustes que la evidencia sugería, lo que se condice con los hallazgos de la literatura.

 

3. Ajustes

Frente a estas lecciones, se define pasar de una fase piloto a una en régimen, lo que implicó una planificación bianual (2018-2019) para la práctica, así como la aplicación de instrumentos de evaluación Al cierre de la fase (diciembre 2019).

A nivel de diseño, se realiza un ajuste relevante al modificar el impacto esperado para la práctica. El nuevo propósito se define en base a dos pilares:

  1. Asegurar que los usuarios conozcan la evidencia, y
  2. Mejorar su accesibilidad y disponibilidad.

Se espera entonces que la Difusión “contribuya” a la efectividad del análisis institucional, en sustitución a que “fortalezca” su impacto. Para lograrlo, se define sistematizar las acciones de difusión de los recursos de análisis institucional, lo que se entiende por “acciones de alcance directo”, en tanto están dentro del campo de acción de la práctica. 

Nuevas definiciones y plan de trabajo 2018-2019

Objetivos específicos y líneas de acción:

1. Potenciar los recursos de análisis institucional, tanto en la calidad de sus formatos como en sus mecanismos de acceso y disponibilidad.

1.1. Alto estándar para publicaciones, documentos, presentaciones.

1.2. Mejoramiento UX de la plataforma SIGE

1.3. Campañas para mejora tasas de respuesta de encuestas

2. Consolidar la difusión de los recursos de análisis institucional entre sus usuarios internos.

2.1. Canal formal y sistemático de difusión digital: mailing, noticias y sitios web.

2.2. Fomento presentaciones de encuestas y estudios en unidades.

 

4. Mejoras 2018-2019

  • Se comienza a trabajar bajo el concepto de “gestión basada en evidencia” (en base a las orientaciones del Center for Evidence-Based Management: cebma.org). Así, las acciones de difusión llevan como mensaje central: “Evidencia para una gestión de calidad”, junto con una imagen corporativa, que favorece que el usuario reconozca la disposición de evidencia.
  • Se mejoró y consolidó la frecuencia del mailing: de bisemanal en 2018, a semanal en 2019. El envío de correos es personalizado (nombre, cargo y unidad) y se incorporan infografías e imágenes, con cuerpos de texto breves.
  • Dada la profesionalización de la Universidad entre 2017 y 2019, se definió ampliar el público objetivo, compuesto inicialmente por directivos (87), a los que se sumaron profesionales y académicos (360 nuevos usuarios aproximadamente). Esto favoreció: 
    • Ejecutar acciones de difusión específicas a segmentos, para lo que se elaboró una base de datos propia y única en la institución.
    • Ampliar el acceso a la plataforma online SIGE-UTEM (http://sige.utem.cl) a todos los segmentos, gracias a una innovación tecnológica que vincula el acceso a los correos institucionales.
    • Cargar todas las publicaciones (50) a un repositorio digital (http://dgai.utem.cl/publicaciones-dgai).
  • Se eleva el estándar de calidad de las publicaciones, con un procedimiento formal de edición, diseño propio, y la designación de un ISSN.
  • Se pone énfasis en presentaciones de resultados de estudios dirigidas al segmento de profesionales (60 usuarios), o comunidades de aprendizaje a nivel de carrera, con sus datos desagregados.

3. Resultados de la Práctica

La puesta en marcha de la Difusión de la evidencia como práctica, entre 2017 y 2019, ha permitido posicionar incrementalmente el análisis institucional entre los directivos y profesionales de la UTEM. Esta conclusión se desprende de la evaluación cuantitativa y cualitativa efectuada a fines de 2017; de las estadísticas de ingreso a la plataforma de datos SIGE-UTEM; y de los medios de cumplimiento de la planificación interna.

Previo al inicio de la práctica, el diagnóstico indicaba: “Aun cuando la información esté disponible, los directores de escuela no necesariamente la utilizan, e incluso reportan que no la conocen” (Plan de Acción Correctivo UTEM 2015). En cambio, tras la implementación piloto del área de Difusión durante el primer año, por medio de entrevistas cualitativas se recoge que los usuarios ya reconocen los dos principales recursos de análisis disponibles: SIGE-UTEM y las publicaciones impresas.

La consolidación en el conocimiento de la evidencia ha sido el énfasis de la fase actual (2018-2019). En la medida en que los propios usuarios identificaron el correo electrónico y las actividades presenciales como los mejores medios para informarles sobre la evidencia disponible (entrevistas 2017), se ha alcanzado una implementación sistemática de este tipo de actividades, como se ve en la tabla 1 adjunta, que además da cuenta de la regularidad de las acciones de difusión efectuadas y su continuidad durante 2019.

Otro indicador que demuestra el impacto que ha tenido la práctica de Difusión ha sido el incremento sostenido del acceso a la plataforma SIGE-UTEM. El registro de ingresos muestra un aumento anual tanto del total como del promedio de accesos a la plataforma, como se ve en la tabla 2 adjunta.

Las actividades presenciales se modificaron para que fueran más pertinentes, lo que ha hecho mejorar su efectividad. Desde 2018 estas consisten principalmente en presentaciones de resultados de estudios a comunidades de aprendizaje a nivel de carreras o a profesionales del nivel central, lo que genera una alta participación (promedio 40 asistentes), e interés por retroalimentar y mejorar los instrumentos de acuerdo a sus necesidades específicas de gestión.

Un hito en este sentido fue el “Seminario Internacional Evidencia para una Gestión de Calidad”, realizado por la UTEM el 19 de enero de 2019, al cual asistieron 180 personas, de los cuales 110 eran directivos, profesionales y académicos de la propia institución, oportunidad en la que se presentó la importancia del análisis institucional a través de la experiencia de la UTEM y de intervenciones de un experto de EEUU (de la Universidad de Harvard) y de organismos como Mineduc, SIES y CNA.

4. Evaluación y Revisión de la Práctica

1. Resultados de entrevistas en profundidad (2017)

Al finalizar la fase piloto, en 2017, se entrevistó a una muestra del 10% de los usuarios (de los 87 identificados), considerando las cinco facultades y distintos estamentos del nivel central con el objetivo de evaluar las fortalezas y debilidades del análisis institucional. Los resultados pertinentes a la Difusión fueron:

  • La plataforma SIGE era su componente más usado. Pese a que las publicaciones eran conocidas, dijeron no darles uso.
  • Respecto del medio por el que preferían recibir información, los más mencionados fueron el correo electrónico y actividades presenciales.

 

2. Resultados de encuesta SIGE

Simultáneamente a las entrevistas, se aplicó una encuesta a los usuarios SIGE, la que fue respondida por 18 personas (de las 87) que tenían acceso a la plataforma en esta etapa. Dentro de esta encuesta se incluyó un ítem de difusión, en que el 44% estuvo de acuerdo o muy de acuerdo con que la campaña de difusión de SIGE “fue adecuada”.

 

3. Datos de acceso SIGE

La información de acceso a la plataforma SIGE-UTEM muestra un aumento en su uso a partir de la puesta en marcha de la presente práctica, destacándose:

  • Un promedio de uso superior en 2017 respecto de 2016.
  • Un incremento progresivo durante 2017, relacionado con el aumento de acciones de difusión de SIGE a lo largo del año.
  • Un promedio superior en 2018 respecto de 2017, a su vez que estable durante el año, relacionado con la sistematización de acciones de difusión.
  • Un aumento de accesos desde mayo de 2019, asociado a la ampliación del acceso a SIGE para profesionales y académicos.

En archivo adjunto se incluye un gráfico que muestra las tendencias de accesos mensuales de junio de 2015 a mayo de 2019.

En suma, tanto los datos cuantitativos como cualitativos disponibles han venido señalando la necesidad de reforzar las acciones de difusión, con la intención de que los usuarios conozcan la evidencia y los mecanismos de acceso a ella. Se observa que la ejecución de las acciones indicadas por los propios usuarios (correos electrónicos y actividades presenciales) han favorecido un acceso más intensivo de los recursos de análisis.

5. Carácter Innovador de la Práctica

La innovación de la presente práctica tiene su principal foco a nivel del contexto del sistema de educación superior.

De la literatura internacional, se observa que las prácticas de difusión no han sido suficientemente socializadas. En cambio, a nivel nacional, el informe de la consultora DPM Research (2016) afirma la relevancia de la difusión: al evaluar a las unidades de análisis institucional (UAI) de las universidades acreditadas, se considera que “Comunicar información” es una de las seis competencias esperadas; mientras que su recomendación nº 3.3 se enfoca en la difusión de la evidencia y de sus potenciales usos.

Específicamente, la Red de UAI del CUECh levantó un diagnóstico interno en 2018 en base a dicho informe, en que la misma competencia era una de las menos desarrolladas; lo que se confirmó a través de una encuesta (61% dijo necesitar capacitarse en “Comunicar”).

La práctica de Difusión UTEM será traspasada a sus pares del CUECh en un próximo taller, cuyo énfasis para traspasar competencias estará en:

  1. . Definir objetivos específicos de difusión, según sus funciones, legitimidad y conocimiento de la UAI en cada universidad.
  2. Identificar segmentos de públicos y los medios más pertinentes para comunicarse.
  3. Diagnosticar las dificultades y oportunidades de acceso a la evidencia.
  4. Sumar la competencia “comunicacional” al equipo (vía contratación de un profesional, servicios part-time o una articulación con el departamento de comunicaciones institucional).
  5. Diseñar y ejecutar campañas virtuales y/o presenciales, con plazos estipulados e indicadores de cumplimiento y evaluación.

 Un resultado de esta práctica es el sitio: http://dgai.utem.cl. En la sección Publicaciones, se puede conocer el catálogo completo de documentos y presentaciones, mientras que en el documento “PROGES 2016-2020: Evidencia para una gestión de calidad” se describe la práctica de Difusión en articulación con la generación de evidencia.

6. Divulgación de la Práctica

La práctica de Difusión de evidencia se incorporó en 2018 como componente al Programa PROGES, en cuyo documento de presentación se explica el rol y funcionamiento de la Difusión en articulación con el resto de las áreas de generación de evidencia. Este fue impreso (300 unidades) y distribuido durante un seminario efectuado en enero de 2019, y luego en abril a los directivos que no asistieron. Está disponible para su revisión y descarga online en: http://dgai.utem.cl/publicaciones-dgai.

Ahora bien, al tratarse de una práctica de difusión de evidencia, el foco de su divulgación es fundamentalmente externo, pues a nivel interno es la propia comunidad la usuaria de la práctica.

Por esto, el énfasis ha estado puesto en la Red de Unidades de Análisis Institucional del CUECh. Durante el 26 y 27 de junio de 2019 se realizará un Encuentro de la Red en el que está programado un taller titulado “Difusión de evidencia”, a cargo de la UTEM. El taller surge a partir de la necesidad manifestada por las otras unidades de la Red respecto de contar con herramientas de comunicación efectiva, dado que ninguna de ellas las desarrolla en su respectiva institución. Esta competencia es promovida por la consultora DPM Research (2016) en sus recomendaciones a las Unidades de Análisis Institucional del CUECh. A la actividad se proyecta que asistan aproximadamente 40 profesionales y analistas, y se espera que tras el taller se genere un espacio de trabajo y retroalimentación permanente, liderado por nuestra institución.

Asimismo, se contempla postular la experiencia del área, como buena práctica, a otras instancias de reflexión de educación superior en Chile durante el segundo semestre de 2019 y primer semestre de 2020.

7. Fuentes Complementarias

PRODUCTOS DE LA PRÁCTICA

OTRAS REFERENCIAS

 

8. Archivos Adjuntos

1.- Plan de acción correctivo.pdf
2.- Programa Progress.pdf
3.- Astudillo et al._ 2009.pdf
4.- DIFUSIÓN DE LA EVIDENCIA PARA UNA GESTIÓN DE CALIDAD.pdf
5.- Dooner et al._2016.pdf
6.- Dooner et al._2016.pdf
7.- evidencia-cabecera-mail.jpg
8.- Informe Final DPMR.pdf
9.- Tejeda & Zapata_2009.pdf

Datos de Contacto
  Daniel Brzovic Gaete
dbrzovic@utem.cl
56 227 877 674
http://www.utem.cl
Universidad Tecnológica Metropolitana

Regresar al Buscador de Buenas Prácticas