Revista Mendive, enero-marzo 2019; 17(1): 109-121

El observador de la Junta de Acreditación Nacional en los procesos de evaluación externa de las universidades

The observer of the National Accreditation Board in the external evaluation processes of the universities

Maricela Maria González Pérez¹, Fatima Addine Hernández², Edith González Palmira³

¹Doctora en Ciencias Económicas. Vecerrectora de Investigaciones, Informatización y Postgrados, Universidad de Pinar del Río "Hnos Saíz Montes de Oca". Miembro del Pleno de la Junta de Acreditación Nacional. Cuba. Correo electrónico: maricela@upr.edu.cu
²Doctora en Ciencias Pedagógicas. Junta de Acreditación Nacional. Cuba. Jefa del Comité Técnico Evaluador de instituciones. Cuba. Correo electrónico: fatima@mes.gob.cu
³Miembro del Pleno de la Junta de Acreditación Nacional. Universidad de Matanzas.

Recibido: 19 de septiembre 2018.
Aprobado: 14 de enero 2019.

RESUMEN

En los análisis realizados en el pleno de la Junta de Acreditación Nacional sobre los procesos de evaluación externa a las Instituciones de la Educación Superior en Cuba, utilizando el método de nivel teórico histórico lógico con el auxilio de la técnica del análisis documental permitió identificar un grupo de dificultades que recomendaron la incorporación de un miembro de la misma como observador de estos. A partir del análisis de los informes presentados por cada evaluador y los análisis en el pleno de la Junta de Acreditación Nacional, este trabajo se propuso sistematizar las experiencias alcanzadas desde el año 2016 a la fecha, con el objetivo de proponer los fundamentos teóricos del trabajo del observador, así como, una metodología que oriente la labor futura de los mismos. La práctica demostró la utilidad del observador en función de velar por el cumplimiento de los reglamentos y procedimientos establecidos por parte de todos los evaluadores, dejando además importantes recomendaciones para la realización de futuros procesos.

Palabras clave: acreditación de Instituciones de la Educación Superior (IES); evaluación externa de IES; evaluación.

ABSTRACT

In the analyzes carried out in the plenary session of the National Accreditation Board on the processes of external evaluation of the Institutions of Higher Education in Cuba, a group of difficulties was identified that recommended the incorporation of a member of the same as an observer of these. From the analysis of the reports presented by each evaluator and the analyzes in the plenary session of the National Accreditation Board, this work was proposed to systematize the experiences reached from the year 2016 to date and to propose a procedure that guides the work of future observers. The practice demonstrated the utility of the observer in terms of ensuring compliance with the regulations and procedures established by all the evaluators, while also leaving important recommendations for future processes.

Keywords: accreditation of Institutions of Higher Education (IHE); external evaluation of IHE; evaluation.

INTRODUCCIÓN

En los reglamentos que están en vigor aprobados por la Junta de Acreditación Nacional (JAN) no está recogida la participación de un miembro de la junta como observador en los procesos de evaluación externa de las Instituciones de la Educación Superior (IES). Sin embargo, la práctica en los dos últimos años ha evidenciado la necesidad de su incorporación.

En el presente trabajo se pretende analizar los primeros resultados del seguimiento a los procesos de evaluación externa a las IES a partir de la función del observador JAN, de manera que se cuente con evidencias empíricas que posibiliten verificar el cumplimiento de los procedimientos utilizados y su transparencia, así como conocer las repercusiones del análisis realizado después de la evaluación externa.

La actividad del observador JAN, para el cumplimiento de su función de comprobar el cumplimiento de las normas establecidas para la realización de las evaluaciones externas a las instituciones de educación superior, se convierte en un ejercicio de investigación exploratoria-descriptiva, desde una perspectiva cualitativa predominantemente, de corte etnográfico. Más que cuantificar es importante describir, interpretar y explicar el proceso para mejorar su comprensión y sobre todo el trabajo a realizar. Bajo esta perspectiva se seleccionaron los métodos de recopilación, registro observacional, cuestionarios y entrevistas, aunque puede valerse de instrumentos de carácter más cuantitativo en próximos estudios ya que hasta la fecha no se ha contado con un procedimiento estructurado para realizar este trabajo.

De igual manera, se indagó en las relaciones existentes entre los sujetos participantes y objetos del mismo. Se analizaron las acciones prácticas e intelectuales con las cuales construyeron sus representaciones y significados, así como el sentido que para ellos asume el proceso de ser integrante de la JAN en general y de observador en particular, con el propósito de contribuir a su comprensión; de manera que quienes en ella intervienen, sobre todo quienes tienen a su cargo la dirección y orientación del proceso, identifiquen las tareas y los momentos en los cuales su ayuda es fundamental.

A partir del resultado de un proceso de registro e interpretación crítica de la práctica evaluativa desarrollada como observadores JAN se exponen algunos fundamentos para construir un modelo teórico que orientará la elaboración de la metodología a utilizar para la indagación empírica que este desarrolle durante el proceso de evaluación y que pueden contribuir a la preparación y mejor desempeño de dichos observadores.

Del análisis exploratorio explicado anteriormente surgió la siguiente pregunta:

¿Cuáles y cómo se realizan las acciones que constituyen la actividad formativa mediante la cual, un integrante de la JAN da sentido a las experiencias, conocimientos y modos de actuación con los que construye su identidad?

MATERIALES Y MÉTODOS

En el desarrollo de la investigación se emplearon los métodos de nivel teórico: histórico lógico, sistémico y de modelación con el apoyo de las técnicas del análisis de documentos y los procedimientos de análisis y síntesis e inducción y deducción.

En primer lugar, se determinaron las necesidades de investigación asociadas a las herramientas y procedimientos utilizados por los evaluadores para desarrollar su labor. Se trabajó con los informes del ciento por ciento de los observadores que actuaron entre el año 2016 y 2017 en procesos de evaluación externa a centros de educación superior del país, así como con las normativas vigentes.

RESULTADOS Y DISCUSIÓN

La práctica se funda en conocimientos, pero también produce nuevos conocimientos. Cuando se interviene en la realidad, es posible obtener -si se reflexiona sobre ello- un conocimiento rico y profundo sobre ésta, los sujetos con los cuales se interactúa, las estrategias de intervención, y también sobre uno mismo. Sin embargo, el sentido que tiene el conocimiento producido en y para la práctica y, por lo tanto, la manera en que se produce, son distintos a los de otro tipo de conocimientos.

Principales hallazgos y aprendizajes recogidos por los observadores en sus informes

Los aprendizajes se realizaron articuladamente con otros participantes, cuyas vivencias, visiones e intereses son diversos, como también sus formas de intervención y obviamente, sus interpretaciones sobre la práctica y sus efectos. En términos del conocimiento sobre la realidad, sus formas de generarlo también difieren, traduciéndose en productos distintos.

En primer lugar, el observador le pone un nombre -identifica- la situación problemática que se le presenta, luego, explora y decide qué es lo que la hace problemática (qué le da el carácter de tal) a continuación, postula las causas de los problemas que ha definido, ello le permite especificar qué quiere -y puede- cambiar en la situación y finalmente, postula qué acciones podrían modificarla a su retorno a la IES y en el Pleno de la JAN.

En los informes de: Cadenas; F. (2015), Crespo; L (2016), García; JL (2017), González; E (2016), González; M (2016), González; M (2017), Mestre; U (2016), Romero; RE (2017), de manera general los planteamientos más reiterados fueron los siguientes:

• Es necesario el análisis previo del informe de autoevaluación, el programa a desarrollar en la IES para poder elaborar un plan para la participación en las actividades. Para lo que es importante mantener intercambios con la dirección de la comisión y con la IES a evaluar.
• El plan debe prever interactuar con la mayor cantidad de estratos: áreas instituciones, estudiantes, directivos, docentes, investigadores, trabajadores, organizaciones, entre otros. Este plan debe ser operativo y flexible que se actualiza sistemáticamente de acuerdo a la práctica evaluativa que sirve de guía para el accionar durante el proceso de evaluación externa y como guía para la relatoría de las actividades desarrolladas y sus aprendizajes.
• Iniciar la observación por las variables, en lo particular por la variable I, esto facilita obtener de forma rápida una visión general de la proyección de la gestión institucional.
• Desarrollar la capacidad de anticipación, ser proactivo para alertar a la Comisión Evaluadora de posibles encargos o tendencias negativas en el proceso evaluativo (cantidad de clases observadas, principales señalamientos, cantidad y contenido de las actividades metodológicas sugeridas, entre otras).
• Se identificaron por los pares evaluadores fortalezas y debilidades no identificadas por la IES, así como se comprobó que se habían identificado debilidades que no lo eran, a partir de las evidencias analizadas. Se recopilaron las evidencias suficientes que permitieron elaborar un informe que sintetizaba y destacaba las fortalezas y debilidades esenciales de la institución. No obstante, el trabajo de conciliación de las fortalezas y debilidades entre los pares evaluadores y sus homólogos es un proceso que demanda de la pericia de los evaluadores y el conocimiento de los documentos normativos en el trabajo de las instituciones de educación superior.
• Necesidad de la verificación, a partir de la retroalimentación permanente, los resultados de la observación participante, intercambios y de la aplicación de instrumentos la correspondencia de las fortalezas y debilidades identificadas por la Comisión Evaluadora con la práctica evaluativa vivida.
• Se reconoció que había rigor, profesionalidad y habilidades en los expertos seleccionados, así como capacidad de negociación de los evaluadores con los evaluados.
• Profundizar en el referente teórico- metodológico que permita identificar los impactos: cuando hay resultados, efectos, transformaciones y sostenibilidad.
• Se ratifica el carácter medular de la variable III en el Sistema de Evaluación y Acreditación de Instituciones (SEA IES) y como núcleo para el intercambio y la triangulación de la información.
• Apreciar diferentes enfoques o puntos de vista para enfocar el trabajo (variables, facultades, centros de estudio), las fortalezas y debilidades.
• Profesionalidad del equipo de dirección en la conducción del proceso y de los evaluadores, proactividad, tolerancia, percepción de su rol y la responsabilidad que entraña este proceso y su implicación futura en la mejora de la institución donde se trabaja.
• Incluir testimonios de los evaluadores o evaluados que provoque acciones de reflexión dirigidas a la mejora de la práctica evaluativa en el informe del observador JAN.
• El rol de observador contribuye a la preparación como integrante del pleno de la JAN y al mejor desempeño de las funciones de asesoría en las IES de procedencia. Por tanto, permite vivenciar una situación de cambio y de acercamiento, re significación, construcción de la representación de los procesos de evaluación externa, así como la conformación de una nueva relación profesional donde se identifican e interpretan aprendizajes para su socialización.
• Exponer significación de la JAN y de los procesos de evaluación externa y acreditación en todas las actividades colectivas de forma breve, por evaluadores y miembros de la JAN.
• Dar atención diferenciada a los expertos con menos preparación, antes y durante el proceso.
• Se coincide en que, para la reunión diaria se debe dejar más explícito desde el principio, el objetivo de la actividad; entregar por escrito, cada día, la información que se debe dar, aunque se comparta con todos oralmente. Esto permitiría ir recogiendo la información para el informe final, sistemáticamente y complementarla o precisarla en la jornada final.
• Sugerencia de hacer la captación como expertos JAN a directores de Centros Universitarios Municipales (CUM) con experiencia y resultados exitosos para que actúen como evaluadores externos en los procesos de evaluación institucional, de manera que se garantice una verdadera evaluación por pares. Al menos 1 en cada evaluación planificando las visitas de forma escalonada y no como hasta ahora se ha hecho, todos los CUM el mismo día.
• Incorporar en el reglamento que cada variable, facultad y CUM visitado debe elaborar su propio plan de actividades en función de lo que está establecido; así como, verificar (encuestas y entrevistas grupales a realizar, áreas a visitar, entre otros aspectos).
• Explicitar en los documentos que las presentaciones, tanto la del rector como las variables y facultades, no son para leer las fortalezas y debilidades que están en el informe, sino para explicar los sistemas de trabajo que garantizan la obtención y sostenibilidad de las mismas.
• Ampliar las indicaciones metodológicas para la elaboración de los planes de mejora por parte de las IES.
• Necesidad de que la comprobación de todos los aspectos planteados en los informes de autoevaluación sea fácilmente comprobable por los evaluadores.
• Se puso de manifiesto que cuando una IES no tiene identificada una debilidad, para que sea aceptada la propuesta por los evaluadores, es necesario contar con indicadores cuantitativos, ejemplo: cantidad de doctores en el claustro, cantidad de proyectos de I+D+i total y por categorías, cantidad de publicaciones en los grupos I y II, etc; ya que resultan difíciles los análisis cuando se habla en términos de bajos o insuficientes.
• Necesidad de perfeccionar los términos utilizados en los modelos anexos para la recogida de la información cuantitativa, particularmente los que están relacionados con los procesos de investigación y extensión.
• Aunque es un logro contar con un compendio de instrumentos para la verificación de evidencias a partir de entrevistas y encuestas por variable, se puso de manifiesto la necesidad de hacer un proceso de integración entre las mismas para no duplicar su aplicación por evaluadores. Tampoco reuniones con los mismos participantes con objetivos diferentes, así como comprobar el grado de aplicación de los mismos por los evaluadores.
• Los modelos que se anexan en el SEA-IES brindan una información necesaria, pero en el Patrón SEA-IES debe explicitarse el momento de la referencia a los mismos, por una parte, y por otra complementarlos con los modelos que en las IES son auditables.
• Registrar a partir de la práctica evaluativa las reflexiones que emergen, las cuales pueden llegar a convertirse en modificaciones al SEA- I y su vínculo con el resto de los SEA.
• Mantener, desde una visión estratégica, la conformación de la comisión y los pares evaluadores de forma balanceada por evaluadores con experiencia y de instituciones que deben enfrentar próximamente procesos evaluativos, incluso incorporar rectores u otro personal de los ápices estratégicos de las instituciones o reservas de estos.
• No confundir las fortalezas con funciones. Las mismas no deben ser redactadas de forma descriptiva, muy general, en ocasiones absolutas y no se centran en el impacto. En cuanto a las debilidades, son aspectos que limitan o reducen la capacidad de desarrollo efectivo de la estrategia de la organización. Se redactan fortalezas mecánicamente.
• Mantener la entrega a los evaluadores de los puntos de vista de las Direcciones del Ministerio de Educación Superior (MES) sobre el informe de autoevaluación para su estudio, nunca como indicaciones. (Ver artículo 19 del Reglamento SEA-IES).
• Divulgar e incluir en los talleres de preparación de expertos procedimientos metodológicos para la elaboración de los planes de mejora para su verificación.
• Proyectar acciones de sistematización y socialización a partir de todos los registros de participación de los observadores.
• Elaborar procedimientos para garantizar las medidas de organización, control y confiabilidad en la aplicación y evaluación de los exámenes aplicados. Prestando especial atención a los porcientos de desaprobados por la instrucción N. 1, sobre el descuento ortográfico.
• Necesidad de una capacidad de negociación como competencia del evaluador para ejercer influencia sobre el evaluado desde una posición e igualdad, como par, en el debate e intercambios en la práctica evaluativa. Esto permite lograr que los evaluados descubran las esencias de las fortalezas y las debilidades, solo se logra si los expertos tienen experiencia de dirección en niveles similares, sobre todo si están en el ejercicio actual de la misma.
• La encuesta de liderazgo, por la necesidad de su realización se sugiere que no se incluya en el programa de evaluación, sino que se monte de forma independiente, para no confundir a los propios evaluados, ya que no tributa información para el proceso de forma directa y que puede afectar, verse afectada o percibirse como afectada por el proceso de evaluación institucional.

Como se planteaba anteriormente hasta la fecha no se cuenta con un procedimiento para la realización del trabajo del observador. Lo recogido anteriormente obedeció a las consideraciones emitidas al respecto en el pleno de la JAN, a una primera propuesta de orientaciones elaborada por González; E (2016) y sobro todo a la iniciativa de cada evaluador.

Teniendo en cuenta la experiencia acumulada, así como el trabajo del Grupo de Calidad de la Gestión (GCG) del Centro de Estudios de Educación de la Universidad Central de las Villas (2016) se expone, a continuación, una propuesta de procedimiento, desde la perspectiva del resultado de un proceso de registro e interpretación crítica de la práctica evaluativa desarrollada por los observadores en evaluaciones externas a IES.

Como primer resultado esta acción facilitó identificar los siguientes puntos de partida para un observador JAN:

a) Constituyen puntos de partida para un observador JAN:

• Autopreparación del evaluador antes, durante y después de la evaluación institucional.
• Flexibilidad
• Proactividad
• Transparencia
• Empatía con los evaluados y evaluadores.
• Objetividad
• Observación de la capacidad de negociación de evaluadores.
• Comprensión de lo que significa una fortaleza y una debilidad y las mejoras relativas a la calidad de la gestión de la IES.
• Evitar confusión entre control de gestión (función del MES) y evaluación de la calidad de la gestión (objetivo de la Evaluación Institucional).
• Orientación diferenciada a los pares acorde con su desempeño.
• Uso del diálogo para el intercambio y posible solución de conflictos.
• Reconocer que la práctica evaluativa tiene intrínseco el aprendizaje en función de la mejora.

b) Diseño metodológico para el trabajo del observador JAN

En correspondencia con la pregunta formulada, los resultados y aportes de los observadores en los procesos realizados y los puntos de partida reconocidos, ha sido posible identificar un grupo elementos para estructurar una metodología que guíe el trabajo del mismo.

El objetivo general de esta propuesta metodológica es: Diagnosticar el cumplimiento de las normas establecidas para la realización de las evaluaciones externas a las instituciones de educación superior, para validar el proceso y proponer acciones para su perfeccionamiento.

Para dicha investigación se definen como categorías, subcategoría de análisis e indicadores, los siguientes (Tabla 1 y Tabla 2):

Tabla 1. - Categoría: Sujetos participantes en la evaluación externa