Sistema de evaluación de impactos de la Maestría en Dirección

Doctora en Ciencias Económicas. Profesora Titular del Centro de Estudios de Dirección, Desarrollo Local, Turismo y Cooperativismo (CE-GESTA). Universidad de Pinar del Río "Hermanos Saíz Montes de Oca». Facultad de Ciencias Económicas y Empresariales. Cuba. Correo electrónico: tvargas@upr.edu.cu

La Maestría en Dirección, coordinada por el Centro de Estudios de Dirección, Desarrollo Local, Turismo y Cooperativismo de la Universidad de Pinar del Río, está dirigida a potenciar la búsqueda de eficiencia, eficacia y efectividad en los resultados de las organizaciones y su efecto en el desarrollo sostenible del territorio. Con la misma, se pretende propiciar el aumento sistemático en la capacidad de cambio de las organizaciones y del territorio, en correspondencia con las condiciones que demanda el desarrollo económico y social del país. El currículo de la Maestría está diseñado sobre la base de un sistema de objetivos enfocados hacia el desarrollo de habilidades en los maestrantes, en función de la solución de problemas científicos y técnicos vinculados a la esfera de la gestión. Sin embargo, este Programa carece de un mecanismo propio que permita evaluar su impacto. Por tal razón, el propósito de este trabajo es elaborar un sistema de evaluación de impactos de la Maestría en Dirección, que contribuya a la mejora continua de la calidad del programa. Se emplearon los métodos de nivel teórico: histórico lógico, sistémico y de modelación con el apoyo de las técnicas del análisis de documentos y los procedimientos de análisis y síntesis e inducción y deducción. Todo ello sustentado por el método materialista dialéctico, para el estudio de diversos modelos, sistemas y metodologías de evaluación de impactos que sirvieron como referentes teórico-metodológicos, lo que permitió determinar sus principales aportes y limitaciones, como base para la propuesta realizada. El sistema propuesto está conformado por nueve componentes, los cuales en su conjunto contribuirán a la mejora continua de la calidad del Programa en cuestión.

Master's Degree in Management, coordinated by the Center of Studies of Management, Local Development, Tourism and Cooperativism of the University of Pinar del Río, is aimed at enhancing the search for efficiency and effectiveness in the results of organizations and their effect on the sustainable development of the territory. It intends to propitiate the systematic increase in the capacity of change of the organizations and of the territory, in correspondence with the conditions that the economic and social development of the country demands. The curriculum of the Master´s degree is designed on the base of a system of objectives focused toward the students´ development skills, on the sake of scientific and technical problems linked to the sphere of the management. However, this Program lacks an own mechanism to evaluate its impact. For this reason, the purpose of this work is to design an impact evaluation system for the Master's Degree in Management, which contributes to the continuous improvement of the Program´s quality. There were used methods from theoretical level as, historical-logical, systemic approach and modeling, with the aid of the documental analysis technique, as well as the procedures analysis-synthesis and induction-deduction. All of them based on the Dialectic Materialist method fundamentally in the study of diverse models, systems and methodologies of impacts evaluation that served as theoretical-methodological referents , what allowed to determine their main contributions and limitations, like base for the carried out proposal. The proposed system has nine components, which as a whole will contribute to the continuous improvement of the program´s quality.

El programa de Maestría en Dirección de la Universidad de Pinar del Río está concebido para el desarrollo de profesionales en los ámbitos de la gestión empresarial, pública y las cooperativas, así como de instituciones de la educación superior y de la ciencia, y tiene como finalidad potenciar la búsqueda de eficiencia, eficacia y efectividad en los resultados de las organizaciones y su efecto en el desarrollo sostenible del territorio.

Los conocimientos y habilidades que proporciona el programa, convierten a los egresados en agentes que propician e influyen en el aumento sistemático de la capacidad de cambio de la organización donde laboran, en correspondencia con las condiciones que demanda el desarrollo económico y social del país.

Desde esta perspectiva, se hace cada vez más necesario que las organizaciones desarrollen sus sistemas de dirección acorde a las exigencias del entorno socioeconómico donde están enclavadas, para lo cual la formación de los recursos humanos, con conocimientos teóricos y prácticos en estas temáticas es de fundamental importancia(Sánchez, Laguna & Téllez, 2018).

Como parte del proceso investigativo que dio origen a este trabajo, se detectó que, independientemente de que el Ministerio de Educación Superior (MES) a través de la Junta de Acreditación Nacional, establece un Sistema de Evaluación y Acreditación de la Educación Superior (SEAES), dentro del cual se integran varios subsistemas como el SEA-M (Subsistema de Evaluación y Acreditación de Maestrías) y de que existen otras investigaciones que abordan la temática en cuestión; el Programa Académico de Maestría en Dirección de la Universidad de Pinar del Río, carece de un mecanismo que particularice en sus objetivos y necesidades con vistas a evaluar su impacto en los diferentes actores que forman parte del proceso formativo.

Las consideraciones referidas previamente propiciaron el planteamiento del problema científico de la investigación: ¿cómo contribuir al mejoramiento de la calidad del Programa Académico de Maestría en Dirección, perteneciente a la Universidad de Pinar del Río?

La evaluación del Programa se orientará a lograr una gestión de la calidad que permita satisfacer las necesidades de los cursistas, los empleadores y la sociedad en general. Se apoyará en las autoevaluaciones, la realización de ajustes y mejora continua, la evaluación externa y la acreditación de la calidad.

Varios son los autores que han propuesto modelos, sistemas y metodologías relacionados con el tema en estudio. Se analizaron diversos referentes nacionales e internacionales, entre los que destacan: modelo de (Kirkpatrick, D. L. & Kirkpatrick, J. D, 2009), modelo de Phillips (1990), modelo de (Wade, 1999), modelo de (Pineda, 2000), guía para la evaluación del impacto de la formación (Billorou, Pacheco & Vargas, 2011), Sistema de Evaluación y Acreditación de la Educación Superior (MES, 2018), instrumento propuesto por (Ramos et al. 2016), criterios para la evaluación del impacto académico de Programas de maestría, de (Mestre, 2016), estrategia metodológica de (Lara et al. 2018), la metodología para evaluar el impacto en el desarrollo local de (Sánchez et al. 2018), entre otros.

El objetivo que se propone este trabajo es elaborar un sistema de evaluación de impactos de la Maestría en Dirección, que contribuya a la mejora continua de la calidad del Programa.

En el desarrollo de la investigación se emplearon los métodos de nivel teórico: histórico lógico, sistémico y de modelación con el apoyo de las técnicas del análisis de documentos y los procedimientos de análisis y síntesis e inducción y deducción. Todo ello sustentado por el método materialista dialéctico.

Se determinaron los principales aportes y limitaciones de modelos, sistemas y metodologías que anteceden al propuesto en el trabajo y con el uso del método sistémico y de modelación, se propuso el sistema de evaluación de impactos de la Maestría en Dirección, estableciendo sus componentes y relaciones internas.

Para la instrumentación del sistema se propone la aplicación de técnicas, como las encuestas y entrevistas a estudiantes, egresados, claustro, empleadores y directivos del área a la cual pertenece el Programa de Maestría en Dirección; lo que permitirá obtener información necesaria para tomar acción con respecto a su mejora continua.

El tipo de investigación desarrollada fue descriptiva, en tanto se analizó el proceso de evaluación de impactos y sus componentes. Por otro lado, también se consideró esta investigación como de desarrollo tecnológico o fundamental orientada, debido a que estuvo dirigida a adquirir nuevos conocimientos orientados a un objetivo práctico bien definido y a la obtención de un nuevo sistema a una escala tal que permita su posterior generalización.

Teniendo en cuenta que un sistema es el conjunto de elementos interrelacionados o que interactúan (Oficina Nacional de Normalización, 2015) y que la evaluación del impacto del proceso educativo es el proceso que mide el grado de trascendencia que tiene la aplicación del objeto evaluable en el entorno socio económico concreto, con el fin de valorar su efecto sobre los objetos aplicados y asegurar la selección mejorada de nuevos objetos de evaluación (Añorga, 2014); el Sistema de Evaluación de Impactos de la Maestría en Dirección (SEI-MD), se fundamenta a partir de la necesidad de lograr una mejor gestión de la calidad del Programa evaluando su impacto en el entorno socioeconómico donde intervienen los actores implicados, mediante el empleo de diferentes instrumentos que contribuyan a su mejora continua.

La evaluación del impacto de proyectos y de programas, resulta una tarea compleja, ya que medir el impacto es tratar de determinar lo que se ha alcanzado, lo cual generalmente es difícil cuando se trata de evaluar cambios cualitativos (Lara, Navales & Bravo, 2018).

A partir de los elementos planteados con anterioridad, se propone un sistema de evaluación de impactos de la Maestría en Dirección, integrado por los siguientes componentes:

Evaluar la correspondencia entre los objetivos del Programa de Maestría en Dirección y los resultados alcanzados por los participantes, mediante la medición sistemática del impacto de la formación en los mismos y en sus contextos de actuación, en relación con los requisitos de calidad establecidos.

Las funciones de estos actores aparecen reflejadas en diferentes documentos, tales como reglamentos, normas, manuales, instrucciones y resoluciones a distintos niveles y que pueden ser consultados por los interesados.

Solo se detallarán las funciones de la comisión autoevaluadora, creada a los efectos del Sistema de Evaluación de Impactos del Programa de Maestría en Dirección (SEI-MD).

Fig. 1 - Sistema de Evaluación de Impactos de la Maestría en Dirección (SEI-MD)

La autoevaluación es un proceso integral, orientado a la determinación del estado, el funcionamiento y la proyección del Programa en correspondencia con lo predeterminado, a la obtención de nuevos conocimientos sobre el objeto que se evalúa para emitir juicios que contribuyan a fortalecer el proceso y a corregir las debilidades.

Su producto principal es el plan de mejora y la elevación de la cultura de la calidad, pero para la realización de un informe de autoevaluación al finalizar cada edición, es necesario evaluar sistemáticamente la marcha del Programa y corregir a tiempo las desviaciones que puedan presentarse.

Es en esta evaluación sistemática que centra su atención el sistema propuesto, aunque no excluye la autoevaluación al finalizar cada edición, tal como lo establece el SEAES.

El SEI-MD es un subsistema del SEA-M, que a su vez en un subsistema del SEAES y tiene como entradas los medios a disposición del Programa, o sea, la infraestructura y los materiales que sirven de apoyo para la ejecución exitosa del mismo, así como los instrumentos de recolección de la información, al definir en los mismos su diseño, objetivos, estructura y tipos.

En la evaluación de impactos participan los actores definidos en apartados anteriores, los cuales están estrechamente relacionados con el proceso en cuestión, al ser parte del mismo como población objeto de estudio o como decisores que gestionan, coordinan o supervisan el proceso. El papel de la comisión autoevaluadora es esencial, en tanto, se encargará de llevar a vías de hecho el sistema propuesto.

Como parte de este proceso, se realizará la aplicación de los instrumentos, el procesamiento de la información y la interpretación de los resultados; lo cual conducirá como salidas del sistema a la concreción de los resultados y a la presentación de los informes de autoevaluación pertinentes, con sus respectivos planes de mejora. Al concluir cada edición, tal como lo establece el SEAES, se realizará un informe de autoevaluación.

Además, se propone la realización de un informe resumen de evaluación de impactos con la siguiente estructura: portada, introducción, principales resultados de la edición (cualitativos y cuantitativos), explicación de los instrumentos utilizados para evaluar el impacto y de los actores involucrados, resultados del análisis derivado de la aplicación de los instrumentos, propuestas de perfeccionamiento (instrumentos, programa) y conclusiones.

Los instrumentos a aplicar forman parte de la evaluación sistemática referida con anterioridad, al mismo tiempo, la información obtenida a partir de su procesamiento sirve de referente para la elaboración del informe de autoevaluación al término de la duración del Programa.

Cierra el sistema, el proceso de retroalimentación, con la consecuente comunicación de los resultados (parciales y finales) a los actores pertinentes, dígase: miembros del Comité Académico, Consejo de Dirección, Consejo Científico Ramal de Ciencias Económicas y COPEP-UPR, a fin de tomar acciones correctivas y/o preventivas que permitan la mejora continua del Programa de Maestría.

Desde una apreciación general, Añorga (como se citó en Rodríguez, Mena & Lazo, 2017), asigna una importancia elevada a la evaluación como elemento esencial de retroalimentación.

La retroalimentación permitirá, el perfeccionamiento de los instrumentos de evaluación, de modo que puedan ser adecuados a las particularidades de la población objeto de estudio y a las necesidades de información del Programa para su mejora continua. De igual modo, deberán valorarse a partir de los resultados obtenidos y de acuerdo con la categoría superior de acreditación de la calidad que posea el Programa, aquellos cambios o ajustes necesarios para su perfeccionamiento.

La evaluación del impacto tributa a retroalimentar el sistema y como consecuencia a elevar su calidad y a incrementar su repercusión en el desarrollo económico y social del territorio.

Para planificar y dar seguimiento a las actividades académicas e investigativas previstas en el Programa y así poder determinar su impacto, se divide este proceso en tres momentos fundamentales: antes, durante y después de la formación; teniendo en cuenta el empleo de técnicas y acciones, tales como encuestas, entrevistas, revisión documental, trabajo grupal, visitas a entidades, intercambios de experiencias, entre otras.

En la etapa «antes de la formación» se establece un pronóstico del posible impacto que tendrá la misma, a través de un conjunto de elementos o indicadores relacionados con el contexto socioeconómico, la población objetivo, los problemas y necesidades de superación, los insumos necesarios y el nivel de motivación por aprender.

La segunda etapa: «durante la formación», es el momento donde se ejecutan todas las acciones comprendidas en el cronograma y se evalúa la efectividad del mismo, teniendo en cuenta su correspondencia con las necesidades e intereses de los implicados en el proceso. En esta etapa se aplicarán instrumentos para evaluar la satisfacción de los estudiantes con cada curso impartido.

Por último, la etapa «después de la formación», permite valorar si se cumplieron los objetivos propuestos y adoptar cualquier ajuste o adecuación para las futuras ediciones. Se comprueba si se modificaron los indicadores establecidos en la primera etapa, si se cumplieron las expectativas de los implicados y si hubo transferencia de conocimientos hacia otros directivos y trabajadores de las entidades y organismos implicados en el proceso.

Esta última etapa estará compuesta por dos fases: inmediata y mediata. En la fase inmediata se valorará el nivel de satisfacción de los estudiantes con el programa de Maestría al concluir la edición. Se aplicarán instrumentos también, como parte de la fase mediata, al transcurrir un año de concluida la edición, de manera que pueda evaluarse el grado de aplicación de lo aprendido en sus contextos laborales. Lo anterior no implica que en ese lapso no se apliquen instrumentos que permitan reajustar el Programa. De hecho, en ese período ya estará en ejecución otra edición y por tanto, se estarán aplicando herramientas para ese fin.

La Tabla 1 resume los niveles y etapas que se tendrán en cuenta como parte del SEI-MD.

Tabla 1. Niveles y etapas para la evaluación del impacto del Programa de Maestría en Dirección.

	Etapas
Niveles	Durante el proceso formativo	Al finalizar el Programa
1. Reacción: Mide percepción sobre formación impartida.	Se evalúa la satisfacción de los estudiantes con cada curso impartido.	Se evalúa la satisfacción de los egresados y de sus empleadores con respecto al Programa.
2. Aprendizaje: Se evalúa si se han alcanzado los objetivos.	Se evalúa el aprendizaje de los estudiantes en cada curso impartido. Los avances en investigación se evalúan en los talleres de tesis.	Se evalúa si los egresados han adquirido las competencias planificadas en el Programa, teniendo en cuenta los criterios de los egresados y de sus empleadores.
3. Impacto: Se evalúan los efectos del Programa en los egresados y sus contextos laborales.	Se evalúa si los egresados han transferido los conocimientos aprendidos en cada curso a su contexto laboral.	Se evalúa si los egresados han transferido los conocimientos recibidos a su quehacer diario y cómo la formación recibida repercute en su desempeño profesional y en la organización.

Se propone aplicar los siguientes instrumentos y acciones para la evaluación del impacto del Programa de Maestría en Dirección:

En la búsqueda de la operacionalización del proceso de evaluación de impactos del Programa, se tendrá en cuenta el conjunto de indicadores propuestos en la guía de evaluación del SEA-M, que simbolizan de manera cualitativa o cuantitativa aspectos relevantes en los que se manifiestan fortalezas y debilidades. Los indicadores se desglosan en criterios de evaluación que en su conjunto caracterizan a estos.

En correspondencia con lo expuesto en el SEAES Ministerio de Educación Superior (MES, 2018), el patrón de calidad se identifica con un modelo ideal al cual debe aproximarse la calidad del objeto evaluado. En él se define el «deber ser» de los programas o Instituciones de Educación Superior, entendiendo por calidad la conjunción de la excelencia académica y la pertinencia social dada por los fines del desarrollo del proyecto histórico, sociocultural y económico cubano. Constituye la descripción de un conjunto de cualidades estables expresadas en variables e indicadores en los distintos subsistemas del SEAES.

Para determinar en qué medida un Programa de maestría satisface los estándares de calidad correspondientes, se establecen cinco variables (MES, 2018):

No es interés del sistema propuesto retomar lo que establece el SEAES para la autoevaluación de un programa académico de posgrado; aunque el SEI-MD no estaría completo si no tiene en cuenta el Patrón de Calidad propuesto como parte del SEA-M que sirve de referencia para realizar el informe de autoevaluación al cierre de cada edición, como base para la apertura de una nueva edición y para la solicitud de la evaluación externa a los órganos competentes.

Por tal razón, constituirá un referente obligado para el SEI-MD lo contentivo en el SEAES y en el subsistema SEA-M, dígase patrón de calidad, guía de evaluación y manual de implementación de las maestrías, así como los modelos y anexos exigidos para la confección del informe de autoevaluación del Programa.

Para la propuesta de Sistema de Evaluación de Impactos de la Maestría en Dirección sirvieron como referentes diversos modelos, sistemas y metodologías relacionados con el tema de análisis. Entre los modelos internacionalmente reconocidos para la evaluación del impacto de la capacitación está el modelo de (Kirkpatrick, D. L. & Kirkpatrick, J. D, 2009). También destacan los siguientes: modelo de Phillips (1990), modelo de (Wade, 1999), modelo de (Pineda,2000), la guía para la evaluación del impacto de la formación del Centro Interamericano para el Desarrollo del Conocimiento en la Formación Profesional de la Organización Internacional del Trabajo (OIT/Cinterfor) (Billorou, Pacheco& Vargas, 2011).

Por otro lado, en el contexto cubano resaltan: el Sistema de Evaluación y Acreditación de la Educación Superior (MES, 2018), el instrumento para la evaluación del impacto de la formación académica, propuesto por (Ramos et al. 2016), los criterios para la evaluación del impacto académico de programas de maestría, de (Mestre, 2016), la estrategia metodológica para la evaluación del impacto de la Maestría en Educación de la Universidad de Cienfuegos (Lara et al. 2018), la metodología para evaluar el impacto en el desarrollo local del programa de Maestría en Contabilidad Gerencial de la Universidad de Holguín, Cuba (Sánchez et al. 2018),entre otros.

Como elementos comunes de los modelos citados, vistos como aportes considerados en la propuesta realizada, se destacan los siguientes:

El estudio de los referentes teórico-metodológicos sobre la evaluación de impactos en los procesos formativos, permitió establecer un conjunto de aportes y limitaciones que sirvieron de base para el diseño del Sistema de Evaluación de Impactos de la Maestría en Dirección.

Se diseñó un sistema de evaluación de impactos para el Programa Académico de Posgrado Maestría en Dirección, de la Universidad de Pinar del Río,sustentado en concepciones teórico metodológicas y conformado por nueve componentes,los cuales en su conjunto contribuirán a la mejora continua del Programa en función de la calidad.

Añorga Morales, J. (2014). La Educación Avanzada y el Mejoramiento Profesional y Humano. VARONA, Revista Científico-Metodológica, (58), 19-31.

Lara Díaz, L. M., Navales, M. A., & Bravo López, G. (2018). Evaluación del impacto de un programa de maestría para un cambio sostenible. Revista Conrado, 14(63), 101-108.

Ministerio de Educación Superior (MES). (2018). Resolución No.150/18/: Reglamento del Sistema de Evaluación y Acreditación de la Educación Superior. La Habana: autor.

Oficina Nacional de Normalización. (2015). NC-ISO 9000:2015. Sistemas de Gestión de la Calidad Fundamentos y Vocabulario. La Habana: Impresiones ONC. Recuperado a partir de http://www.nc.cubaindustria.cu

Phillips, J. (1990). Return on Investment in Training and Performance Improvement Projects. Elsevier Butterworth-Heinemann. 2da. Ed.

Pineda Herrero, P. (2000). Evaluación del impacto de la formación en las organizaciones. Educar, (27), 119-133.

Ramos Azcuy,F. J., Meizoso Valdés, M. del C., & Guerra Bretaña, R. M. (2016). Instrumento para la evaluación del impacto de la formación académica. Universidad y Sociedad,8(2), 114-124.

Rodríguez Gil, A., Mena Lorenzo, J.A., & Lazo Llorente, A. R. (2017). La superación en directivos y reservas de Educación Técnica y Profesional: evaluación de su impacto. Mendive. Revista de Educación, 15(2), 173-183.

Sánchez Arencibia, A., Laguna Cruz, J. A., & Téllez Sánchez, L. (2018). Metodología para evaluar el impacto en el desarrollo local del programa de maestría en contabilidad gerencial de la Universidad de Holguín, Cuba. Avances en supervisión educativa, (29), 1-27. https://doi.org/10.23824/ase.v0i29.620