Evaluación de Programas E Instituciones: Algunos Enfoques
Evaluación de Programas E Instituciones: Algunos Enfoques
Evaluación de Programas E Instituciones: Algunos Enfoques
ALGUNOS ENFOQUES
ALGUNOS ENFOQUES
ESQUEMA DE CONTENIDOS
- 1-
La evaluación de programas consiste en la recogida de información sistemática,
desde el estudio de necesidades en sus contextos, los programas elaborados para
resolverlas, los planes y estrategias de acción para conseguir las metas propuestas, y los
efectos logrados. Todo junto contribuye a los fundamentos del juicio concluyente sobre las
aportaciones del programa, aportando información suficiente sobre los aspectos positivos
que debemos mantener, los aspectos negativos que debemos suprimir y los aspectos del
programa que debemos mejorar y los nuevos elementos que debemos introducir.
Antes de iniciar una evaluación se debe informar a todos los grupos implicados en la
institución y en el programa de la intención de la evaluación, de sus objetivos y de los
ámbitos en los que se va a centrar.
Las evaluaciones deben ser sensibles a los posibles temas políticos implicados, por
lo que el evaluador, o equipo, debe consultar al personal que toma las decisiones
entrevistarse con los grupos que aplican el programa y con sus beneficiarios, y como
consecuencia de la información recogida debe realizar una valoración de la adecuación, en
ese momento y contexto, de la realización de la evaluación.
5º Haga recomendaciones
Sin embargo, en estos doce puntos puede observar una primera fase de acercamiento
al programa y a las personas implicadas, para identificar las metas y actividades del
programa, y los intereses y preocupaciones de los grupos implicados, en relación con el
programa y su contexto, una segunda fase de acuerdos en la que se determinan las
preocupaciones y los intereses, una tercera fase de acción de recogida y análisis de la
información acerca de los antecedentes, los procesos y los resultados, en una forma de
hacer característica de la investigación naturalista, en la que se toma información de
numerosas fuentes e informantes, se categorizan y ordenan los temas relevantes, se
contrasta la información y se amplía la información si fuera necesario, y finalmente, en una
cuarta fase, se informa a los diferentes grupos de los resultados, incluyendo acuerdos de
acciones futuras.
- 7-
Las cuestiones principales que deben ser atendidas en todas las evaluaciones son
las siguientes:
4. LA RECOGIDA DE INFORMACIÓN
EN LA EVALUACIÓN DE PROGRAMAS
ESTUDIOS DE
NECESIDADES
Recogida de
información
Y EN LA EVALUACIÓN
- 8-
Figura 1.
Los prerrequisitos para valorar los impactos de una intervención evaluativa -sus
resultados últimos-, son los siguientes:
- 9-
LOS MÉTODOS EN LA EVALUACIÓN DE PROGRAMAS
Figura 2.
Dada la complejidad que las organizaciones y los programas encierran, tanto para la
evaluación de necesidades iniciales, como del diseño del programa para contribuir a la
solución de las mismas, como la planificación de su puesta en funcionamiento y su
aplicación, y de sus resultados, las metodologías de recogida de información y análisis de la
misma que utiliza la evaluación, puede incluir todos los enfoques de investigación,
dependiendo de sus objetivos, y dimensión, y por lo tanto, diversidad métodos, técnicas e
instrumentos, imponiéndose el principio de complementariedad metodológica.
La evaluación no es sólo una actividad técnica sino que es, también, una
investigación diseñada para dirigir el proceso de formación política. Por ello, el evaluador
debe ser consciente de que la información de una evaluación debe llegar allí dónde se
toman las decisiones, de un modo adecuado, y a tiempo.
Queda claro, en esta ordenación, que una evaluación aportaría una información
utilizable, si es posible y pertinente hacerla, y si se ha establecido una relación adecuada y
transparente, informando de las intenciones de la evaluación a los participantes y
beneficiarios, ya que de otro modo la información aportada habría que valorarla con ciertas
dudas de verosimilitud, lo que afectaría al uso de los resultados. Si los grupos y personas
implicadas en el programa han sido informados y han colaborado en la evaluación, será
más factible que acepten los resultados y colaboren en las propuestas de cambio que se
deriven de las conclusiones de la evaluación.
Una evaluación innovadora, que permite ir comprobando el progreso, así como los
elementos que inciden en la mejora continua del programa.
Una evaluación para la mejora, que al ser exacta por fundamentarse en evidencias
contrastadas, permite establecer planes de mejora a corto y medio plazo y la
valoración progresiva de los avances.
5. ENFOQUES PARA LA EVALUACIÓN DE LOS PROGRAMAS Y
DE LAS INSTITUCIONES
Vamos a presentar brevemente algunos de los enfoques de evaluación de programas.
Mencionaremos el enfoque de Stufflebeam, centrado en la evaluación para informar a
aquellos que deben tomar las decisiones de cambio y mejora tras la evaluación de un
programa, proyecto, reforma o institución. El enfoque centrado en la mejora de la escuela,
de Ainscow, Hopkins y otros, y por último, el Modelo Europeo de Excelencia de la
Asociación Europea de Gestión de la Calidad, aplicado a centros educativos, dentro del
enfoque de Calidad total.
- 12-
Desde este enfoque, la evaluación consiste en un proceso para identificar, obtener y
proporcionar información acerca de un programa valorado en sus metas, en su
planificación, en su realización y en su impacto, con el propósito de guiar la toma de
decisiones, proporcionar información y contribuir a su comprensión y con el criterio de su
valor (como respuesta a las necesidades) y su mérito (calidad con la que lo consigue).
(Stufflebeam y Shinkfield, 1987).
La evaluación de proceso nos dice cómo se está realizando el plan previsto y las
revisiones necesarias. Está al servicio de las decisiones de aplicación del programa.
Con ello se llegó a la estructura básica del enfoque CIPP, cuyas siglas se relacionan
con: C: Contexto, I: Input, entrada, P: Proceso, P: Producto. Su relación podemos verla en
el siguiente diagrama:
Esta información del progreso nos permitirá constatar las aportaciones del
programa para conseguir las metas a las que sirve, la satisfacción de las personas
inaplicadas en la puesta en marcha del programa, y de aquéllas a las que se dirigen
sus efectos, así como para conocer los posibles defectos y efectos no planeados,
los no deseados, y poder corregirlos a tiempo, antes de que termine el programa, lo
que permitirá tomar decisiones a tiempo, introducir medidas correctoras.
Las metodologías utilizadas en el modelo CIPP, en coherencia con sus fines, son:
Los principios que deben regir la realización de los proyectos, de acuerdo con
Aisncow y otros (2001:14), son los siguientes:
Estos principios generan sinergia: el todo es más que la suma de las partes. El marco
de la acción de formación debe centrarse en el proyecto y en las estrategias necesarias para
llevarlo a cabo, contextualizadas en el centro educativo y su entorno.
Estos cuatro elementos se ven afectados por la historia de la organización del centro,
la implicación de sus miembros en los procesos de cambio y los resultados obtenidos, por
lo que es importante mejorar:
Para lograrlo hay que priorizar las necesidades de cambio de las condiciones de
gestión del centro a través del:
• Liderazgo participativo
• Búsqueda del consenso en la visión, misión, proyectos
• Compromiso en la formación del profesorado, de los empleados
- 17-
• Establecimiento de alianzas con instituciones externas y la comunidad próxima
para que apoyen y contribuyan al cambio
• Trabajo en equipo
• Gestión por proyectos
• Revisión y evaluación continua
• Informes basados en evidencias recogidas con rigurosidad
• Propuestas de mejora basadas en necesidades sentidas y expresadas.
Las preguntas claves para la mejora escolar y las acciones para resolverlas, son:
- 19-
5.3. Los enfoques de Calidad Total y el Modelo de Excelencia Europeo
Todo modelo es una descripción teórica de una realidad que trata de comprender,
analizar y, en su caso, modificar. Tras definir las características teóricas del modelo se
elaboran criterios de calidad para compararlos con su realización.
CLIENTES Responsabilidad
CLIENTES en la Gestión CLIENTES
CLIENTES
Feed-back
Gestión de Medidas,
Analisis, Satisfacción
Recursos
Mejoras A P
C D
Figura 3.
Dichos principios son definidos dentro del enfoque de Calidad Total para la gestión
de las organizaciones, y han sido adoptados por el Modelo Europeo de Excelencia, en los
- 20-
términos en que a continuación se indica:
Gestión por sistemas y hechos para la toma de decisiones. Las mejoras propuestas
deben estar fundamentadas en la información fiable que incluye las percepciones de
los miembros de la institución y de los clientes. Todas las actividades deben estar
interrelacionadas y ser gestionadas sistemáticamente, con la comprensión e
implicación de todos los miembros de la institución. El conjunto, el todo, es más
que la suma de sus partes. Las decisiones a tomar y los proyectos consecuentes
deben derivarse del conocimiento sistemático y riguroso del funcionamiento actual
de la organización.
- 21-
Relaciones con los proveedores mutuamente beneficiosas y desarrollo de
alianzas. Se refiere a las personas, instituciones u organizaciones que suministran
productos, servicios o conocimientos al centro educativo. La organización trabaja de
un modo más efectivo cuando establece con sus colegas unas relaciones
mutuamente beneficiosas basadas en la confianza, en compartir el conocimiento y
en la integración, buscando alianzas externas y aprovechamiento de sus recursos
internos en apoyo de su política y estrategia y del eficaz funcionamiento de sus
procesos y de su personal. Basadas en la utilización de sistemas de certificación de
la calidad.
Aprendizaje, innovación y mejora continua. El rendimiento de una institución se
maximiza cuando se fundamenta en la gestión y la contribución compartida del
conocimiento dentro de una cultura de aprendizaje, innovación y mejora continuos.
La revisión de los resultados, en coherencia con los criterios previos utilizados en la
definición de los proyectos y programas, como son la misión, la política y la
estrategia, y los elementos que la determinan: la formación del personal, las
colaboraciones y utilización de los recursos, la determinación de los procesos, la
planificación y realización de los mismos y su evaluación, subrayando la
importancia de la retroalimentación, basada en la recogida de información fidedigna
que permita introducir cambios en pos de una mejora continua mediante el
aprendizaje organizacional, la innovación y la mejora permanente.
El Modelo de Excelencia está formado por dos bloques: el de los agentes y el de los
resultados. Con el objetivo puesto en los resultados que es la satisfacción de las necesidades
del cliente, es a través del bloque de los agentes, concretados en el liderazgo de la
institución, en su política y estrategia, en el personal de la institución y en los colaboradores
y recursos que contribuyen en la concreción de la realización de los procesos para
consecución de los logros en coherencia con las necesidades del cliente.
- 23-
Figura 4. (tomada de: www.efqm.org, 2002)
Los criterios agentes reflejan como el centro educativo enfoca cada uno de sus
subcriterios o áreas que integran los diferentes criterios. Son los siguientes:
Liderazgo: comportamiento y la actuación de los dirigentes y responsables de la
institución, encaminado a conducir el centro escolar hacia la gestión de la calidad.
Planificación y Estrategia: referida a la misión, los valores y la dirección
estratégica del centro, y al modo en que se implantan los proyectos de la
organización.
Los criterios del bloque de los resultados tienen como finalidad conocer que ha
obtenidos el centro educativo. También visto a priori, señalan los resultados que desea
obtener el centro. Son los siguientes:
- 24-
Resultados clave: qué consigue el centro, en relación con la Política, su estrategia y
planificación, y con respecto a la satisfacción de las necesidades y expectativas de
los alumnos, de las familias, y en general de la sociedad.
LA AUTOEVALUACIÓN
Figura 5
Los criterios para priorizar las áreas de mejora, son los siguientes:
EL PLAN DE MEJORA
Figura 6.
El modelo está abierto a mejoras, por lo que sus indicadores, tras las valoraciones
de los usuarios, se adaptarán cada vez más a las características del sistema educativo,
buscando con ello lograr una mayor participación y compromiso de la comunidad educativa
- 26-
en tareas de evaluación para la mejora de la calidad de los Centros Educativos.
6. REFERENCIAS BIBLIOGRÁFICAS
Ainscow, M. Hopkins,D., Southwort,G. y West, M. (2001). Hacia escuelas eficaces para
todos. Manual para la formación de equipos docentes. Madrid, Narcea. (Primera
edición en inglés en 1994, London, Fulton).
Martínez Mediano, C. (1997). Evaluación de programas educativos. Modelos de evaluación
de programas. Investigación evaluativa. Madrid, UNED, Cuadernos de la UNED,
159.
Martínez Mediano, C. (1998). La teoría de la evaluación de programas. Educación XXI. 1.
Madrid, UNED, Revista de la Facultad de Educación.
Martínez Mediano, C. y González Galán, A. (2001). La evaluación para la mejora de la
calidad de los centros educativos. Madrid, UNED, Textos de Educación Permanente.
Ministerio de Educación, Cultura y Deporte: (2001). El Modelo Europeo de Excelencia.
Madrid. Secretaría General Técnica.
Stufflebeam, D. and Shinkfield, D. (1987). Evaluación sistemática. Madrid: Paidós, MEC.
www. efqm.org
www.iso.quema