DISEÑO METODOLÓGICO , IMPLEMENTACIÓN, ANÁLISIS E INFORMES DE LA EVALUACIÓN

Cuarta unidad

El diseño metodológico en una investigación evaluativa corresponde al momento en el

cual se deben tomar las decisiones correspondientes a las estrategias o actividades que
debe realizar el evaluador para el logro de los objetivos de evaluación o la respuesta a las
preguntas de evaluación por él planteadas. En términos generales, el diseño metodológico
responde a la pregunta de cómo se debe proceder en la evaluación.

Se denomina diseño, en el sentido en que avizora o planea lo que se debe hacer, y es una
metodología puesto que establece un modelo, un camino y una manera de proceder.

Las decisiones que se deben tomar sobre el diseño no son de orden mecánico, es necesario
tomarlas pensando fundamentalmente en la coherencia interna del proyecto. Esta certeza
debe estar acompañada de la conciencia de que existen unos factores del contexto
evaluativo que, en un momento dado, pueden favorecer u obstaculizar la toma de decisiones
por parte del evaluador.

El diseño de evaluación en el contexto de la investigación evaluativa se asemeja, en

buena medida, al diseño en una investigación social. El diseño metodológico de la
evaluación “es similar al diseño correspondiente de la investigación social y consiste en
la estrategia para reunir, procesar y analizar la información que se necesita para satisfacer
los objetivos de evaluación” (Abello y Madarriaga, 1987:94).

Para una mejor comprensión de los diseños de evaluación se debe describir el proceso
de la evaluación y ubicar en él los diseños o metodologías de evaluación. Si bien cada
enfoque de evaluación propone una metodología específica, estamos abogando por un
método ecléctico. En este sentido, nos sumamos a lo expresado por Stuffebeam y
Shinkfield (1995:25).

...creemos que los evaluadores deberían conocer un amplio espectro de

técnicas adecuadas y saber cómo aplicarlas en los distintos contextos

133
DISEÑO METODOLÓGICO , IMPLEMENTACIÓN, ANÁLISIS E INFORMES DE LA EVALUACIÓN

evaluativos. De este modo, podrían valorar, en cada situación, qué técnicas

son potencialmente aplicables y cuáles pueden servir de un modo más eficaz
a los propósitos particulares de la evaluación en cuestión.

De manera simplificada puede decirse que el proceso o recorrido de una evaluación

comprende unos momentos o etapas.

ETAPAS DE LA EVALUACIÓN DE PROGRAMAS

1. Especificación del marco de referencia

El evaluador parte de la reconstrucción de un marco referencial que debe contener el

detalle del programa que se quiere evaluar, la organización gestora del programa y el
contexto o entorno social. A continuación se detallan cada uno de los componentes del
marco referencial.

1.1 El programa de acción

El evaluador puede encontrar dos posibles situaciones: una que el programa esté
formalmente definido o en su defecto lo que existen son una serie de actividades que es
necesario entrar a formalizar.

El programa objeto de la evaluación también se le define como programa de acción o

simplemente proyecto de intervención. Por programa o proyecto social se entiende “el
conjunto de actividades que desarrolla la empresa social, en un tiempo determinado,
propiciando la resolución de un problema o necesidad de las personas, el grupo o la
región” (Quintero, 1995:19).

Las teorías de la planeación y de la administración social hablan de planes, programas,

proyectos y actividades como unidades de la planeación. Se entiende que el plan es lo
genérico. En el caso de una ONG, el plan puede ser el mejoramiento de los ingresos de
una población determinada. El programa es un componente del plan, es una unidad

134
 DISEÑO METODOLÓGICO , IMPLEMENTACIÓN, ANÁLISIS E INFORMES DE LA EVALUACIÓN

menos compleja. Un programa para el ejemplo anterior podría ser el de creación de

microempresas. El proyecto es un componente del programa, que está inscrito, a su vez,
en un plan; es lo específico. Así, por ejemplo, puede ser un proyecto del programa
enunciado con anterioridad, la capacitación técnica de los microempresarios. Finalmente,
las actividades son aquellas acciones puntuales que garantizan la ejecución de los
proyectos. Para continuar con el mismo ejemplo, pueden ser actividades del proyecto los
cursos de capacitación en diferentes áreas.

Para el caso de la evaluación es más común hablar de programas o proyectos, pues son
las unidades, que, por su relativa autonomía y limitada extensión, permiten la aplicación
de estas metodologías de evaluación descritos en este módulo. Se asume que la evaluación
de los planes se logra mediante la evaluación de los programas, proyectos y actividades
que los conforman.

En este módulo se utiliza el concepto de programa de acción, para evitar la posible

confusión con el concepto de proyecto de evaluación que es la planeación de la evaluación
y para diferenciarlo de la evaluación de proyectos que tradicionalmente se ha entendido
como la evaluación de factibilidad del proyecto.

En este contexto, el programa de acción es un diseño prospectivo que orienta la ejecución

de unas acciones intencionadas para cambiar o transformar una realidad diagnosticada.
Es un programa de acción porque contiene una serie de elementos o insumos que al ser
puestos en marcha deben producir unos resultados relativamente predecibles.

El programa es un acto intencionado o deliberado que debe tener una coherencia interna
o sea una lógica de relaciones entre sus componentes. El programa establece el deber
ser y simula el orden de los acontecimientos.

Cuando se habla de coherencia interna del programa, se quiere decir que la naturaleza
del programa armoniza con las necesidades o problema diagnosticado que se quiere
resolver, que los objetivos sean viables, que las metas sean medibles, que los recursos
sean suficientes y adecuados a las estrategias elegidas y que la metodología de
intervención propuesta corresponda y garantice el cumplimiento de los objetivos de cambio
formulados.

135
DISEÑO METODOLÓGICO , IMPLEMENTACIÓN, ANÁLISIS E INFORMES DE LA EVALUACIÓN

Para el caso de la evaluación, el programa se convierte en aquella variable que puede

controlarse o manipularse, o sea que se induce deliberadamente en una realidad para
impactarla; es la variable independiente o la variable conocida.

El programa debe dar cuenta de todos los ingredientes o insumos que entran en juego
para alterar la situación diagnosticada como problema, de ahí la importancia de la
elaboración técnica del programa, lo que facilita el proceso de evaluación.

Los elementos básicos de un programa responden a las preguntas:

• ¿Por qué existe el programa? ¿Quiere decir cuál es la justificación para su

existencia? ¿Cuál es el diagnóstico o situación del problema que da origen al
programa de acción? Un buen diagnóstico o una buena evaluación de necesidades
es lo que justifica el diseño de una estrategia de acción denominada programa. El
diagnóstico se convierte en un patrón de comparación, que permite contrastar los
resultados del programa con la situación inicial de la cual se partió. De esta manera
es posible decir cuáles son las características y la magnitud del cambio logrado.

• ¿El qué? ¿Cuáles son los objetivos o metas del programa? ¿Qué se pretende
lograr con el programa? ¿Cuál es la situación que se quiere alcanzar? Es la utopía,
el ideal, el deber ser. Ese deber ser se expresa mediante objetivos y la fijación de
metas. A su vez, estas metas son las variables dependientes o de resultado que
se buscan medir con la evaluación.

Los objetivos de un programa deben ser específicos, claros y medibles. Para

French y Kaufman (1983:41), los objetivos deben tener en cuenta: - Los
comportamientos deseados; ejemplo, la disminución del consumo de sustancias
psicoactivas. - Unas circunstancias específicas; ejemplo, después de tres meses,
los usuarios del programa deben haber disminuido el consumo de drogas. - El
nivel de logro; ejemplo, sostener el bajo consumo o la abstinencia total después
de un año de iniciado el tratamiento.

La mayoría de los programas están diseñados para producir unos efectos

intermedios en los usuarios (objetivos intermedios ), como mejorar la autoestima.
Se asume, por parte del programa, que el logro de los objetivos intermedios es una
condición necesaria y suficiente para el logro del objetivo final, por ejemplo, la
reducción del consumo de alcohol (French y Kaufman, 1983:41).

136
 DISEÑO METODOLÓGICO , IMPLEMENTACIÓN, ANÁLISIS E INFORMES DE LA EVALUACIÓN

• ¿El quién? Son los beneficiarios, participantes, usuarios o clientes externos del
programa. Se refiere a la cobertura poblacional que tiene el programa. Esta cobertura
puede corresponder a la cobertura espacial; ejemplo, un programa educativo que
tiene como cobertura una región geográfica. La cobertura también puede ser una
cobertura de usuarios; ejemplo, un programa de atención a discapacitados físicos
tiene una cobertura, no en términos geográficos, sino en términos de las personas
que tienen una determinada demanda que necesitan satisfacer o una característica
que las hace susceptibles de ser agrupadas en una categoría.

• ¿El cómo? La metodología, procedimientos o actividades que deben cumplirse

para el logro de los objetivos. Incluye, fundamentalmente, procesos de intervención.

• ¿El con qué? Cuáles son los recursos humanos, materiales, físicos, equipos y
económicos que se requieren para el logro de los objetivos del programa. En otros
términos, son los insumos requeridos para desatar los procesos que han de producir
unos resultados o impactos.

• ¿El cuándo? El tiempo requerido para la implementación del programa. Corresponde

al cronograma de las etapas del programa.

• ¿El dónde? Es la ubicación física o la sede del programa.

• ¿El con quiénes? Son las personas, profesionales, funcionarios que intervienen en
la implementación del programa. Debe tenerse en cuenta el perfil, la cantidad y la
calidad del talento humano.

• ¿Desde qué enfoque? Es la corriente del pensamiento que sustenta la línea de

acción y garantiza, desde lo conceptual, la eficacia del programa. Debe explicar la
relación entre los diferentes componentes del programa.

1.2 La organización gestora

El marco referencial incluye, además, información sobre la organización gestora del

programa, o sea la agencia gubernamental, privada o no gubernamental responsable del
proyecto.

137
DISEÑO METODOLÓGICO , IMPLEMENTACIÓN, ANÁLISIS E INFORMES DE LA EVALUACIÓN

En la mayoría de los casos, los procesos evaluativos están ligados a instituciones u

organizaciones formales, en el sentido de que los programas de acción tienen asiento en
ellas. Es, tal vez, imposible encontrar programas por fuera de las organizaciones.

En la evaluación, la organización debe ser considerada parte del objeto de evaluación,

porque los programas tienen la impronta de las organizaciones que los patrocinan. El
perfil del programa está, en buena medida, definido por la organización como un sistema
complejo de componentes.

Los componentes de la organización que el evaluador debe tener en cuenta para

comprender cómo ésta es parte del objeto de evaluación, son:

• La razón social de la organización. Su nombre.

• La naturaleza legal o jurídica de la organización (carácter público o privado).

• La misión, visión, principios de la organización.

• La cultura o clima organizacional.

• Los valores corporativos.

• La estructura de la organización o de gestión, entendida también como la jerarquía

administrativa.

• La historia de la organización.

• Los programas de la organización.

• Los clientes internos. Perfil del talento humano vinculado, responsable de los
programas.

• Los clientes externos. Perfil, necesidades y potencialidades de los usuarios de los

programas.

• Las fuentes de financiación de la organización.

138
 DISEÑO METODOLÓGICO , IMPLEMENTACIÓN, ANÁLISIS E INFORMES DE LA EVALUACIÓN

• La cobertura espacial o geográfica de la organización.

• La imagen corporativa hacia el exterior, o sea la opinión que el público tiene de las
ejecutorias de la organización.

• Experiencias de evaluación.

• El control interno y sistemas de evaluación.

De otra parte existen una serie de características de las instituciones que pueden incidir
positiva o negativamente en el desempeño de los programas y en el ejercicio de la
evaluación. Estas características son:

• Las organizaciones tienen diferentes grados de complejidad que inciden también

en el grado de complejidad de los procesos evaluativos. Hablamos de complejidad
en términos del tamaño de la organización; por ejemplo, la evaluación de un
programa en el contexto de una ONG, que administra un programa de protección
de menores, es más elemental que la evaluación de un programa en otra ONG que
administra simultáneamente varios programas.

• El carácter público o privado de la organización. La lógica de funcionamiento y la

estructura de las organizaciones públicas es muy diferente a las organizaciones
privadas. Las organizaciones públicas dependen, en buena medida, para su
funcionamiento de los procesos políticos del entorno y que muchas veces producen
inestabilidad de los programas y del personal, dificultades administrativas para la
toma de decisiones y la ejecución de los presupuestos, la verticalidad de la autoridad
y muchas veces el uso de la favorabilidad política en la prestación de los servicios.

Las organizaciones privadas, especialmente aquellas que han modernizado su

gestión, por el contrario, tienen mayor estabilidad, la limitación de los recursos
las obliga a realizar una planeación más rigurosa, la toma de decisiones es ágil,
hay un estilo administrativo más participativo, generalmente gozan de mayor
credibilidad en el medio y la prestación de los servicios es más profesional.

139
DISEÑO METODOLÓGICO , IMPLEMENTACIÓN, ANÁLISIS E INFORMES DE LA EVALUACIÓN

En términos generales, se puede afirmar que la evaluación encuentra un mejor

campo de aplicación en el sector privado, que en el sector público, a pesar de que
este último es el que con mayor urgencia requiere de la evaluación de sus programas,
por utilizar dineros públicos, tener mayor cobertura y un mayor impacto.

• La misión de la organización determina la naturaleza de los programas que ofrece.

• El perfil de los funcionarios de la organización tiene que ver con las profesiones de
sus funcionarios, la experiencia laboral, el tipo de compromiso con la organización,
los grados de satisfacción personal y laboral, los estilos de gestión, las relaciones
interpersonales y las experiencias en procesos de evaluación. Todas estas
características del perfil de los funcionarios tienen que ver con las fortalezas y
debilidades que demuestran estos mismos funcionarios en procesos concretos de
evaluación. “Las personas que trabajan en una organización llegan a identificarse
con sus metas, con su clientela o con aspectos específicos del programa. Los que
se ocupan de la evaluación deben conocer este compromiso personal y emocional
como una fuerza potente de la dinámica organizativa” (Hamilton-Smith, 1981:370).

En ocasiones, el perfil de las personas de la organización riñe con el perfil de los

evaluadores, quienes están comprometidos con cierta objetividad, poseen una mirada
crítica y global de los problemas, disponen de unas herramientas metodológicas propias
de la evaluación, tienen otros hábitos de trabajo, manejan un enfoque teórico que no
siempre es compatible con el del programa que se quiere evaluar y, por lo general gozan
de una mayor libertad de pensamiento y de acción.

Las organizaciones tienen diferentes experiencias y tradición frente a la evaluación. Algunas

nunca se interesaron por el tema; otras, en cambio, la incorporaron a las rutinas de
gestión. Lo ideal es encontrar organizaciones que tengan un entrenamiento o al menos
alguna sensibilidad por la evaluación.

La evaluación ideal será la de aquella organización que se evalúa a sí

misma. Vigilaría sus propias actividades continuamente para saber si estaba
cumpliendo sus metas o incluso si esas metas deberían continuar. Cuando
el análisis sugiera cambiarlas o alterar los programas para alcanzarlos, estas
proposiciones serían consideradas seriamente por los encargados superiores

140
 DISEÑO METODOLÓGICO , IMPLEMENTACIÓN, ANÁLISIS E INFORMES DE LA EVALUACIÓN

de la toma de decisiones. Se introducirían los cambios necesarios y no

habría derechos adquiridos para la continuación del programa. En cambio
se iría siempre tras nuevas alternativas en un afán de servir mejor las metas
propuestas (Wildavsky, citado en Hamilton-Smith, 1981:371).

• La evaluación es un evento que, de alguna manera, afecta las organizaciones en

su interior; demanda de ellas procesos de concertación y de adecuación interna a
los requerimientos propios de la evaluación. Existen organizaciones con climas
más propicios a la evaluación; mientras que otras serán más hostiles y en las
cuales es muy difícil que prospere la evaluación. “Las evaluaciones más útiles
suelen darse cuando: hay acuerdo entre los interesados sobre la conveniencia de
evaluar el programa. Se comprenda claramente el objetivo de la evaluación que se
realizará. Hay acuerdo sobre las aplicaciones y posibles consecuencias de la
evaluación” (Hamilton-Smith, 1981:368).

Para las Naciones Unidas (1978:45-46) existen unas dificultades, pero a la vez unas
alternativas en las organizaciones para realizar procesos de evaluación. Éstas son:

• Falta de compromiso político administrativo. Cuando los encargados de adoptar

decisiones creen que pueden comprobar la eficiencia sin necesidad de sistemas
de evaluación o temen que los resultados indiquen que el rendimiento del programa
no es tan satisfactorio como debería ser. Frente a esta dificultad se debe diseñar
un sistema sólido de evaluación para entregar los resultados a los encargados del
programa.

• Factores de costo. Es difícil comprobar que la evaluación reduce los costos del
programa. Una medida paliativa para esta objeción es invertir de manera razonable
en evaluación.

• Medidas institucionales. Para mejorar la economía de las operaciones de evaluación,

se deben establecer éstas de manera regular e institucionalizada.

141
DISEÑO METODOLÓGICO , IMPLEMENTACIÓN, ANÁLISIS E INFORMES DE LA EVALUACIÓN

1.3 Los factores del contexto

Finalmente, como parte del marco de referencia, deben considerarse los factores del
contexto; también llamados de coyuntura, que afectan directamente la vida de la
organización y la ejecución del programa que se quiere evaluar. En la consideración de
los factores del contexto deben tenerse en cuenta las características de los usuarios o
beneficiarios directos e indirectos del programa.

Los factores de coyuntura tienen que ver con aquellas situaciones del entorno social,
político, económico, cultural en las cuales se desenvuelven los programas y las cuales
afectan de una manera positiva o negativa el desempeño de los mismos programas.
Estas situaciones van a afectar los programas y sus efectos deben estar reflejados en
los resultados de la evaluación.

Los factores de coyuntura no dependen del programa, no son siempre controlables por la
organización, actúan como factores estructurales que, en la mayoría de los casos, aparecen
en la marcha misma del programa y que también en la mayoría de los casos obligan a
introducir cambios en la gestión del programa.

En cierto sentido, los factores de coyuntura pueden considerarse como variables

intervinientes, o sea, que median entre el programa (variable independiente) y los resultados
(variables dependientes).

Estos factores son de naturaleza diversa, por ejemplo: cambios en la legislación,

situaciones de conflicto social, situaciones de alteración del orden público, desastres
naturales, cambios en las relaciones internacionales, cambios de gobierno, decisiones
de los organismos de cooperación internacional, etc.

Como parte del entorno social, están los usuarios directos de los programas. Estos
usuarios tienen una serie de características que los hacen sensibles a la influencia del
programa. Esto quiere decir que no todos los individuos, grupos o comunidades reaccionan
igual al programa y, por lo tanto, los cambios o resultados no son los mismos.

El perfil de los usuarios, que debe estar determinado en el diagnóstico que da origen al
programa, es un insumo que, como el programa, la organización y el mismo contexto,

142
 DISEÑO METODOLÓGICO , IMPLEMENTACIÓN, ANÁLISIS E INFORMES DE LA EVALUACIÓN

interviene en los resultados de la intervención social. Por ello, las características de

estos usuarios deben tenerse en cuenta como parte del objeto de evaluación.

En la consideración de estas características, debe darse especial prelación a aquellas

directamente asociadas al tipo de programa desarrollado. Para la determinación de esas
características, que podemos llamar variables, la teoría, la observación y la propia experiencia
son fundamentales. Así, por ejemplo, los antecedentes ocupacionales de un grupo son importantes
si se trata de un programa de capacitación profesional, mientras que para la evaluación de un
programa de prevención de la farmacodependencia es más importante la historia psicosocial de
los individuos. Una comunidad con experiencia en la conformación de organizaciones de base,
seguramente, será más receptiva a un programa del sector solidario de la economía.

Son muchas las variables que pueden estar asociadas a los resultados de los programas:
la historia de los individuos y los grupos, indicadores sociodemográficos, las experiencias
anteriores de los grupos con relación a programas de intervención similares, las formas
organizativas de las comunidades, etc.

2. La formulación del proyecto de evaluación

La formulación del proyecto de evaluación comprende la determinación del objeto de

evaluación, el diseño metodológico, el cronograma y presupuesto de la evaluación.

2.1 El objeto de evaluación

Si bien el programa de acción es el objeto de evaluación, es el evaluador quien debe

definir qué asuntos, ejes, temas, variables o categorías le interesa evaluar. O sea que el
evaluador es quien formula unas preguntas evaluativas que dan lugar a la definición de
unos objetivos de la evaluación. Según Briones (1991:86), “los objetivos de evaluación
son los conocimientos o informaciones relativas a los objetos, instancias o características
del programa que se requiere recoger y analizar de acuerdo con las finalidades que sirven
de justificación al estudio evaluativo”.

Los objetivos de evaluación pueden estar referidos al comportamiento de la organización

frente a la ejecución del programa, a los productos, efectos, resultados o impactos del
programa. Quiere decir, a medir los cambios en los usuarios del programa o de su entorno.

143
DISEÑO METODOLÓGICO , IMPLEMENTACIÓN, ANÁLISIS E INFORMES DE LA EVALUACIÓN

Además de la formulación de una preguntas u objetivos de evaluación, debe existir una

delimitación temporal del objeto de evaluación. O sea, es el evaluador quien define el
periodo de vida del programa que se quiere evaluar. Pueden evaluarse todas las etapas
del programa o algunas de ellas.

Finalmente, se debe hacer una delimitación espacial, especialmente cuando se trata de

un mismo programa ejecutado en diferentes espacios geográficos o institucionales o con
diferentes tipos de usuarios o poblaciones.

2.2 El diseño de la evaluación

El diseño de una evaluación comprende: la determinación de las unidades de observación,

las unidades de análisis, los instrumentos de recolección de información, definición del
tipo de evaluación, el diseño, el procesamiento e interpretación de la información.

El diseño metodológico comprende unas áreas técnicas que, según Stufflebeam y

Shinkfiel (1995:25), deben conocer a fondo los evaluadores profesionales. Se encuentran
las siguientes:

Las entrevistas, los informes preliminares, el análisis de contenidos, la observación, el

análisis político, el análisis económico, el examen investigativo, los informes técnicos, el
estudio de caso, la evaluación sin metas, la escucha de opiniones contrapuestas, las
asociaciones de defensa, las listas de control, la elaboración de pruebas, el análisis
estadístico, el diseño de la investigación, el análisis sistemático, la teorización y la
administración del proyecto.

2.2.1 Las unidades de observación

Las unidades de observación son las variables, categorías, asuntos o componentes que
deben ser medidos.

Los objetivos o preguntas de evaluación contienen las variables que deben ser observadas
o medidas. Para medir una variable es necesario traducirla a indicadores.

La construcción de indicadores es, tal vez, una de las tareas más complejas de la
evaluación. Existe una literatura disponible sobre el sentido de los indicadores, pero su

144
 DISEÑO METODOLÓGICO , IMPLEMENTACIÓN, ANÁLISIS E INFORMES DE LA EVALUACIÓN

diseño particular es un ejercicio dispendioso, pues se trata de traducir objetivos de

evaluación a variables y éstas a indicadores para poderlas medir.

Los investigadores sociales se han preocupado por el tema de las definiciones operacionales
o indicadores para medir las variables de sus investigaciones y han propuesto, en
consecuencia, modelos para la medición de las variables. Los evaluadores pueden echar
mano de esa lógica de construcción de indicadores y de los instrumentos para su medición,
pero hay que entender que los indicadores de evaluación no pueden ser universales, sino
que corresponden a la especificidad del programa que se quiere evaluar.

La evaluación de un programa demanda la construcción y validación de indicadores

particulares que van a depender de los objetivos del programa que se quiere evaluar, de
su enfoque teórico, de la población usuaria del programa, de los propósitos de la evaluación.

Los indicadores son medidas específicas (explícitas y objetivamente verificables de los cambios
o resultados de una actividad). Los indicadores sirven de patrón para medir, evaluar o mostrar
el progreso de una actividad respecto a las medidas establecidas, en cuanto a la entrega de
sus insumos (indicadores de insumo), la obtención de los productos (indicadores de producto)
y el logro de sus objetivos (indicadores de efecto e impacto) (Quintero y Velásquez, 1993).

Los indicadores pueden ser directos o indirectos. Los indicadores de naturaleza cuantitativa,
por lo general, pueden medirse de una manera directa; ejemplo, el número de personas
atendidas por un programa, el número de créditos otorgados para un proyecto asociativo.
Los indicadores son indirectos cuando se trata de medir objetivos intangibles; ejemplo,
medir liderazgo, participación, motivación, etc.

Los indicadores están determinados por la naturaleza de los objetivos, por los efectos y
por el impacto que se busca con el programa de acción. La construcción de indicadores
depende, en buena medida, de la claridad y especificidad de los objetivos. En muchos
casos encontramos que los programas sociales no tienen objetivos y metas claramente
definidas. Esta situación se debe, entre otras razones, a:

• En el pasado las acciones sociales eran de buena voluntad y estaban por fuera de
la planificación del desarrollo. Hoy existe una mayor preocupación por la elaboración
estratégica de los programas.

145
DISEÑO METODOLÓGICO , IMPLEMENTACIÓN, ANÁLISIS E INFORMES DE LA EVALUACIÓN

• La formulación de un objetivo en el campo del desarrollo social tiene mayores

dificultades que en el campo de lo económico o de las obras físicas. Lo social, de
alguna manera, es de más difícil control y medición.

• No siempre existe consenso por parte de los funcionarios en las organizaciones

acerca de las metas de los programas debido a que priman las propias concepciones
que ellos tienen sobre la organización y sus programas; igualmente, a la propia
formación profesional de cada uno de ellos.

Cuando se presenta esta última situación de no consenso sobre las metas en una
organización o de un programa, Weiss (1990:43) recomienda las siguientes alternativas,
que puede adoptar el evaluador.

• Plantear la situación en el interior de la organización y esperar a que el personal

del programa llegue a un acuerdo.

• El evaluador puede estudiar el programa, hablar con los ejecutores del programa y
observar el desempeño del programa para luego formular por sí mismo las metas
del programa.

• El evaluador, conjuntamente con el personal del programa, podrá formular las metas.

• Sugerir la realización de un estudio exploratorio antes de una evaluación.

Para la definición de los indicadores debe tenerse en cuenta la conceptualización que se

tenga del programa y la experiencia de las personas que lo ejecutan. Además del empleo
de este mecanismo, Weiss (1990:50-53) recomienda tres alternativas para determinar
los indicadores de resultado.

• Buscar medidas existentes, empleadas por otros evaluadores en situaciones

similares.

• Usar medidas múltiples. “Medidas separadas pueden combinarse para formar una
medida general del éxito del programa”.

146
 DISEÑO METODOLÓGICO , IMPLEMENTACIÓN, ANÁLISIS E INFORMES DE LA EVALUACIÓN

• Usar medidas aproximadas. Deben utilizarse las medidas de acuerdo con las metas,
si están establecidas a corto, mediano o largo plazo.

Las evaluaciones producen diferentes tipos de información. Según las Naciones Unidas
(1978:11), la evaluación proporciona tres tipos de información:

• Información sobre rendimiento del programa. Es la información que da cuenta de si

la ejecución del programa se realizó de conformidad con el plan y el presupuesto
asignado. Para este tipo de información se cuenta con indicadores establecidos
en el cronograma de acción y en el presupuesto asignado a la ejecución del
programa.

• Información sobre la eficacia del programa. Da cuenta si el programa logró los

objetivos propuestos y en qué medida. Para este tipo de información, los indicadores
son las metas del programa. Cuando no existen las metas, los objetivos deben ser
traducidos a indicadores observables.

• Información sobre la eficiencia del programa. Determina si los resultados del

programa se obtuvieron de la forma más económica, maximizando productos y
minimizando insumos. Los indicadores adecuados a este tipo de información son
aquellos que tienen como unidad de medida la monetaria.

Para Espinoza (1983:43), la evaluación debe partir de una traducción de los objetivos a
metas, pues el autor considera que una meta es un objetivo cuantificado y calificado. Por
lo tanto, a cada objetivo corresponde una o varias metas. O sea que para medir el grado
de obtención de los objetivos es necesario medir el grado de obtención de las metas.
Para el autor, la evaluación de las metas tiene varios aspectos.

• Evaluación de la cantidad. Consiste en medir el número de unidades logradas en

comparación con las unidades programadas.

• Evaluación de calidad. La meta tiene unos atributos que conforman su calidad y se

debe medir el grado de obtención de los atributos.

• Evaluación del tiempo. Mide el tiempo gastado en la consecución de la meta en

comparación con el tiempo previsto.

147
DISEÑO METODOLÓGICO , IMPLEMENTACIÓN, ANÁLISIS E INFORMES DE LA EVALUACIÓN

• Evaluación de los objetivos. Mide el grado de obtención de los objetivos.

• Evaluación de la cobertura. Mide si las metas logradas cubrieron a toda la población

usuaria del programa.

• Evaluación de costos. Mide la inversión realizada para el logro de las metas en

comparación con los costos previstos.

Victor Manuel Quintero (1995:35) distingue dos tipos de indicadores: de gestión o eficiencia
y de logro o eficacia.

Define los indicadores de gestión como aquellos que “tienen como misión valorar el
rendimiento (productividad física) de insumos, recursos y esfuerzos dedicados a obtener
ciertos objetivos con unos tiempos y costos registrados y analizados”.

Según el mismo autor, los indicadores de gestión permiten la valoración de los siguientes
elementos: la utilización de los recursos humanos, físicos y financieros, el tiempo, el
cumplimiento de actividades, tareas o metas intermedias, el rendimiento físico promedio
(productividad), o sea la relación que existe entre los logros y los recursos utilizados, el
costo promedio y el grado de eficiencia.

Los indicadores de logro o de eficacia, también denominados de éxito, son “hechos

concretos, verificables, medibles, evaluables, que se establecen a partir de cada objetivo”
(Quintero, 1995:36). Según el mismo autor, existen cuatro indicadores de logro.

• Indicadores de impacto. Logros a largo plazo, contribuyen al cumplimiento de la

misión de la organización.

• Indicadores de efecto. Logros a mediano plazo, contribuyen al cumplimiento de los

objetivos programáticos en una región específica.

• Indicadores de resultado. Logros a corto plazo, contribuyen a resolver las

necesidades y problemas del grupo.

• Indicadores de producto. Logros del inmediato plazo, contribuyen al cumplimiento

de los objetivos específicos del proyecto social.

148
 DISEÑO METODOLÓGICO , IMPLEMENTACIÓN, ANÁLISIS E INFORMES DE LA EVALUACIÓN

Las Naciones Unidas (1978:7) utilizan algunos de los conceptos anteriores de manera
diferente.

Entienden los productos como las consecuencias físicas producidas por el programa,
como escuelas construidas, kilómetros de carreteras habilitados. También incluyen la
medición de los servicios prestados, ejemplo: personas capacitadas, créditos concedidos.

Los efectos se entienden como las consecuencias directas o inmediatas de los productos,
ejemplo: mayores tasas de asistencia escolar, mejores cosechas.

Las repercusiones, como aquellos cambios que ocurren en el nivel de vida del grupo,
como consecuencia del programa.

2.2.2 Unidades de análisis.

Las unidades de análisis también son denominadas fuentes de información. Una vez
definidos los indicadores, nos preguntamos quiénes (individuos, familias, grupos,
comunidades, etc.) o qué objetos (documentos, monumentos, artefactos, situaciones,
etc.) contienen esos indicadores. Hablamos, entonces, de las fuentes de información
que pueden ser objetos o sujetos. La unidad de análisis “es un dato –observable y externo–
que se convierte en la unidad de información básica. Es un concepto referido al objeto de
estudio, por ejemplo, individuos, grupos, región, hechos, procesos” (Aigneren, 1997:22).

La elección de las fuentes está condicionada por las unidades de observación (lo que se
quiere medir), por la naturaleza del programa objeto de evaluación, por los objetivos de
evaluación, por los recursos humanos, técnicos y financieros disponibles, por la posibilidad
de acceder a las fuentes y por la disponibilidad de tiempo.

El modelo de evaluación es también determinante en la selección de las fuentes. Los

enfoques cualitativos hacen énfasis en los muestreos estadísticos y algunos diseños,
como el experimental, implican la selección de muestras aleatorias. Los diseños
cualitativos trabajan con muestreos teóricos, muestreos intencionales, informantes claves,
etc.

Para determinar las fuentes se deben tener claros los conceptos de universo, población,
muestra, tipo de muestreo que fueron vistos en los módulos anteriores.

149
DISEÑO METODOLÓGICO , IMPLEMENTACIÓN, ANÁLISIS E INFORMES DE LA EVALUACIÓN

2.2.3 Instrumentos de recolección de información

Para capturar o recoger información sobre los indicadores que están presentes en unas
fuentes debemos recurrir a los instrumentos de medición o recolección de información.
La evaluación utiliza los instrumentos propios de la investigación social, bien sean de
naturaleza cuantitativa, como los cuestionarios, o de naturaleza cualitativa, como las
entrevistas en profundidad.

Decimos que son instrumentos de medición porque son sensibles a los indicadores y
son de registro porque no basta con medir, sino que se debe guardar y ordenar la
información de tal manera que pueda ser recuperada e interpretada.

Los instrumentos contienen a los indicadores y son aplicados a las fuentes de información.

La elección de los instrumentos depende de la naturaleza de lo que se quiere evaluar, el

tipo de indicadores, las fuentes de información, los recursos humanos y económicos
disponibles, el tiempo de ejecución de la evaluación, el diseño elegido y la perspectiva
conceptual y metodológica del evaluador o del equipo de evaluación.

Los instrumentos de recolección de información fueron vistos en los módulos anteriores.

2.1.4 Tipo de evaluación

El tipo de evaluación puede ser ex-ante, formativa o sumativa, según el momento de

ejecución del programa que se quiere evaluar.

2.1.5 El diseño

La evaluación toma prestados de la investigación social los diferentes diseños disponibles

y que han sido probados en el estudio de la realidad social. Algunos de estos diseños,
inclusive, no son exclusivos de las ciencias sociales, también son aplicados en las ciencias
naturales, como es el caso de los diseños experimentales.

Se debe determinar si el diseño de la evaluación será no experimental o experimental.

Los diseños de evaluación están asociados a los enfoques de evaluación: de corte
cuantitativo o de corte cualitativo y a los modelos de evaluación existentes.

150
 DISEÑO METODOLÓGICO , IMPLEMENTACIÓN, ANÁLISIS E INFORMES DE LA EVALUACIÓN

En los módulos de investigación cuantitativa y cualitativa se pueden encontrar referencias

a estos diseños y a los enfoques.

2.1.6 El plan de análisis

El evaluador debe prever, desde el proyecto, cómo va a realizar el procesamiento,

organización e interpretación de la información.

El procesamiento y análisis de los resultados. Esta etapa implica la limpieza de la

información (cuando se han administrado instrumentos de recolección de información
estandarizados), la organización de la información, el procesamiento de datos, la
representación de datos y el análisis estadístico y lógico de los resultados.

La evaluación, igualmente, comparte con la investigación social los mismos procedimientos

para el procesamiento e interpretación de la información. Hoy están disponibles paquetes
estadísticos de procesamiento de información para datos cuantitativos y cualitativos.

Se entiende que según el enfoque de evaluación elegido va a depender el procesamiento

e interpretación de la información. Para ello, el lector debe remitirse a los módulos anteriores
que desarrollan esta temática en detalle.

2.3 El cronograma

El cronograma de la evaluación hace referencia a la determinación anticipada del tiempo

que dura la planeación y ejecución de la evaluación. Normalmente los cronogramas se
elaboran utilizando la semana como unidad de medida.

El cronograma se define por el tipo y número de actividades previstas para la formulación

del proyecto, la implementación y la ejecución de la evaluación. Las etapas del proceso
evaluativo sugeridas en esta unidad pueden servir de guía para la conformación del
cronograma.

No sobra recordar que el cronograma del proceso de evaluación es diferente al cronograma

de ejecución del programa de acción.

151
DISEÑO METODOLÓGICO , IMPLEMENTACIÓN, ANÁLISIS E INFORMES DE LA EVALUACIÓN

2.3. El presupuesto

El presupuesto es la actividad de asignarción del valor monetario a cada una de las

actividades, recursos humanos, físicos, locativos, papelería, transporte, etc., que se
requiera para la ejecución del proyecto de evaluación.

La elaboración de un cronograma y de un presupuesto para la evaluación permiten ser

más realistas en el diseño de la evaluación y contar con instrumentos de control y
monitoreo de la gestión del proceso de evaluación.

También hay que recordar que el presupuesto de la evaluación es diferente al presupuesto

de ejecución del programa de acción.

3. Implementación del proyecto de evaluación

La implementación del proyecto de evaluación implica: la conformación del equipo de

evaluación, la elaboración de instrumentos de captura de información, la prueba piloto de
los instrumentos si es requerida, la selección de las fuentes o audiencias y la preparación
del personal auxiliar si es necesario.

3.1 El equipo de evaluación

La evaluación puede ser planeada y ejecutada por un evaluador quien, obra como experto
o en representación de una agencia evaluadora. Éste es el caso de las evaluaciones
externas.

La evaluación puede, también, planearse por un equipo o grupo evaluador. En el caso de

las evaluaciones internas, el grupo está conformado por personas vinculadas al programa
o a la organización gestora del programa. Pueden existir grupos de evaluación que obran
como agentes externos y también pueden darse grupos con una conformación mixta que
incluye personal interno y personal externo.

El equipo de evaluación puede integrarse para formular el proyecto de evaluación

solamente, para formularlo y ejecutarlo o sólo para ejecutarlo.

La tendencia moderna de la evaluación es la de ser una tarea colectiva, mas que individual
y va más allá al plantear modelos más participativos de la evaluación. Se sugiere que los

152
 DISEÑO METODOLÓGICO , IMPLEMENTACIÓN, ANÁLISIS E INFORMES DE LA EVALUACIÓN

diferentes actores del programa participen en su evaluación. Aparecen, entonces, nociones

como la de empoderamiento, o sea, el poder de decisión que ganan los actores en los
procesos autogestionados.

Otro concepto que está ligado a la evaluación es el de participación ciudadana, también

denominada por algunos participación comunitaria, participación social o participación
popular.

La participación ciudadana ocupa hoy un rol protagónico en los procesos de planeación,

ejecución y evaluación de los programas sociales: los planes de gobierno, las agencias
de cooperación internacional, la planeación regional y local incluyen la participación como
un componente básico para el logro de los objetivos de mejoramiento de la calidad de
vida que se proponen los programas sociales.

La participación ciudadana, según los modernos enfoques del desarrollo y la

administración, debe darse en todas las fases, desde la evaluación de necesidades
mediante los métodos de autodiagnóstico o diagnóstico participativo, la programación y
la evaluación.

Para la evaluación, la participación ciudadana es un componente muy importante. Según

Wagner y Dinkel (1981:9-10), la participación ciudadana en la evaluación se justifica por
las siguientes razones:

• La participación hace más responsable a las instituciones con relación a la

comunidad.

• La participación ciudadana refleja los valores de la comunidad.

• La participación ciudadana incrementa el uso de la información evaluativa.

• Es una oportunidad para que los ciudadanos adquieran habilidades y conocimientos.

• Incrementa el conocimiento de los ciudadanos acerca del programa.

• Proporciona un beneficio terapéutico para los usuarios del programa.

153
DISEÑO METODOLÓGICO , IMPLEMENTACIÓN, ANÁLISIS E INFORMES DE LA EVALUACIÓN

• Los ciudadanos proveen fuentes adicionales de información para la evaluación.

• Es un mecanismo para estimular la aceptación de los programas por la comunidad.

La participación ciudadana no reemplaza la función del evaluador, pues éste debe ser un
miembro calificado del grupo y debe cumplir las funciones de coordinador. El profesional
o líder del equipo, así la evaluación sea participativa, seguirá teniendo un papel
determinante.

Desde el comienzo de la evaluación deben clarificarse las funciones del líder o coordinador
y las de los demás miembros del equipo. Es indispensable organizar unas condiciones
de trabajo: asignar recursos, fijar tiempos, establecer lugares para el trabajo, distribuir
las funciones. Una adecuada atención a estos asuntos administrativos evita conflictos,
racionaliza el trabajo y garantiza unos productos evaluativos más confiables y eficientes.

La evaluación comporta, además de los aspectos técnicos, otras consideraciones de

orden político y administrativo que es necesario atender. Es claro que la actividad evaluativa
exige habilidades políticas, además de las técnicas por parte del evaluador.

En este mismo sentido, Andrade y Otros (1987:19) advierten cómo el conocimiento

técnico y la experiencia profesional no son suficientes para el evaluador. Éste debe
identificar y trabajar con aquellas personas que toman las decisiones y todas las personas
interesadas en los resultados de la evaluación como los clientes, los grupos organizados
de la comunidad, el gobierno, las agencias financieras. En todos estos casos debe
conformarse un grupo evaluador y el esponsable debe ser el líder del equipo, el mediador
y el facilitador.

El evaluador, responsable de orientar la evaluación según la naturaleza de los usuarios de

la información evaluativa, debe identificar “quién necesita qué información, en que
condiciones, para qué propósitos”. “El evaluador debería tratar de identificar a aquellas
personas estratégicamente ubicadas, que sean dedicadas, competentes y que se interesen
por el asunto, aunque no ocupen una alta posición en la institución” (Andrade y otros,
1987:22).

154
 DISEÑO METODOLÓGICO , IMPLEMENTACIÓN, ANÁLISIS E INFORMES DE LA EVALUACIÓN

3.2 Ubicación de las unidades de análisis

En el diseño metodológico se toma la decisión de determinar cuáles serán las fuentes de

información, o sea cuáles son los sujetos u objetos portadores de los indicadores que se
requieren medir. En el momento de la implementación del proyecto de evaluación se trata
de ubicar las unidades de análisis; lo que quiere decir, la localización física de los sujetos
u objetos portadores de la información. En el caso de los sujetos, se trata de concertar
las entrevistas, hacer la motivación necesaria para lograr su cooperación. Si se está
utilizando un sistema de muestreo, es preciso hacer la aplicación correspondiente,
seleccionando los casos específicos representados en la muestra.

Si se están utilizando documentos, el equipo evaluador debe disponer de ellos mediante

la localización de los originales, los textos, los recortes de prensa, informes estadísticos,
publicaciones, fotocopias, etc.

3.3 Elaboración de instrumentos de recolección de información

En este momento del proceso, deben elaborarse los instrumentos enunciados en el

proyecto de evaluación: cuestionarios, guías de observación o entrevista, test, guías
para historias de vida, guías para entrevistas en profundidad o para grupos focales. La
manera de confeccionar estos instrumentos se puede consultar en los módulos
anteriores.

3.4 Pruebas piloto

Siempre que se utilizan instrumentos de recolección de información, es conveniente

hacer pruebas piloto para probar la consistencia y confiabilidad de los instrumentos
elaborados.

La aplicación de pruebas piloto sirve para revisar los contenidos y forma de los
instrumentos. Así se puede mirar si están comprendidos todos los indicadores, si es el
orden el más indicado, si son claras y precisas las preguntas, cómo es la reacción de los
sujetos frente a cierto tipo de preguntas, si la forma de presentación en el caso de
instrumentos autoadministrados es la más conveniente, etc.

155
DISEÑO METODOLÓGICO , IMPLEMENTACIÓN, ANÁLISIS E INFORMES DE LA EVALUACIÓN

3.5. Preparación de auxiliares

Para el caso de aquellas evaluaciones en la cuales se requiere de personal adicional al

del equipo evaluador, para llevar a cabo la evaluación, es preciso hacer una capacitación
a cada una de las personas auxiliares según el tipo de tarea que tenga que desempeñar
en el grupo. Generalmente, el personal auxiliar es empleado en tareas administrativas,
de digitación, recolección de la información (entrevistadores, encuestadores, talleristas),
para búsquedas documentales, establecimiento de contactos, etc.

La preparación de entrevistadores, de observadores y, en general, de personas que en sí

mismas, según se afirma en los enfoques de investigación cualitativa, son instrumentos
de recolección de información, estos esfuerzos de capacitación tienen que ser más
especializados. Se deben tener criterios unificados, una postura ética y el desarrollo de
una gran destreza en el ejercicio de estas responsabilidades.

Es menos exigente la capacitación cuando se utilizan instrumentos cuantitativos, los

cuales son intermediarios entre el evaluador y la realidad que se quiere evaluar.

Además de la capacitación en las funciones específicas, debe instruirse a los auxiliares

en todo lo relacionado con la evaluación: objetivos, propósitos, diseño, conceptualización,
marco de referencia, indicadores, etc. Un conocimiento global del proyecto de evaluación
permite desarrollar un sentido de identidad con las tareas que se requieren. Igualmente,
estos auxiliares deben ser tratados con respeto y ofrecerles condiciones dignas para el
desempeño de sus funciones, que garanticen la calidad del trabajo.

En el caso de utilizar instrumentos de mayor naturaleza cualitativa, deben hacerse

simulaciones de estos instrumentos con informantes claves voluntarios a quienes se les
explica muy bien el alcance de su participación.

4. Ejecución de la evaluación

El momento de la ejecución de la evaluación significa la puesta en marcha de las etapas

correspondientes a la formulación e implementación del proyecto de evaluación. Esta
etapa corresponde al trabajo de campo que debe ser planeado. También se le denomina
administración o gestión de la evaluación y comprende la recolección de la información,
su procesamiento e interpretación, las conclusiones y recomendaciones y la escritura

156
 DISEÑO METODOLÓGICO , IMPLEMENTACIÓN, ANÁLISIS E INFORMES DE LA EVALUACIÓN

del informe final. Aunque todas estas tareas deben estar previstas en el proyecto de
evaluación, es muy probable que en el trabajo de campo sea necesario introducir cambios
a la propuesta original. En el trabajo de campo, el propio evaluador confronta la coherencia
del proyecto formulado.

4.1 Aplicación de los instrumentos de medición y de registro

Es el momento para aplicar los instrumentos de medición a las unidades de análisis o

fuentes de información.

En la fase de construcción del marco referencial ya se ha recopilado una información

muy rica que tiene que ver con los fundamentos conceptuales del programa, la organización
y el contexto. Además, la prueba piloto de los instrumentos brinda a los evaluadores una
orientación sobre el tipo y calidad de información que van a recoger.

En todos los casos es muy importante tener un profundo respeto por cada uno de los informantes,
establecer con ellos una buena relación, ser claros en la explicación de los objetivos de la
evaluación y demostrarles la importancia que ellos tienen para el resultado final de la evaluación.

El equipo de evaluación debe ejercer una supervisión especial de esta etapa, especialmente
si se han contratado personas auxiliares para cumplir con las tareas de recolección de
información. En algunos casos, la falta de una preparación suficiente y la ausencia de un
acompañamiento puede viciar ostensiblemente los resultados de la evaluación.

4.2. Procesamiento de la información

Esta etapa implica: recibir la información, supervisar su calidad (limpieza de datos),

ordenarla (establecer categorías y códigos para la información cualitativa, digitarla,
procesarla y representarla).

Si bien el uso del computador facilita y garantiza rapidez y alta calidad en el procesamiento
de la información, la intervención de los evaluadores es fundamental.

La información debe ser recibida, contada y supervisado su contenido. Antes de ser

digitada debe ordenarse. Generalmente, los digitadores no tienen tiempo o por su labor

157
DISEÑO METODOLÓGICO , IMPLEMENTACIÓN, ANÁLISIS E INFORMES DE LA EVALUACIÓN

mecánica no detectan las inconsistencias en la información. Éstas deben detectarse por

los evaluadores, quienes conocen la naturaleza de la información recogida.

Para el procesamiento de la información debe hacerse en un equipo adecuado y utilizando

el programa que garantice el análisis de la información según los parámetros establecidos
en el plan de análisis.

Desde la elaboración de los instrumentos, se debe tener muy claro cuál es el programa
que se va a utilizar con el objeto de adecuar el sistema de codificación a los requerimientos
del programa o paquete estadístico elegido, si es del caso.

4.3. Análisis de los resultados

Una vez procesada la información y teniendo los datos representados en cuadros o gráficos,
se hace una lectura e interpretación de ellos. En la lectura se destacan aquellos datos
más relevantes que se ubican en los extremos y aquellos que son típicos o promedios.

En esta etapa la formación teórica del evaluador, su capacidad interpretativa y el marco

referencial son definidos para lograr que los datos adquieran su verdadero valor. No se
quiere decir que éste es el único momento del análisis, pues en todo el proceso de
evaluación, incluyendo la etapa de formulación del objeto de evaluación y de recolección
de información, el evaluador debe tener una actitud de análisis e interpretación.

El análisis debe ser lógico y estadístico. El análisis estadístico va a depender de la

naturaleza de los datos producidos por la evaluación (ver módulo de diseños cuantitativos).
El análisis lógico o de contenido parte del marco referencial y conceptual del programa
evaluado. Debe recordarse que los datos tienen sentido en la medida en que se hagan
hablar desde una interpretación comprensiva (ver módulo de diseños cualitativos).

4.4 Conclusiones y recomendaciones

La evaluación es una investigación aplicada que debe producir conclusiones a manera de

hallazgos conceptuales y metodológicos referidos al programa, pero además debe ofrecer
alternativas de acción a manera de acciones mejoradoras para el programa. Los evaluadores
deben tener, por lo tanto, habilidades administrativas, conocimientos sobre planificación
y gerencia para proponer recomendaciones que mejoren el programa.

158
 DISEÑO METODOLÓGICO , IMPLEMENTACIÓN, ANÁLISIS E INFORMES DE LA EVALUACIÓN

4.5 Informes de evaluación

El informe de evaluación debe dar cuenta no solo de los resultados finales de la evaluación,
sino que debe recoger además el proceso que va desde la formulación del proyecto de
evaluación, su implementación y ejecución.

No basta con la escritura de los informes de evaluación, también se requiere tener

estrategias para la diseminación o entrega de los resultados a los diferentes públicos o
usuarios de la información evaluativa.

Para la presentación de los informes pueden utilizarse formatos escritos o visuales, según
los destinatarios de la información. Los formatos más comunes son: el informe técnico,
el resumen ejecutivo, el reporte profesional, el artículo para publicación, una conferencia
de prensa, un reporte para un medio de comunicación, una reunión pública, un taller,
afiches, plegables, memos, audiovisuales, etc.

Los resultados correspondientes a una evaluación podrán presentarse simultáneamente

de diversas maneras, de acuerdo con los criterios definidos a continuación:

• La naturaleza del programa que se está evaluando: el tipo de variables elegidas,

los indicadores empleados, el diseño utilizado y las técnicas de análisis utilizadas.

• Los contratantes de la evaluación. Los que facilitan los recursos para financiar la
evaluación podrán establecer en el convenio las condiciones para la presentación
y definir los destinatarios de los resultados.

• Los usuarios de la evaluación, o sea los responsables de la utilización de los

resultados. Los usuarios más comunes son: los administradores de los programas,
los contratantes de la evaluación, los profesionales o mandos medios encargados
de prestar los servicios, los usuarios o beneficiarios de los programas, las
organizaciones políticas, las organizaciones civiles o sociales, los profesionales
independientes del programa como investigadores universitarios u otros académicos.

• El nivel de comprensión de los destinatarios que tiene que ver con la experiencia
en el manejo de estos estudios, los intereses intelectuales, la capacidad de entender
cierto tipo de análisis.

159
DISEÑO METODOLÓGICO , IMPLEMENTACIÓN, ANÁLISIS E INFORMES DE LA EVALUACIÓN

• Las condiciones de tiempo y espacio en las cuales se presentará el estudio.

• Los recursos con que se cuenta en el presupuesto para invertir en el informe.

De otra parte, la diseminación de los resultados tiene que ver con la manera como son
difundidos los resultados de una evaluación. La diseminación guarda una relación
inseparable con los formatos de presentación de los resultados. Para Morris y Otros
(1987:22), las normas que deben tenerse en cuenta para difundir los resultados son:

• La información debe ser entregada a los usuarios adecuados.

• Los informes deben tratar los asuntos que los usuarios consideren que son
importantes.

• Los informes deben entregarse a tiempo para que sean útiles. También deben ser
claros para los destinatarios.

Estos mismos autores, recomiendan unos criterios que deben ser tenidos en cuenta para
entregar la información a los usuarios de ella.

• Diferentes usuarios desean información diferente, inclusive para responder a las

mismas preguntas.

• Algunos usuarios no tienen claro lo que necesitan conocer.

• Algunos usuarios, esperan apoyo para sustentar su propio punto de vista.

• Algunos usuarios esperan que se produzcan cambios en la información durante el

desarrollo de la evaluación.

En cuanto al contenido del informe de evaluación, éste debe tener en buena medida lo
que fue previsto en el proyecto de evaluación, los pasos dados en la ejecución e
implementación del proyecto. Debe recordarse que el informe debe ser lo más claro y
completo posible pues va dirigido a personas que no participaron directamente de la
experiencia evaluativa. Estos son los contenidos que debe tener un informe:

160
 DISEÑO METODOLÓGICO , IMPLEMENTACIÓN, ANÁLISIS E INFORMES DE LA EVALUACIÓN

• El marco referencial, que incluye: una descripción completa del programa de acción,
un perfil de la organización gestora y los factores del contexto que inciden en el
desempeño del programa.

• Los antecedentes, justificación y propósitos de la evaluación.

• Los objetivos o preguntas de evaluación. El objeto de evaluación y su delimitación.

• El diseño metodológico. El enfoque utilizado y el modelo. El equipo evaluador. La

agencia evaluadora (cuando se trata de una evaluación contratada).

• La ejecución de la evaluación.

• Los resultados de la evaluación.

• Recomendaciones o acciones mejoradoras.

• Evaluación de la propia evaluación. Tiempo empleado, costos, aciertos y dificultades

del proceso evaluativo. Necesidad de otros estudios.

• Bibliografía.

• Anexos.

161