i :

11
I

I¡ , I
1;1 I
,',' ;;'," ~"

'!~
1"", ',"1' "'::::1.::1'< ' '
t., -.
,', '.:1'

r
I
~~?
.
I' ';;i;':>i¡ .1
.. .~:.:
~)).<~}

3:a NOIJVil'lvifi"":' I
!:~~~"!
~~.'

I :i
,¡
;!
SVINV1I~O~d
"
"

I .": .!;
,
1 3:L~Vd
I
UI
IW ~:

I [¡ ,I
,! ,1i

I'1: I
I
'. !
.. :
 -;- ... "-
. ~.~.~. .'~.~ .. .
,,;~ _'

.,.I i..

CAPITULO PRIlVIERO

lVIODELOS DE EVALUACIÓN DE
PROGRAMAS EDUCATIVOS
·t·,
..
!;:
<
..•

\~~~
. ~-.",;.
:.:~:
"j;~:f;; . :ot'i
~t
...
,~'::.;
;)~'.
~j-I
.
. ~.~.- ..
• :.~ .'7..
. ,.•.
~,.~;

,.', Santiago CASTILLO ARREDONDO

Sarnuel GENTO PALACIOS. 1

l
UNED.
; '.'
L_ •

; '~

. ,I ,: ~
l'
 '.--.:

.. , ..•.

?' .

_ confirmación evidente de la coherencia entre las' conclusiones'

,1', •
alcanzadas y los planteamientos teóricos sobre las mismas,

'?--~"::~..':~.;
'" Para la recogida d~ datos q~e c~nduc~~ a la ~<;~}~~~Jl ..~~j~ic~~~
';~

tfenf~a'sit)as'na~s",pf¡e~
de valor. la ',e..y,a.lua~:lºnF;~;¡.l~l!!.~y~'j¡l.(tlllza

FIG3

?R.nlCIPIOS OPERAl'IVOS

..•
•.,
~
o
•...
lO
•...

r
M

[
o-
"

r r
•

c :

" ..., ~
': ~ "
" ..,

. ~.1

'..::.:,'

......

:;.'

33
J
\

,./J
. :.':' '.. -- , .... : .
.,: :':' '.' ...... :". '.' ._ .
. '.-

. ..
: '
.. ':'
.Ó»,
",'

....
 -_ '0

....
_. 0'0"
~
.oooo.-.:
-'

•.

-;- .-

-: .'

¡l.
I ferenternente .en la observación en sus diversas modalidades (GENTO,
S., 1994b). De estas últimas subrayamos como más generalizadas las si-
guientes: observación no participante; observación participante;
qg~~~9n emograñca: ,y observación de instalaciones, materiales y
r~~~~s.· . .'
~..t!~rn~.¡p~rticipante es aquella que llevan a cabo obser-
¡,;nó; implicados
en la elaborucíón/desarrollo o efectos del pro-
. Este modalidad de observación está particularmente indicada
cuando las actividades que se valoran son públicas.
En todo caso, IQs observadores han de asegurarse de que su presencia
~'"U1t!!re el clima social del desarrollo de! programa (que puede serlo si
. aparece el rniedor'nervios isrno. oposición emocional. etc i: por el con-
trario, han de promover que ocurran en 1I11 cluua de m.ixim« norrual id.ul.
Es evidente que esta normalidad se consigue en mayor medida cuando la
observación está inserta en un proceso de contactos hubituales: por d
contrario. la observación de carácter puntual puede romper el clima que
regularmente impregna al grupo responsable del programa .
. A1:l1i"observación participante esta particularmente indicada cuando
.~!-I!I"-'~~!PV'" '< .. -r-:
e~grama 'réviste un alto grado de conñdencialidad.:o cuando los que
lo desarrollan están en una actitud totalmente defensiva frente al
evaluador, con lo que puede aparecer el riesgo de que su presencia sea
considerada como la de un espía.
j., .':
I

,
- ;.:.
•... ;
.
.<~ Característica fundamental de la observación participante es que el evaluadoo
'r;, tP~Re.!.q.e .proragonisra integral en todos los momentos y aspectos ..-
, > • . ~fesponsabilidad será la de uno más de grupo. A ello deberá aña-
. - ;.-'. dle.su especi dedicación a la descripción de lo que ocurre dentro de dicho grupo
y acuanto afecte al programa que se evalúa
:~.'. 1::'

.. . r~·::···'?{Q~.serv<a~lin
:,.:'1>\'..
..~~~·lOgráfíca" entendida
gac~te.rpre(a~i.ya"l
como un proceso de,
supone un análisis en profundidad de la
",.',"'. ~1:Freillidad;,eri"huestrQ caso del propio programa. El observador. en
, <1
·r· . esta técnica, trata de percibir la realidad sin una concepción previa de la
o".' misma: por el contrario, su misión es.recoger el significado de las ac-
l':' ,

-i
f
I
I
o
tft'''-:'9,U~S
de. los implicados. quienes pondrán de manifiesto las propias.
,. é,m~J¡:}~~one-~apartir de su perspectiva cultural o particular percepción
e. a realidad,
.J~~9bsery'áci6I}.. de instalaciones, materiales y resultados .se pro:
~~~;~~2I?Je.;!~!llenl.os fijos. por lo que no es preciso que se lleve a ..
. <'1
cab(j"con la presencia de otras personas.por tanto, el evaluador puede
llevarla a cabo en solitario. limitandose a recoger y a describir los
aspectos que vaya detectando. Las conclusiones a las que llegue sobre
I
j •
tales elementos serán el resultado de la acumulación de evidencias que
vayan apareciendo,

34

-
¡ 1
- :. '. v '

:
.(
,"
.... :.::... :

. o: ..
".,",

:.. ,.

:.\
.,~,~
.:
"
.
:.-
"V¡C;'';';:;'.)

Tal como hemos señalado, un rasgo fundamental d~l'¡';~Xi!l~a.cip'ij cualitativa ,r

~isPJJle!1t~~ su.flexibilidad. 'Esta característica afectará, no sól¿'""a.'íos' as- .
1
I •
I
I rpectos a considerar como fundamento de la evaluación, sino también a la pla-
nificación del proceso mismo. Con.tQ..Q.9,.,..r~sul¡íl!i;.<!e,jJ}!!uSí.l~n;,.r,.pn~Yistaslas ~
p.EiJlci¡;íf~:S fases a·,~~g,4is,·/Y que sintetizamos en torno a las siguientes: 1-
I observación generalizada: recopilación
impresiones: y elaboración del informe,
de impresiones: intercambio de
1
1

I
_. I":"laobservación generaliza.QA c.6ímitW~~~'pu~to
evaluación del programa. Podrá ilevarse.a cabo.sin.necesidad
de partida de 1<\
de tener un
!I
;i,1i
{eSquema previo excesivamente cerrado. la realidad que vaya
apareciendo pondrá de manifiesto los aspectos más relevantes para el
,1

I mejor conocimiento del programa: serán éstos. precisamente, sobre los

que ~e concentrará la observación por el evaluador.
2": la recopilación de imp'resion~~guirá ala observaciónEsta fase
';

constituye un apoyo fundamental. ., á':q ti h'anY'<de:irecogerse t,¡¡s e'

ap,U[!!4c<w:<ydas~imp:r.es.iQU~~~B.9..ll&~n en. e1.'l"
. JIUID.i.(1i~ffi¡;.jp9Ie~,m!~
. -"... . ....¡;¡¡,. ¡,•.• ;JW'.. •
." '~~r. .' ' .. '
.·,~r~
,. ~':::1~.:·No
,
parece aconsejable sustituir la descripción escrita que realiza el obser-
'''I-~'

. ; ','yador por el empleo de instrumentos electrónicos de registro (tales como el rnag- I

~I_~'
I
. " .netotón o el video). Por el contrario. la recogida de las impresiones directamente
'por el evaluador parece ofrecer mayor riqueza inrerpretativa (por las apre-
'<;iaciones de tipo personal que éste formula). junto al mantenimiento de un mayor
-1
!

': 1
!
,""~~>'... ,..
clima de naturalidad entre las personas objeto de observación.
,·:,·(!'L' .•. ~:;
.
.
'Q'~iIüt;8ñe'f'rawCb~hr":'"
.
1
,
.
. "t.·: .
;";;Vg::: :
C3~.'
..
am.,~i·Y;I1pijcados;:en~el~~q~i'dad~ag~
, . ,~:.·:it,:¡~{f.. tll
,

ij;~.-;~f,i.carl~,.spqt1.a;IuldifS.~le,,~íUf.
bio de."
.woe<-
..
... -.W~

Este inter-
'T .• «t,
P 00Cl011..
de ..1as
I
' •. :7f}¿:,~~;iT.. :':'cambio podrá' producirse con qui~nes .estén afectados por el programa
~ ':-';:..
!'-~oc);
.' (tales como profesores. alumnos, directivos, padres. personal no docente,
~I
'. '1 . :...
¡ ::,/\,:,.
,~ti.mQ~.
,,;;,;¿' :;~
).! ...:.. .
pero también podrá llevarse a cabo ~~~~E.~.f~Mi~;f
. , . .:' .. .
~.

'1.! : i" . En cualquier caso. el cambio de impresiones hará que las apreciaciones ini-
ciales seconfumen. se corrijan. se 'perfilen o se completen, según proceda, hasta
darías carácter definitivo.
~ I . ;' ~ :~ .
!. ~.: •
~~ La elaboración del informe de ;.eva1uaciÓn~~rá;Ja:J~e final= En

I. este informe ~: incluirán, .además .de la -4:.s~.1~J~~

~e~pr~ces.o seguido, :

:L ~ r:s~,~~os;.~lJteru<1~s (impresiones
.q~~~"'JW:yallegado. y las. propuestas
detmlt.l7'~J~ 2.~!us~9.~es a las,'
q,l\cse .•.denv.el,1 dejo anterior. Este

·1'Tj 35

~--------------------------------~
 «:
. "

" :-. ":". """ """

":"
"" " :- "

"

, "."

"" ":"
j
-t ' "
informe podrá ser. también, sometido a la consideración de los im-
;":: plicados o de profesionales expertos. que lo matizarán antes de llegar a la
:
redacción definitiva.

~
,
~~ºE RIGOR CIENTÍFICO

1 ., r '-
"

. ~,. Con harta 'frecuencia nos encontramos con valoraciones de tipo cuantitativo
,-i' en las que los criterios de validación generalmente aceptados (COOK. TD, y
,r
.: Ct\J.\tlPBEL. D.T. 1989) no se cumplen en las mismas. Pero. en todo C3S0. tales
criterios de validación no pueden ser aplicados de modo directo y cal CU3] en las
evaluaciones de cipo cuahtativo (POSAVAC. EJ. y eA.REy. R.G .. 1989: 2.38)
Por este motivo. han comenzado a desarrollarse criterios que: permitan jUlg~lr el
nivel de validez que ofrecen estas lu rnas evaluaciones
ú ¡U0iCOLN, Y.S. y
GUBA. E.G .. 1985). Entre tales criterios. traemos aquí como más relevantes los
siguientes: contraste: credibilidad: confirmación: validez externa: '! autenticidad.

~I
.. l"' •• .,"

, ~/'Para lograr. niveles aceptables de aceptabilidad, los observadores toman tre-

'cuentemente sus notas de campo y registran las interpretaciones de tales
observaciones. Posteriormente. los registros son sometidos a la apreciación de
.1l~~t1
~~. independientes: si las interpretaciones deesras últimas coin-
. 'de los propios observadores. este criterio de contraste habrá demos-
iss:-: :'
z.
~" ,:
"";""-., :
1""\ ~

.,''~<>Aunque no pueden intrcducirse en una red de verificación cuantitativa.

las observaciones cualitativas sanan credibilidad cuando encajan en un
. ",' ¡Uít~q,e~~cj(:)Oado de s-ignificación ~ón' múltiples controles 'de
.. '
.....- _.. ' .~q,~t~1' De 'esta manera. la credibilidad se retuerza mediante la
: iÍi~istencia ea<aspectos tales como 105 siguientes: la prolongada presencia en
~g!-~ql~!!, ~J:>e~mp!,eo d~. ~ikr~n[es fuentes de información; el uso
~de .las mterpretaciones de lo observado con otros evaíuadores y
.'cQ,'iifijar~j,p.AAt.es.en el programa.·

'~f~1f
Puesto que los intentos por lograr la total objetiviuau en la evaluación han
: .• "
resultado estériles (PATTON. \I.Q .. 1~:-S6J.. ourece más conveniente utilizar el
s:~UiSre;de.Jas interpretaciones d-;· !OS ocservcuores ccn otros evaluadores des in-
;E~9.s"qtie examinen[as :1L'{~S .~:!'';:l;:~~()::r!";!!1i.lks :. 'os ~r~!S!íos de los pro:
. 'jEI procedimiento seguido para .a venricac.on ,je: cumciimienro de este
criterio es similar el descrito en ;::! contraste.

36

-------- - -----------
 •
.:'- ~ vali?e~ ext~rna ~~~~ referencia a.1~.PQs.ib.~líc;mq,,~~
lH?!f~9[.,,~,B.r~w~~ ~'
I
• ; ~segulr idénticos resultados con otro~gruP.Q~ ~m~.Hl!W1~~Fy,~~Had9'''' '
l" En el ámbito de la
ciona eficazmente en
evaluación cualitativa. para demostrar si un programa fun-
diferentes situaciones y con distintas personas {os eva- r I
,~l!~ili~~.1.etal.ladas ?~~e~ª~ion.~e~, 'i ~.e.~~f;1.;,e,~J,qns~;.,~e~~ste
mod~,.
• ~~,e.l¡¡"PQslble homQg~flelgad de PfOp?~l.~WitY"9~:,p~clpantes. ¡tS~J
I .corno el grado de equivalencia del proceso y de·los't'e'sultá'dos:a.>!·,~,'<· ,"
.t~~',:
Estas descripciones pueden utilizarse para determinar si el programa va a
.'·:Tfunc~o,nar en o(rasc.ircunstanci~s .. siempre que p~eda asegurarse que los
r. propositos y los parucipantes son similares a los estudiados,

La evaluación de programas tiene generalmente lugar en conrextos en los que

I
.' inciden multitud de factores que los hacen inestables (estrés. miedo. esperanza.
r; azresividad. conflicto. ambición. incertidumbre. etc.).
't¡' -:, Dado. 'pues. que no es posible llevar a cabo una evaluación de tipo laboratorio
I
.J4'.Jen la que se controlarían totalmente las circunstancias de la misma), ,~e~eñQ.¡¡lIl
r-1:<'-#'!d.~ p;¡i~Os'i4.~i'tfélíticidad, de~J.ae.v.~Ú:iíi¿rQ¡(::cié.~~Qtqgr~I!m;.~Jg.s¡~~l1~'·
I I
¡ ';,,ALINCOLN. YS. y GL-'BA. EG.: POSAVAC. E.l. y CAREY, R.O. 1989: 240-1): I
, "'E~~ti",,:\Jí!!;'1is ",,0l¡!,~a¡Qre,y _i~it!:'ados;/'¡eUt'
~¡

L.;':~f.'
." . "':;~:i~~~m!F~~~~~i~~~el~'~~fJrn;~e'es
Aunque; en teoría. parece que tales factores de autenticidad pueden también
OS!~rt~~a dddf I
.é.~;:~e'~n la evaluación cuantitativa (COOK. TD., LEVITON. Le. y SHADISH.
\ .:~~~J~~,~\)9~5). la realid~~. sin e~bargo. ~o~e de mani~est~ que no se han cuidado
.. I t~{muctio en la evaluación de tipo tradicional cuantitativa (LINCOLN. YS. y
,i~t8~~~:~.G
..1985).
v- I :N:;<.-: :.-, " .1
,f ~!~~gma mixto, .

'.'. - .!t_ue 'nú~to

'~re"Ode_
00 sóloo?elim¡nar
1" aportaoíones.de lostipos
J '.t é'
•., ,,', Á'ñffin~ ,
, \Q:y1"lAbj~g9o, sino sobre.f9.dp':Úíteghit.f'PQp'~~jllm9.~Jº~ q~
11.~t'!Zg~s
'''''' ..
~.j~~

.:. ~ ,"'< ,Aúoque no siempre las opiniones de los diferentes autores son en esto total-
, ' : mente .coincidentes. la mayoría de ellos. especialmente los más modernos: se-
./-.' ::! ñalan que el paradigma mixto cuantitativo-cualitativo representa la mejor opción
r,
•. para el análisis de programas
'MAXWELL
l., y PILLEMER. D, B.. (984) ..
(COOK. TD. y REIHARDT. CS .. 1986;
G.S .. 1985: ROSSMAl\l. G.B. y WILSON. B.L, 1985; LIGHT R.J.

~.:
~.'

.:.:- . .....
:-, :
,":,

... "
 " .:' ~
',.:'0-:;

.~". , ' .. '.

_La práctica educativa pone. por su parte. de manifiesto que, junto a la cuan-
tificación de posibles resultados de un programa. existen implicacione s y aun
efectos que sólo pueden percibirse convenientemente a través de un enfoque
cualitativo: tal. por ejemplo. los componentes de lo que recientemente viene
denominándose "curriculurn oculto". Ante tales efectos. que aparecen sin haberse
podido prever. el enfoque exclusivamente cuantitativo carece de eficacia
Pero es que. incluso. los datos cuantitativos precisan ser convenientemente
interpretados: esta tarea requiere un enfoque eminentemente cualitativo
'Por el contrario. también sucede. a veces. que una evaluación planteada
inicialmente bajo el paradigma cualitativo Ik:;a a sistematizar impre sioncs. que
dan origen a hipótesis cuya confirmación requiere comprobacionev nurncncus de
los resultados de un progrhrna.
Finalmente. si roda evnluacion tiene en )1 misma un coste en t¿nllJrll'" de
recursos personales. materiales y tiempo de duración. es obvio que I;.¡ cstuuacron
de este coste sólo puede hacerse en términos cuantitativos.
No cabe. por tanto. sino concluir que el uso del enfoque cualu arivo en
combinación con otro cuantitativo. contribuid a reforzar la credibirilidad en IJ
t! evaluación de pro~xamas. ..

~.. ',' . . ~M~Jt~.BFcIir~!1~as:ión ideal y abs[ract~ de una re,alidad. inexistente

....c.tlcp."';;basa.daen elucubraciones o referentes teoricos. Representa.
pues, una concepción teórico-hipotética de una realidad. concepción que puede
.. :Q:i>rorptÍpo;'para intepretar a través de ella situaciones concretas que
';$ ,"'< -:-pr~c~iC<! '(GE:"iTO. S.. 1994a: 67)
. Aun cuando el grado de máxima perfección. implícita en el concepto de rno-
. dele, determina la imposibilidad de que pueda encontrarse [al cual en la realidad
concreta, constituye sin embargo el marco ideal en el que aspiran a encuadrarse
las .realizaciones prácticas: es. por tanto. una guía que marca un desideratum 3
perseguir, la utopía hacia la que caminar, pero que nunca se alcanza en su
plenitud)
" A lo largo de los últimos veinte años se han desarrollado al menos 50 mode-
los diferentes de evaluación de programas. Esta abundante discrepancia pone de
manifiesto la dificultad de llegar a puntos de acuerdo y la complejidad del fe-
nómeno mismo de la evaluación: pero también constituye un síntoma de la
expansión del propio fenómeno evaluador (SCRIVEN. M .. 198-+).

Con el propósito de establecer una cierta sistematización conceptual

entre los modelos aparecidos, agruparemos los modelos uuhzados "::1 d
ámbito de la evaluación de programas educan vos dentro de los unos
siguientes: el conductista-eticientisra: el de corte hurnanrsiico: 'í ~i ho-
lístico (F1C .J).

38

- -- - - - ---
 ~.:.." :-".

I
. PRESENTACIÓN I
&l~
.aCC4.~ic41~~~Qs
.
e
7 los sistemas e instituciones inCQ~.,@Il la evaluación
Mno de ..los componentes fundamentales' de su funcionamiento. Lo que
en'con ~1I0 no es otra cosa que controlar la catídad ;Cte.sus prqce~os :t,;
I
.,p~ápar¡Jd!t,~der,a1 reto inexcusable de una permanente mejora.
,e L~ educación no puede ser en esto una excepción. En efecto, nuestra L~y
í,:·!:;'Qrgánic~de Ordenación General del Sistema Educativo (LOGSE) manifiesta que
I
~eg~> la calidad de la enseñanza es uno de los retos fundamentales de la edu-
ló"q.;~el futuro' (Ley 1/1990 de 3 de Octubre: preámbulo). Precisamente uno
..,~19~l(~t9res de calidad que la mencionada ley enuncia es el de la programación I
¡1
I
óC~ñt,~(an 55.b). Por ello. insiste en señalar entre los componentes inexcusables
ue ha.de incluir la evaluación de nuestro sistema educativo la valoración de los

¡ !¡E:'~~'~;
.",ó" e;(,s educativos y de la propia enseñanza y aprendizaje (un. 2.3.j.; 62).
por tanto. ante una,hechQ,trasceo~ntab,.eflN~a.:!@dag..s:g~,
.. "fio.sqcuciones y de nuestmssistemaseduearivoe lá~~a¿¡ói{;¡je"
". n,' ~;;S,xigenciaineA\ldj.ble;~esá.;búsqued;kpttigresiva:~:Y;:Perm3.l.l~[e
, . ,.. :.~ ,1!9}:B~P'~Sla necesidad es, si cabe. aún más imperiosa a partir de ~
I
'.
"¡. !;\,~:yor áutonqmía que en el diseño de proyectos y pro~as curriculares tie-
~f4't;'~_:·q.~~}~:instituciones educativas y los profesores en su c0nJ.p"nto.
! ,; ;'A ;esca preocupación fundamental responde el capítulo "que ahora presen- ',1
'. "~: , os .. A través de nuestro prolongado contacto con profesores y centros edu-
'$¡;!?~,f~Rvos~mos llegado a concluir, qp.,e el,.profe~Qr.:drR,~~~jó.P:_:pn?fe~iQU~~'"

I
:!,f',¡¡§jJ'l:iiMipre;;a::.'UJla síntesis organizativa .Y..;.~4\í.c,~hq~~PJ~mÜ\'l:,
:1;~~ulcados en la situación en.que.sezencuemrasé'ero
descripción de esa síntesis merodológica supone, \ID P'{~SLd~
oprener:¡;los"""
la sistematización y
reflexión .indu~ '1
I

'
lij{.a;.o.:deductiva que no siempre se lleva a cabo.e
Pretendemos. en este capítulo, colaborar con quienes muestran interés por I
,>;:~.
que el profesor encuentre marcos modélicos con los que identificar su propia
J
.

, .J
~". síntesis operativa: o. cal vez. referentes que le permitan reconceptualizar su propia
, acción profesional. Invitamos. pues. a una lectura cri~o.\Otinrerpret:J.tiva 'de los p~j"
eval~~t.ivos.modelos y métodq~;gue se desc~~q ~szw<:iaIn~IlIe (F1C ¡j.
I
'"

:5 11
:
!

-~.
 ,¡
l'

FIG 1

SECUENCIA CONCEPTUALIZADA DE MODELO-

- Consecucrón
(Tylerl
Conductista- - Pl:II1í Iicación <!1;
,léi¡jÍ~úmtiyo.~-t--~ eficientistas (Cronbachi
- Clf'P r Srufflel
- CSE 1.-\ Iki n 1
- Figura ISla 'e

- Conrraposrcum 0''::1
~~ - Atención al cherue
(Scrivern
,--_.f.>_~_~_.-;._.i_¡~_~~_Y_O_--,+-+--~~l
- Cruica arnsuca
( Eisner:
~------------

- Evaluación responderue
rStake i

- Evaluación ilurninativa
(Parlert y Harnilrorn
- Evaluación hotísuca
:.' . L'-'Ie Donald I

I tePnrodi~ft2~1 --I·~¡'-__ Y_lod_e_IO_s_-.Ji---- :!__

.••• "_!e_'IO_u_·O_s_---'

.: :!r~.~:;;J;:{ <'~ ;: ~.'. .• )f%,~t;:-~ncia de conceptualizacion de..modelos de evaluación de programas eUUC3-

-uvos
.)~{~i4
;~t·;,
"'.:
", :

. OBJETIVOS

A lo largo de este capírulo pretendemos los siguientes objetivos:

.• Clarificar el marco teórico que sirva para una sistematización conceptual de
los enfoques sobre la evaluación de programas educativos.
, ~ ~ describir losdndicadores más relevantes de los rnodelos-suia que marcan
, las ten<kn~ias investigadoras elJ.C1 ámbito de la evaluación de tales programas.
.
'~

" . • Estructurar los métodos más difundidos que. centrados en la evaluación de

':'i' ! .dichos programas educativos. constituyen referentes interpretari vos de utilidad en
\ j, , ,e~a:M!~i!9 profesional. . ,.

;26

I -- -__ _ __

------ - --
 '._,\i~.l,?~:~Je~enros
identificativos de~los' f11~.frdos ~9ev.a:1~acióo."gS'?,
¡;>jo-<
i.. . üea~~,g~.SPf:r;t,o rasgos,<:lll.~puede.9. ~e~19~~u:.q;,~~~~~vara
gra .. '. la percepción de
'>;i.,\ ~eñdenclás'~valuativas y para el contraste de actuaciones concretas
_ ':' ¡"con las mismas. <

.~.~D7~ARROLLO DE CONTENIDOS

-, ~~' .~. .
-Ó:
, 1.- Paradlgrnas evaluativos

I ¡ 1 ~.. Entendemos el término paradigma c0!Yi,;I;m.'.lf~Q,9,~ ~¡;S~(~QSi;l

'~,,~W;~'!!'%~9~'.utiIi~amos para '~terp.f~t?-r Wl.~~.~1
J.deológicp
paradigma.
O."
~tbí1enra "per se" a una incidénéia\bb¡'Pírn':mJtíd:'~ino más bien
~C;\~;erp;.r~,t~~¡R,~;~e, \~ misma bajo un pris"'n~,SB.~..'iEe,l~L9~terrnina~0,,,,En
cuandd modalidad interpretati va. el rérrninó paradigma está más próximo al de
enfoque (GENTO. S,. 199.:J.bl
_Rdiri¿ndonos al ámbito de 10$ programas educativos. el paradigma eva-»
'~·:t': ',u _ofle !lIP.1SSQc~p~ualización general del-rnodo.rnas apropiado para lle-.
::,:J;~ p~mtVát'uación:~4.C!,~sta conceptualización se derivarán los modelos.
~ <"']2> métodos. técnicas. procedimientos e instrumentos evaluativos más apropiados .
• ·.?tiii Aunque resulta difícil delimitar claramente los diferentes paradigrnas. la
;7~;f:i·. dominancia de sus características fundamentales nos lleva a estructurarlos en tres
:,;'~!::. tipos básicos, a saber: cuamisarivo ..cualü:uive'y..mixtQ.,.
~ /': '. -; ~~un cuando es di ficil e nc o nrr ar modelos que puedan incluirse
.>, .z ex¿íusivamence dentro de un sólo paradigma. les diferenciaremos de acuerdo con
~,r!;,"i l~'pr~dominancia en aquél en que se sinian. ' '
••, ,~:J La elección de uno u otro paradigma evaíuativo se hará atendiendo al tipo de
• . ", programa a analizar. a los criterios de evaluación que se establezcan. a la técnicas
e instrumentos de evaluación que se vayan ,a utilizar y al cipo de informe o con-
"'>.' c1usiones a [as que quiera llegarse (COLAS. M.P. Y REBOLLO. M.A., L993:
.:-:1, ,'" 14~~.9)· <..
iJ;:':\; ,,;~'~:,-, . ''
•• -"1"'.: ,'~~Jj~lijW.1,"
~'''·'!:;·i~! . .
. •..
•.
"':;nl~~r~DT0
"q;~:..~~.~ ...~.~ .L.

_ ' El paradigma experimental cuantitativo üenae;'á;la máxima objetividad de da--

t9@~ara lo cual establece una sistematización estricta en, e! seguimiento del.pro-s
:~si§2.'.~valuadOr y.un diseño que des~J:l1,9.q~:,l,
en .resujtadospumérico- estadísticos
! L, rF'lG2J.
~~\r: ' Este rigor en la definición previa del procedimiento obliga al evaluador a se-
guírlo.con escaso margen de-flexibilidads lo que i~~ful~~~~.~o?ifi.cac~ón ~!!,~b~

:, .,.'" .::!:" . .' .,' 27 : '

 ..
., ~ . ..... "

.. '
" . .:'"
• • o" •

...... :
:-.':-

: ., . . - .. _' ...

jetivos intermedios, incluso si el desarrollo de dicho procedimiento pone e-e-

lieve la aparición de supuestos no contemplados en la previsión inicial.
Por otra parte, y aun cuando en cualquiera de los dos paradigrnas sea preciso
contar con evaluadores con elevado sentido ético y con dominio profesional de
misión, éfLeFd~tipo"cuantirativoel evaluador se sitúa a mayor.distancia de los
~~s,e.rl la:'.e.y~~acióri: esto. que parece ser una garanua de objetividad e
los datos que recoja, represenra al mismo tiempo una dificultad para percibir la
«llñi~i6L~ personal de-los. implicados y para captar componentes que inciden en
el programa pero que no h n sido previstos en la planificación inicial.

I.;~
.,
\ ~.- ,~
'~¡:¡~'..r
.' ":·~§:VA-lblI&TIVAS

1.4n~j:nicas de tipo interrogativo en' sus modalidades de tipo oral y. es-

I pecralmei1té;1.·S.cñF.Q1P¡if~ce~.pis .propias para obtener informaciones que puedan

j'!"~~U:m~~lte cuantificablés y sometidas a tratamiento
aplicación de estas técnicas habrán de elaborarse o manejarse
estadístico. Para la
instrumentos
evaluativos que respondan a las caracrenstícas derlas mismas rGENTO. 1994b).
I "<~; . ~iJ~~<i~t~~~· Aspecto.
en todo caso. peculiar de la evaluación cuantit at iva serán las

·(
. ..~,:/,: '.: ,y.•.•.
.k~.,,~:
se utilicen para eltratarnienro de datos numéricos ob-
Dad~ e::cará~ter pr?pio de: .Ia e:valua~i~n de prog~amas. parecen más in-
I" /-:); J';::. _", ',<
})f'~::\~:;"'~:!-/
'i' _:,~~'
.··c!i~~cias las técnicasestadisricasde tipo descriprivor Cfrl.A'S. M.P, y REBOLLO.
... X}{A ..; 1993: 156), entre las que cabe citar las de análisis factorial: escalas-
:~f::t¿~~~:(: ~' . -..--iQflai~Wl~:¡is.-9.\! '<~Qrr:c;sp,oflql!ncÜ.l,
o c¡'¡¡sters.,
-.. : .••...•.
":.-': .

. . .' .. :t~;,$~frata de la reorganización de la informacion que ya se posea. :11 objeto de

. /~:":'::¡{~!~,.
,'cerla más asequible y manejable: dicha información ~:'~struC;tl.\ra generalmente>
, ..):-.t!' . ~~¡y;iab.l7~ p categorías qUI!. van a valorarse: cada ~na de ellas podrá
iferentes estimaciones cuantitauvasen distintos ámbitos.
1t.: ';' ,. . Las variables y los ámbitos de ponderación podrán estrucrurarse y constituir
.
·''fd~·,r>'
l
). ·~;·'~.i. 'í\~'''~'~;':¡:IDli~tnatriz,C<!
datos, Con 'a iatrccuccion
·~veSt!2:J.c:ón evaiuativa. se .!~@ crcduciendo
de los ordenadores en el ámbito de la in-
un irrioortante desarrollo de pro-
l
:~,!
~:</C':·S.{. : " ~::;. g~m~ diseñados al efec:o. -.:,ue 0t":-e:':.!!1 matrices de base para la introducción de

l'r~f;'JC~'<t~~¡:(OS..
. í
'J ," 2!
". 0-'

. .
~'

.... :.'
 o o.

.'
•• 'o ••
-c- ~.• f: }
" ::- :: ~..
r: .....
',
.:: -c-
.~ .
" "
. ',' o" <'.-
,,:--. ~:
.... <.:. ..

" .-:'

FIG 2

·PARADIGMA EVALUATIVO
" .: i ".,
CUANTITATIVO,
. .' . 7"

PRINCIPIOS OPERATIVOS
.1:
'J,',

~~
(i~ ~i ;! ~
~~p
~~
~g
a.l'!
~<
QllII
J~
1:'! i! J
r
(1"1-'

~Ott gg
...~•...
:0" fG\
l J
<11l1 l}8' t~
.o
QlCO
..,'0
tt C. •....
~ ¡,g-

...
, .

f •.•.••

1""
i ~ ..
J

" i,'
~. . i{
L.:, ~.
,~ ';,

;~.
" ~-,...
. :'~. ' .
•• ~~ ~~ ,'. t'~~~'
','

.. ~
";-

•..~ ..: ~. "

• •• .::0',';_

·.1·.••.•.

~.,
.;....
,
1 ~:~ .-'-
•.1 -:

.L~; ~ __ ~ __ ------ __ -'!".

 !f2fS~(~.f.C.iÓllde la técnicayde los instrumentos de evaluacion

La selección de las técnicas evaluativas a utilizar y de los instrumentos a ma-

nejar dependerá de aspectos como los siguientes: el tipo de investigación eva-
I . luativa que vaya a realizarse: la hipótesis de partida que desee comprobarse: la
población y muestra de la misma; el grupo de personas a quienes afecta el pro-
,. • grama y el tipo de centro educativo en que se ubica dicho programa: y la~
1 ." ~~~i'~ue.YiJ.Y'ln ~,.\.,1(ililélfs~: .
• l' ....

!iiJi.t:-j,·pgi4a y tratamiento de datos

I Una vez elegidos' la técnica y los instrumentos de evaluación a emplear. Será

preéi~~s~kccionar la muestra de la población a que afecta el programa. Tras ello.
se proceder:i al empleo de los instrumentos. que ofrecerán el acopio de datos que

I constituirán la base de la evaluación. Tales datos serán oportunamente recogidos

~:g~~~~?S mediante los procedimientos estadísticos que convenga.

l.
1.f r,i
e ,
'.', Los datos estadísticos arrojarán una configuración de las variables que fueron
>' , .'
definidas a part~r de la hiPO.'tesis de partida. Estos datos o resultados, han de ser

. I ; /'" . ,
¡;'.:; ):,: t « ~.; . 'Y":;;.i~'~
.",...: ~\lf.R~~~;~t9.~retadQ~.,\deacuerdo con c,ncenos de tIpO clentlfic~ expe-
•. se requenra. pues. una evidencia científico- marernauca, de carácter es-
,.,d. ~.,,,::,"..: ',.. {;:..,";'.:.¡~;f.~;(' iadísticó. de la confiabilidad de los datos. lo que requerirá someter los J con-
1.'2r14~1-t~!.;~;A:~.
:.;.~.. {f~~'.:~t?~.·ciásta~iónde
h, ,,\-i» ¡",..l., i~~·:1:\(""""?·...::t:
:.'~:,
.'
~"~ ...•. •.•·.r··..:
tipo cuantitati va.
~?;;;l;~X ,,'. :,.;' ;.~:c;::onla creciente utilización de los ordenadores han aparecido programas in-
.

'I~¡' \;·<~C'.'
"::'~I i'1:.
, . _,'!~.'

",t.
~:.~:.
.• -;
'.,.:;,,~~;;,.,
,'9::.:- ~:
.formáricos que facilitan los cálculos estadísticos v que, por tanto. resultan es-

';~¡~,:1~,i,.,,~!.<mencl~)Oarnos
• . 4

·,:,peci~mente útiles para la eva!~a~i?n de ti'p0 .cuanritativo .. Entre tales programas.

por su mayor difusión los siguientes (COLAS. M.P. Y REBOLLO.

:')\~A.,"" {A,*>*:;\~~~Z;¡..169~:. ;i~~~iB~R~;!I';'~

~~~tiNSQ~~~~~~: ~9~~~~S~S~
I rJ8,
~~:'.: ',' ,.
L1;:' . .;.
', c.3'/"

':<;
.'

; '.,'
'.. /<,·>.(StatlStlcal
..
i" _fa'Ebración
Packaze for the SOCial Sciences),
-
del informe
el SAS y el BMDP,

";'~-i'
~~f" . .:~ , ;._\

I 1.,.

j(¡':;'l ,'.
..'...~~
::~""."', Tras la puesta en evidencia de la uceptabilidad científica de los datos obre
, nidos. será preciso proceder a la interpretación de los mismos. De este modr
se llegará a la formulación de las conclusiones que se ob re n g an e o m
'.resultado de la evaluación, A partir de aquí. los evaluadores proccdertín a ;
t.'~;l~~,t1J.~Jqn
del.informe, que abarcará la descripción del proceso seguido, I(
.;",.. , H~pps obtenidos. l os niveles de confianza' de los mismos. '! I
'C úsiones alcanzadas. El informe incluirá. además. las ·pr09uest:J.s
. r~fíf.fbclón, modificación o inclusión que proceda formular sobre d prograr
jáñ81kado .
. " .

I
. '
<. 30
 -...•...
~:.z~::~{~:·:.~
.. .
. ~ ::
, :"0;":'
'

- .

. ".! .' ......

~.
.

r
... :'., ~:' ~j~S
1

D~,RlGOR GIENT~FiC<t) .. . . '. ,,~.-

••
I 1 ''íí:!i@''~ ..
.,.?~f.~tf;.mri'hf1D'IS~~~urar
la.c~.dal:tf~#iCa
.~p'bt;t;r:uqoS, ~~ pj'S$~d establecer ~4P~.;&f4!~~que
. ..... .,., , .'
de 'I?S resultados numéricos
permitan dotar de cre-
I
.~

r\!~p1piliqa.d a los resultados. Entre tales garantras podemos referirnos a las

~;~~~~nJ~S: .' I
.f~~Yldái"lteld:';,zue'smi
r-}y:. t. -',

·1
'·,i.

' .

r ' _~.
. Cuando de una población determinada extraemos
;"C!l~ ~f;túamospara obt.ener una serie de datos es[O.dís{ic6s.ltIQmill~ffi~~pr~~,~ÜIi.
es. ;~~jJm,E;~'.la de ~arep.~~e,n~!lF.~!:i~~~~s1M;~l~Q,,~9f
C:p'~rah~lo'QdillOS 01:){~Nd9S atoda ·1~;.pobla~n~.I,ls.Q;;;~ ,otr~
.. ,
una muestra sobre la

I
r J. A este fin. deben aplicarse fórmulas matemáticas que faciliten el '.
hallazgo ~~I e.rI8.rm,~~s(ral (GA~~~.-\. NI.; 1982.: .!.3~: SI~,~RA. R .. 1?83:
209)~!;r¡llmeote.
~~~~s~',e,s
se.otorga credibilidada la,muest{'iIi,cuan,dQUaprobabilidad
inferior al 5~.
I
r'
• ."·;'~:í;~.t.;i('
.~,.;~.!~
~:. " t.
,
.

.. ?{):~<'
. tía suele generalmente requerirse a los instrumentos de medida. para

?'.
Yi'
.....jque~~n:.·-n,te,;imidé"'7:r;;;'~üCt':d~i~(SCHAPIRO.
.~p..+N-4!!..
. +H~:19 5; 156). S"
r, ••....
Q
'"Y,.r,
~'"
-... :: _. 'v'" ... ,..
;~~,
;:.
M. y '
léJ"uni
,.'.'
<.

,
o ',...,

. "'~
'J I I
."iít' "
.,
», ;~

-, -
.
.- .. \'!'if:"
" -.
:Ia
.
' ual'~¡O;""
..~ ,__ ,¡~:.
. _
.... .".. , ...
)::"já;'
O:,q~~.,,.
-'liM"mide lo que se pretende que mida" (SIERRA, R.. 1983:' "

.....•.:. ':.:;;:,
',. ~~.
'~'. ~:

ri~". . ~"

:,. ..

,..
.; .
.t~,.;.:~·t'.~:~.I~'~'.. ,i:;·t " ... !. , .: '. '.!:.

. diferencia entre validez y fiabilidad resulta con frecuencia difícil de 'e$.:',..... i :,¡ .
«: ,::~r%asta el punto de llegar a afirmarse que la fiabilidad es, p'~~.ci~;amenté:'~f '.,~';:: ~i'
1:10 dela validez (GENiO. S.. 1989: 124). . . ..
. }.::r ~Desde' el punto de vista práctico. suele (:·Órisia~se~!Ia.{fiabilid'[(:f;co~QJ, .
,.q~,~ ""j~ e*e ..Ias punruaciones.que 0~9rm1.~~b1e (Hfe't~-
_ ::- ore~~
lá'persistenci~:de~ las¡púri~t9i~s1-~WíCl()«sñ'ptita el;;nUsK
1 ./;Si8"fiilftl'ftrhenWde·éváluaci6n ed¡'dife'reÍüe's mb¡j¡~htO~1fSCHAPIRO. M. y
í'!?SARD'Y .: H.. i985). Puede. por tanto entenderse la fiabilidad como "la
• ~'<~1CáCtirudde los ~~tos. en el sentido de su estabilidad. repetición o precisión"
1-' .,.~(FOX.D.J..
.;..~. '-¡.> ."
1981. 4041. . ,

31
 :,'.
--,---

··e:
:
¡..
I

. '":1 . .c .
. :._.:·).-i
.' Significación

" .... fI térmi~o significación

pace referencia~ al..nivel de representatividad de los
~.a1QmYm~q~p~
,9.-e
..I,?~estadísticos ob~enid,?s en la muestra en relación con los
4Wg$;;'$~¡~}ii,,~,e,?bteº~~ enla poblacióñ (GENTO. S., 1989: 127).
. En general. suelen aceptarse como significativos aquellos estadígratos (o
estadísticos calculados) que obtienen niveles de confianza iguales o superiores al
!!!l'De esta forma se estima que el posible error aleatorio carece de im-
portancia. por lo que se puede asegurar que los parárnetros (o estadísticos en la
p~blación) serían muy parecido~ a los obtenidos en la muestra .

• L~eaa cualitativo

1 ~~PTO.. ' "'"$~ ..;""!r •.••• ~ -- j'4.

1 El paradigma cualitativo, también denominado a ;veces fenornenológico. se

',fl . ' _lii'iUfW~;S~9!15Sj2.~,inmeodiata y persona! de la información. utilizando,'
, ,~ás ,I?as<;tdosen el contacto con los implicados
. ,:. para ello ttln,~~$..\4t~~~n~os
",1 ' ' ,'/ '~,,~~~tl$JPW~íJS' Esta mayor implicación personal del evaluador en
::',:¡- ,.,: ~ ..,:- ·,;>c:l..,p'r~e~~r~og~aa'" de mfonn~ción sobre el p:ograma le lleva a una mayor
. " ¡ :' :~:." ",}~ comprenslón del mismo y de quienes han de ejecutarlo (POSA V.-\c. E.J. y
. ;:.;I <',I.,:y'!" ..;: ,:.:·CAREY. R.G .• 1989: 229- 40).
~:f:¡',?;<c~< i;:'~ o .'y.>.-;:.....•::El~desarrollo de la evaluación de tipo cualitativo no-implica el seguimiento "a .
j ~J ::;.:;~.tH;t.\\1::~. ;~
:·::~;'::··:'~~·.~~J:}:::;\~~i¡1i\iYm!Jl?tie.de~~;~~~~a",deun planpr~~!am~nte
. j',,}..:.!,
~Va<;1.o,:
Aunque al c~men~a:
se partirá sl~mpre de unas referenc,tas básicas. el proceso mls~o Ira,
.1,:·.'~L·;~~:~;~'5ttl\J~J , F..mprob~c~.ones,.qu~ sean convent.ente~ y .los puntos que requieran,
. .' 'J....:.:··:A~.-·I,f').;,!:-
,"."~~:,.•,:"....".,, o? h" (FlG 3)
.' '.-",1. ·-.··-:':!li4·_.~~: M . .;

~t'f1Y¡;~,;~~;:J~1:~:;'
~'~~r~~tiYEl;iíamdigmacualitativo parece. a primera vista. que nos sitúa ante un mayor
~::~···;t~o.'¡-1·~rI!~,,':·,,'
,,~. ri~~.gó.:de"s.ubjetividad en las apreciaciones de los evaluadores, debido a la
qificqltag de encontrar un único punto de vista objetivo sobre el propio programa
.. ",';L·.:'.i··:':i';'·~:,::;;:':~,'f-;, r,

l.',', . ".:j: ·(ALEXANDER. H. A .. 1986). Al objetodeévitarel sesgo de subjetividad y de

, r "'. { .. : darcanicte'r válido a la inrorrnación recopilada de modo cualitativo suelen uti-
. '~"-:-:. . lízarse recursos tales como los sizuientes:
['.: . -
. , . . ...:Ei~Rgid~ de. información a través de diferentes fuentes. promoviendo
'además la combinación de opiniones: .
- ~~qpilació¡¡.mediante síntesis cualitativas de un abundante número de
obserY¡l<;:;o{l~s: . .
:-{..:-
..<'
', :f ; - corroboración de la evidencia mediante el empleó de múltiples fuentes
illJ¿pe~dienres: . ,. "'. . .' ...1.. . . . '.,

- cb.nnfI11ación de las conclusiones alcanzadas. a través de las opiniones

de los implicados en el programa:

'., J

:::..'..::.•...
:....~:
--~. ~~ ••••• IIIIIII•••••• ~-
.... •••• ---- ~~
... , ':!;--:: .-
.. :.... :.
: .