Investigacion Evaluativa

Lineamientos y consejos sobre cómo conducir una evaluacion de programas o servicios sociales

1. Investigación Evaluativa.
Aplicaciones en intervenciones sociales y de salud pública
Jesús Armando Haro

2. Contenido
•El concepto de evaluación
•¿Qué es investigación evaluativa?
•¿Para que sirve?
•¿En qué se aplica?
•¿Cómo se realiza?
•¿Tipos de investigación?
¿Generaciones?
•¿Cuáles son sus etapas clave?
•¿Qué es metaevaluación?
•Addendum: ¿Cómo anticipar y evaluar
el impacto de las investigaciones que
hacemos en salud pública?

3. 3
DEFINIENDO EL CONCEPTO DE EVALUACIÓN
“..evaluar es determinar el
significado, la importancia, o
condición de algo, usualmente
mediante un cuidadoso estudio y
minucioso enfoque”
Merriam Webster Dictionary
Evaluar es una actividad
básica y humana en la vida
cotidiana. Es emitir juicios de
valor acerca del mérito de las
cosas y de las acciones

4. No obstante, hay un tipo de evaluación, la
investigación evaluativa, que se caracteriza por
su rigurosidad y sistematicidad
“La recoleccion sistemática de
información acerca de actividades,
características y resultados de
programas, para realizar juicios
acerca del programa, mejorar su
efectividad, o informar la toma
futura de decisiones”.
M. Q. Patton. 1996. Utilization-focused evaluation
(3rd ed.). Thousand Oaks: Sage. p. 23.

5. “La evaluación es el proceso de
identificar, obtener y
proporcionar información útil y
descriptiva acerca del valor y el
mérito de las metas, la
planificación, la realización y el
impacto de un objeto
determinado con el fin de servir
de guía para la toma de
decisiones, solucionar los
problemas de responsabilidad y
promover la comprensión de los
fenómenos implicados.”
D.L. Stufflebeam y A. Schiklield. 1987.
Evaluación sistemática. Guía teórica y
práctica. Madrid: Paidós/MEC. p. 183.

6. INVESTIGACIÓN EVALUATIVA
Es la investigación que tiene como
objetivo evaluar los resultados de
uno o más programas que hayan
sido o estén aplicados dentro de un
contexto determinado.
La intención de la investigación
evaluativa es medir los efectos de
un programa por comparación con
las metas que se propuso lograr, a
fin de tomar decisiones
subsiguientes para mejorar la
ejecución futura.

7. “Impact evaluation aims to
measure the difference between
what happened with the program
and what would have happened
without it.”
(Center for Global Development, 2006)

8. ¿Qué permite la investigación
evaluativa?
Obtener información sobre problemas, expectativas y
necesidades de la sociedad para contribuir de una
manera eficaz a las decisiones de política social.
Producir información para disminuir la incertidumbre
sobre las consecuencias de las decisiones tomadas, y
sobre las alternativas menos costosas de decisión
futura.
Dar respuesta en forma rápida y precisa a cuestiones
prácticas y preguntas de relevancia social, sin soslayar
que en estas situaciones, los problemas teóricos,
metodológicos y técnicos están presentes .

9. Evaluación en salud
“Un conjunto de procedimientos
sistemáticos que buscan hacer
visible lo que se hace, con
referencia a lo que se pretende
hacer; respecto a intereses,
efectividad, operacionalidad y
calidad de las acciones,
tecnologías, servicios o programas
de salud”
(Ayres, J.R.: 2004. Norma e formacao: horizontes filosoficos
para as praticas de avaliacao no contexto da promocao de
saúde Ciencia & Saude Coletiva 9 (3): 585)

10. Intervenciones evaluables en salud
•Clinicas
•Nutricionales
•Conductuales
•Educativas
•Ambientales
•En sistemas de salud
(cobertura, abasto,
personal, procesos,
calidad, etcétera)
•En salud pública
•Otras

11. La Evaluación es una nueva disciplina pero una antigua práctica.
La defensa de la Evaluación como disciplina descansa en sus
características científicas, en contraste con las evaluaciones
subjetivas o no sistemáticas.
La evaluación es considerada como ciencia por estar comprometida con
la producción de conocimiento. No sólo es conocimiento práctico.
Se interesa por conocer el mérito relativo de diferentes métodos de
enseñanza, o de diferentes teorías de aprendizaje, o por los cambios en
la salud como consecuencia de nuevas concepciones en la práctica
sanitaria.
También es esencial para distinguir la ciencia de la pseudociencia al
evaluar la calidad de la evidencia científica, la calidad de los diseños de
investigación, de los instrumentos de medida o de sus conclusiones.
La evaluación forma parte de todas las disciplinas, tecnologías y formas
de pensamiento racional en general (Scriven, 1991:4).
Por esto, hoy se considera que la investigación evaluativa es una
transdisciplina.

12. 12
¿Hay realmente diferencias entre
investigación e investigación evaluativa?
Para varias visiones existen al menos 3 tipos básicos
de investigación:
Básica o pura: investigación científica que tiene como
referente un problema del conocimiento, de la
disciplina. Desarrollo, refutación y consolidación de
teorías
Aplicada. Investigación para probar teorías para
evaluar su utilidad de resolver problemas
Evaluativa. Investigación para determinar si una
intervención garantiza mejoría de condiciones, tiene
consecuencias de impacto o ha contribuido al
conocimiento.

13. La IE difiere en que:
•Las preguntas centrales se derivan de
objetivos sociales, para resolver
problemas en forma práctica, y menos
como un problema del conocimiento o de
las disciplinas académicas.
•Los resultados se utilizan para mejorar
programas, procesos, intervenciones.
•Tiende a realizarse en escenarios de
intenso cambio social (turbulentos).
•Los resultados son principalmente
reportados en formatos no
necesariamente académicos.
•Por ello,erróneamente, se piensa que en
la IE la teoría y la teorización juegan un
papel menor. No debe ser así.

14. ¿Para qué se realiza la investigación
evaluativa? (en lo general)
•Para juzgar la eficacia, el mérito de un programa, intervención o política pública
•Para describir lo que sucede como resultado de una intervención (efectos colaterales
también no solo logros)
•Proveer evidencias acerca de los efectos a corto y largo plazo
•Determinar el costo-efectividad
•Para mejorar lo que se evalúa
•Identificar además que aspectos del proceso son los que son exitosos, sus resultados
(positivos, negativos o neutros) parelelos, que no responden a los objetivos de la
“intervención”. Identificar sus fuerzas y debilidades, asegurar la calidad, evaluar el progreso
de los objetivos planteados.
•También: para generar conocimiento científico social y de salud pública. Hacer posibles
generalizaciones sobre efectividad, construir teoría, diseñar nuevas políticas o procesos de
la misma intervención, extrapolar principios y hallazgos para ser aplicados en otros
escenarios sociales.

15. 15
•Documentar éxitos y fracasos, errores de
proceso
•Predecir cómo las variables impactan
situaciones específicas
•Explicar o identificar teorías
prometedoras asociadas con fenómenos
específicos.
•Puede realizarse según diversos criterios:
rendición de cuentas, costo-beneficio,
acreditación/certificación de procesos,
etcétera.

16. Tipos de evaluación (criterios)
•Evaluación de etapas o ciclos de un programa o
proyecto: diseño, implementación, resultados
•Evaluación de componentes:
a. insumos
b. procesos y productos
c. estructura, procesos y resultados
d. procesos e impactos
•Evaluación de atributos: pertinencia, idoneidad,
suficiencia, eficacia, efectividad, rendimiento,
etcétera
Nirenberg, Olga; Josette Brawerman y Violeta Ruiz: “Los tipos de evaluación” en Ibídem: Evaluar para la transformación.
Innovaciones en la evaluación de programas y proyectos sociales Paidós (Tramas Sociales), Buenos Aires, México, 2000, pp. 51-78.

17. Tipos de diseños de investigación
evaluativa (1)
•Evaluaciones cuantitativas
•Evaluaciones cualitativas
•Evaluaciones cuali-cuantitativas
•Diseños experimentales (el ideal, pero raramente aplicable
por razones éticas y prácticas)
•Diseños quasi-experimentales
–En series temporales (antes y después)
–Comparación entre grupos por pareamiento (con y sin
intervención, “casos y controles”)

18. •Modelo CIPP (contexto, input, proceso y producto
(Stufflebeam et al 1971)
•Evaluación de meta libre (Scriven 1973)
•Evaluación responsiva (Stake 1975)
•Evaluación focalizada (Patton 1978)
•Evaluación sobre la base del adversario (Wolf, 1979)
•Modelo de reforma (Cronbach et al 1980)
•Evaluación naturalista (Guba y Lincoln 1981)
Cronbach, L. J., Hambron, S. R., Dornbusch, S. M., Hess, R. D., Hornick, R. C., Phillips,D. C., Walker, D. F. y Weiner, S. S. (1980). Towards reform in
program evaluation: Aims, methods and institutional arrangements. San Francisco: Jossey-Bass.
Guba, E. G. & Lincoln, Y. S. (1981). Effective evaluation: Improving the usefulness of evaluation. Results through responsive and naturalistic
approaches. San Francisco: Jossey-Bass.
Stake, R. E. (1975). Program evaluation: particularly responsive evaluation. Occasional Paper, 5. University of Western Michigan.
Stufflebeam, D. L. & otros (1971). Educational Evaluation and Decision Making. Itasca,Illions: Peacock.
ALGUNAS APLICACIONES METODOLÓGICAS EVALUATIVAS en
EDUCACIÓN

19. Algunos enfoques o modelos
emergentes en el campo de la salud
•Evaluación participativa
•Evaluación cualitativa
•Evaluación de sistemas de salud
•Evaluación de síntesis realista
•Evaluación respondente (Stake)
•Evaluación democrática
•Evaluación por triangulación de
métodos
•Evaluación crítica
•Evaluación formativa
“No existe un modelo o
enfoque único de
evaluación emergente o
alternativo en el área de
salud”
F.J. Mercado et al: “Avaliação de políticas
e progra mas de saúde: enfoques
emergentes na Ibero-América no inicio do
século XXI” en Magalhães Bosi, M.L. y F.J.
Mercado (org.): Avaliação qualitativa de
programas de saúde. Enfoques
emergentes Vozes, Petrópolis, 2006, p.
22-64.

20. Según Boruch y Wortman (1979) no existe un
modelo generalizado de investigación
evaluativa. La clasificación de los enfoques en
la evaluación de programas ha originado una
abundante literatura, distinguiéndose desde
1975 hasta hoy ocho tipologías de evaluación
que arrojan cerca de cincuenta categorías (de
la Orden, 1985).
Hay 3 criterios fundamentales: (a) la
metodología empleada para establecer la
verdad o basar las afirmaciones
confirmatorias, (b) el papel asignado en el
proceso de evaluación al orientador-
evaluador en relación como los orientadores
y con el sistema, y (c) los objetivos que
persiguen o su orientación básica.
Borouch, R. F. & Wortman, P. M. (1979). Implications of educational evaluation for evaluation
policy. En D. C. Berliner (pp. 309-361). Review of Research in Education, 7.

21. •El concepto de evaluación, no es
monolítico (Anguera 1989).
•Las diversas posturas adoptadas oscilan
entre la construcción de un corpus de
conocimientos que pudiera garantizarle
el carácter de disciplina básica, y la mera
recogida de información que trata de
dar cuenta de la ejecución de ciertas
actividades realizadas previamente
(Cordaray, Bloom y Light, 1987).
•Pasando por el análisis de los efectos
netos de los programas o por la primacía
de razones políticas —y no técnicas—
respecto a la oportunidad de algunos
programas.

22. Según Ricardo Ayres (2001) la IE en el campo salud
puede clasificarse en dos tipos:
a)La evaluación normativa, destinada a verificar el éxito
técnico de acciones en salud. Se limita e medir cosas
objetivas, y es generalmente cuantitativa. Es análoga a la
evaluación formal de la calidad (“ideología de la calidad”
Uchimura & Bosi 2004).
•La evaluación formativa, que va mas allá de la dimensión
objetiva de calidad, para juzgar el éxito práctico. Implica
reconocer los “proyectos de felicidad” que justifican una
intervención en salud a través de la integralidad.
Reconoce que la IE es una herramienta para la formación
ciudadana y un mecanismo de validación del sistema
social, político e ideológico.

23. La integralidad como principio
norteador de la evaluación
•Según Mattos (2001) la integralidad
debe ser el principio que oriente las
prácticas evaluativas, pero también del
trabajo en salud y de las políticas
públicas.
*Capacidad de responder al sufrimiento
manifiesto
*Postura no reduccionista
*Capacidad ampliada de aprehensión de las
necesidades en salud
*Defensa de la intersubjetividad

24. ¿En que se aplica la investigación
evaluativa?
•Programas
•Intervenciones
•Políticas públicas
•Evaluación de calidad de servicios
existentes
•Productos
•Personas en puestos clave
•Procedimientos específicos en la
implementación de ciertos
componentes en los anteriores
•Proyectos de investigación e
intervención

25. ¿Qué aspectos se pueden evaluar?
•Eficacia (relación entre objetivos y logros)
•Efectividad (relación entre las estrategias, los métodos, los
procedimientos, y los logros)
•Costo-beneficio
•Implementación (operatividad, procesos)
•Aceptación en la población objetivo
•Calidad de servicios
•Efectos contextuales
•Procesos (desempeño, operatividad)
•Efectos colaterales
•Rendición de cuentas (accountability)
•Satisfacción de los usuarios o implicados

26. CRITERIOS DE EVALUACIÓN DE PROYECTOS
•Clara formulación del problema (tanto práctico como del problema de investigación) y de
las dimensiones del mismo que se abordarán.
•Relevancia del problema. Descripción, justificación y contextualización adecuada.
•Exposición clara y pertinente de los fundamentos teóricos de la investigación.
•Congruencia entre problema, hipótesis, objetivos y fundamentos.
•Congruencia entre metodología y objetivos propuestos.
•Descripción clara de la modalidad de trabajo, las acciones a realizar y la organización del
equipo de trabajo.
•Clara exposición del diseño metodológico de la investigación diagnóstica o evaluativa.
•Relevancia de la innovación propuesta en función de su posible impacto
•Previsión de interacción entre el grupo de investigación-innovación y los posibles
beneficiarios (unidades académicas, comisiones curriculares, etc.).
•Viabilidad del proyecto en función de la composición del equipo, tiempo disponible y
características del PROYECTO.

27. Generaciones en investigación
evaluativa
•primera generación (medición): evaluación de
organizaciones como suma de individuos.
Generación de la medida. El papel del evaluador era
técnico, como proveedor de instrumentos de
medición.
•segunda generación (descripción): evaluación de
programas organizacionales y/o de recursos
humanos y de sus resultados
•tercera generación (valoración) : se elaboran
"Juicios" sobre los programas organizacionales para
recomendar lo que hay que hacer. Inciden sobre las
decisiones a tomar más que sobre los resultados.

28. La cuarta generación en
investigación evaluativa
•A finales de los ochenta Guba y Lincoln
(1989) ofrecen una alternativa evaluadora,
que denominan cuarta generación,
pretendiendo superar lo que según estos
autores son deficiencias de las tres
generaciones anteriores, tales como una
visión gestora de la evaluación, una escasa
atención al pluralismo de valores y un
excesivo apego al paradigma positivista. La
alternativa de Guba y Lincoln la denominan
respondente y constructivista, integrando de
alguna manera el enfoque respondente
propuesto en primer lugar por Stake (1975),
y la epistemología postmoderna del
constructivismo (Russell y Willinsky, 1997).

29. La utilización de las demandas,
preocupaciones y asuntos de los implicados
(stakeholders) es necesaria, según Guba y
Lincoln, porque:
•Son grupos de riesgo ante la evaluación y sus problemas
deben ser convenientemente contemplados, de manera
que se sientan protegidos ante tal riesgo.
•Los resultados pueden ser utilizados en su contra en
diferentes sentidos, sobre todo si están al margen del
proceso.
•Son potenciales usuarios de la información resultante de la
evaluación.
•Pueden ampliar y mejorar el rango de la evaluación.
•Se produce una interacción positiva entre los distintos
implicados.

30. El cambio paradigmático lo justifican estos
autores porque:

•La metodología convencional no contempla la necesidad de identificar
las demandas, preocupaciones y asuntos de los implicados.
•Para llevar a cabo lo anterior se necesita una postura de descubrimiento
más que de verificación, típica del positivismo.
•No se tienen en cuenta suficientemente los factores contextuales.
•No se proporcionan medios para valoraciones caso por caso.
•La supuesta neutralidad de la metodología convencional es de dudosa
utilidad cuando se buscan juicios de valor acerca de un objeto social.

31. Identificar todos los implicados con riesgo en la evaluación.
Resaltar para cada grupo de implicados sus construcciones acerca de lo evaluado
y sus demandas y preocupaciones al respecto.
Proporcionar un contexto y una metodología hermenéutica para poder tener en
cuenta, comprender y criticar las diferentes construcciones, demandas y
preocupaciones.
Generar el máximo acuerdo posible acerca de dichas construcciones, deman-das
y preocupaciones.
Preparar una agenda para la negociación acerca de temas no consensuados.
Recoger y proporcionar la información necesaria para la negociación.
Formar y hacer de mediador para un «forum» de implicados para la negociación.
Desarrollar y elaborar informes para cada grupo de implicados sobre los distin-
tos acuerdos y resoluciones acerca de los intereses propios y de los de otros
grupos (Stake, 1986; Zeller, 1987).
Reciclar la evaluación siempre que queden asuntos pendientes de resolución.
RESPONSABILIDADES BÁSICAS DEL EVALUADOR DE
LA CUARTA GENERACIÓN

32. 1) Establecimiento de un contrato con un
patrocinador o cliente.

• Identificación del cliente o patrocinador de la
evaluación.
• Identificación del objeto de la evaluación.
• Propósito de la evaluación (Guba y Lincoln, 1982).
• Acuerdo con el cliente por el tipo de evaluación.
• Identificación de audiencias.
• Breve descripción de la metodología a usar.
• Garantía de acceso a registros y documentos.
• Acuerdo por garantizar la confidencialidad y anonimato
hasta donde sea posible.
• Descripción del tipo de informe a elaborar.
• Listado de especificaciones técnicas.
Los 12 pasos de la IE de cuarta generación (Lincoln & Guba)

33. 2) Organización para reciclar la investigación.

• Selección y entrenamiento del equipo
evaluador.

• Consecución de facilidades y acceso a la
información (Lincoln y Guba, 1985).

3) Identificación de las audiencias (Guba y Lincoln,
1982).

• Agentes.

• Beneficiarios.

• Victimas.

34. 4) Desarrollo de construcciones conjuntas dentro de cada grupo
o audiencia (Glaser y Strauss, 1967; Glaser, 1978; Lincoln y
Guba, 1985).

5) Contraste y desarrollo de las construcciones conjuntas de las
audiencias.

• Documentos y registros.

• Observación.

• Literatura profesional.

• Círculos de otras audiencias.

• Construcción ética del evaluador.

35. 6) Clasificación de las demandas, preocupaciones y
asuntos resueltos.

7) Establecimiento de prioridades en los temas no
resueltos.

8) Recogida de información.

9) Preparación de la agenda para la negociación.

10) Desarrollo de la negociación.

11) Informes (Zeller, 1987; Licoln y Guba, 1988).

12) Reciclado/revisión.

36. a) La evaluación es un proceso sociopolítico.

b) La evaluación es un proceso conjunto de
colaboración.

c) la evaluación es un proceso de
enseñanza/aprendizaje.

d) La evaluación es un proceso continuo, recursivo y
altamente divergente.

e) La evaluación es un proceso emergente.

f) La evaluación es un proceso con resultados
impredecibles.

g) La evaluación es un proceso que crea realidad.
RASGOS CENTRALES DE LA INVESTIGACIÓN EVALUATIVA DE CUARTA
GENERACIÓN

37. Etapas clave en investigación
evaluativa
•Formulación del objetivo principal y las
preguntas de investigación. Es fundamental que
desde esta primera etapa se considere la opinión de
los implicados y no solamente del cliente
(financiador)
•Creación de los indicadores
•Definición de las fuentes de información
•Elaboración de los instrumentos de
investigación

38. •Trabajo de campo. Donde se
realiza un reajuste de
conceptos, indicadores,
hipótesis, estrategias,
instrumentos.
•Análisis de información
recopilada. Ordenación y
clasificación de los datos.
•Elaboración del informe final
•Comunicación de resultados en
distintas audiencias
M.C. de Souza-Minayo.
Pesquisa avaliativa por
trtiangulacao de métodos
en Magalhães Bosi, M.L. y
F.J. Mercado (org.):
Avaliação qualitativa de
programas de saúde.
Enfoques emergentes
Vozes, Petrópolis, 2006,
pp. 163-190.

39. metaevaluación
•la metaevaluación ha sido y es
comúnmente considerada como
aquella investigación sistemática
cuyo objetivo es emitir un juicio
acerca de la calidad o los méritos de
una evaluación. La evaluación se
convierte, de esta forma, en el
objeto de estudio del
metaevaluador (Stufflebeam, 1981,
1987; Scriven, 1967, 1991).

40. •Diferentes conceptos de evaluación
•Diferentes criterios
•Pluralidad de procesos evaluativos, dependiendo de la percepción teórica
que sobre la evaluación se mantenga
•Pluralidad de objetos de evaluación
•Apertura, reconocida en general por todos los autores, de la información
necesaria en un proceso evaluativo para dar cabida no sólo a los resultados
pretendidos, sino a los efectos posibles
•Pluralidad también reconocida de las funciones de la evaluación
•Diferencias en el papel jugado por el evaluador, lo que ha venido a llamarse
evaluación interna vs. evaluación externa
•Pluralidad de audiencia de la evaluación y, por consiguiente, pluralidad en
los informes de evaluación. Desde informes narrativos, informales, hasta
informes muy estructurados (Anderson y Ball, 1983)
•Pluralidad metodológica
•Tendencia a la integración cuantitativa/cualitativa
Algunas características torales de la investigación evaluativa en la
actualidad (S. XXI)

41. Addendum: ¿Cómo anticipar y evaluar el impacto de
las investigaciones que hacemos en salud pública?
•Promover la conciencia del impacto que
tienen nuestras actividades investigativas
-En la conciencia de quien es observado (paradoja de
Heisenberg)
-En la reacción social (formal e informal)
-En lo material y en lo simbólico
-Saber que hay impactos intencionales e inesperados
•Explicitar intencionadamente cuál es el
impacto que pretendemos lograr
•Diseñar mecanismos de evaluación de
impacto que incorporen la perspectiva de
nuestros sujetos en estudio/la población
objetivo

42. •¿Para qué queremos impactar?
•¿Cuál es nuestro concepto de ciencia?
•¿Qué objetivos tiene el trabajo
científico?
•¿Cuáles son nuestros criterios sobre lo
que buscamos impactar?
•Relevancia de explicitar ¿para qué
investigamos?, ¿Para quién
investigamos?, ¿Para quién
escribimos?
El eje teórico/conceptual

43. •Necesidad de una reflexión
epistemológica –alterna a la
hegemónica- desde donde
conceptualizar la salud, el trabajo
científico, el impacto de las
intervenciones.
•Importancia de trascender la
perspectiva sujeto/objeto,
natural/social,
cuantitativo/cualitativo hacia una
visión relacional, integral y
contextual.

44. Los actores y sectores que se impactan
(o pretendemos impactar)
•Pareciera que buscamos
impactar en políticas
públicas. Sin embargo, los
actores y sectores
involucrados rebasan a veces
nuestras expectativas.
•El gobierno responde
solamente a cierto tipo de
fuerzas
•Política pública desde lo
público y desde el Estado

46. Propuestas
•Diseñar participativamente (con
los diferentes actores/sectores)
los criterios y estrategias de
evaluación del impacto.
•Potencializar los impactos
mediante calidad de la
investigación y estrategias
diferenciadas de difusión
•Crear medios adecuados: una
revista, medios electrónicos,
audiovisuales, radio, audiencias,
conferencias, etc.
•Calificar y no solamente
cuantificar el impacto

47. •Establecer alianzas
estratégicas, que aseguren la
potencialidad de nuestras
propuestas en la opinión
pública y en la toma política de
decisiones.
•Crear o utilizar redes de acción
y/o movimientos sociales.
•Desarrollar agendas paralelas a
lo reportado a nuestros
financiadores.
•Planes estructurados por
etapas sucesivas, abiertos al
curso de los acontecimientos