Dr. Cristian Díaz Vélez
Epidemiólogo Clínico
Auditor Médico
Validación de un instrumento
ImaginaquedeseasevaluarelNivelNutricionalde
ungrupodeNiñosyelInstrumentoquevasausares
unaBALANZAMALOGRADA.
No Importa si tu proyecto de investigación es perfecto
No Importa si tu muestra es representativa
No importa si contratas al mejor estadístico del mundo
No Importa si invertiste mucho dinero y mucho tiempo
Simplemente tus resultados no sirven. ¿EVIDENTE NO?
El instrumento consta de las siguientes secciones:
•Datosdeidentificación:dondeseconsignaeltítulo
delestudio,númerodeencuesta,códigodel
participante,etcétera.
•Instrucción:dondeselebrindaalparticipante
algunasindicacionesbásicasparapoderdesarrollar
elcuestionario.
•Datosgenerales:enestasecciónsebuscaestablecer
informaciónsociodemográficadelparticipanteque
pudieracorrelacionarseluegoconlasvariablesde
estudio,einclusosunombresielcuestionariono
requieredelanonimato.
El instrumento consta de las siguientes secciones:
•Datosespecíficos:enesteacápitesepretenderecabar
informaciónsobrelasvariablesdirectamenterelacionadascon
elestudio.Lasrespuestaspuedenserescritasensutotalidad,
deserelcuestionariodetipoabierto,omarcadas,sisetrata
deunformatoestructurado.Enestecasosepuedeaplicar
unaescaladicotómicaopolitómica(Likert,Thurstone,
Guttman)
•Agradecimiento:enestaúltimasecciónsesuelefinalizarel
cuestionarioconunafórmuladecortesíaporeltiempo
concedido.Enlamayoríadeloscasoseslaúnica
compensacióndirectaquerecibeelparticipante.
Reglas Generales para la Redacción de
Cuestionarios
•Debe tener instrucciones claras
•Debe contener preguntas objetivas
•Debe tener secuencia lógica
•Los participantes deben tener conocimiento suficiente para
contestarlo
•Debe estar redactado al nivel educativo del participante
•Cada pregunta debe medir un sólo objetivo
•Se deben proveer todas las posibles alternativas en cada
pregunta
•No se deben mezclar diferentes tipos de preguntas en una
misma sección
•Se deben evitar las preguntas largas
Reglas Generales para la Redacción de
Cuestionarios
•Se deben evitar las preguntas confusas
•Debe haber un balance de preguntas positivas y negativas, pero se
prefiere las afirmativas.
•Las preguntas deberán basarse en los objetivos del cuestionario
•Debe haber un balance de alternativas positivas y negativas.
•De ser posible, incluya una alternativa neutra.
•El instrumento debe contener ejemplos de preguntas donde se
demuestre el procedimiento.
•El cuestionario debe tener un índice de consistencia apropiado
•El cuestionario debe ser validado
•Si se intenta copiar un cuestionario, se debe solicitar permiso al
autor.
•En los cuestionarios adquiridos aún se debe probar la validez y la
consistencia bajo condiciones locales.
1. Validez : seguridad, exactitud
Error sistemático
2. Confiabilidad : Precisión, reproducibilidad
Error aleatorio
VALIDEZ Y CONFIABILIDAD DE LOS INSTRUMENTOS
DE RECOLECCIÓN DE DATOS
REQUISITOS DE UN BUEN INSTRUMENTO DE MEDICION
CONFIABILIDAD
GRADO EN QUE SU APLICACION
REPETIDA AL MISMO SUJETO U
OBJETO PRODUCE IGUALES
RESULTADOS
VALIDEZ
GRADO EN QUE UN
INSTRUMENTO MIDE LA
VARIABLE QUE PRETENDE
MEDIR
Hernández Sampieriy col
GRADO EN QUE UN INSTRUMENTO
PRODUCE RESULTADOS
CONSISTENTES Y COHERENTES
Hernández Sampieriy col
El instrumento debe demostrar ser confiable y válido a la vez
Hernández Sampieri y col
Validación cualitativa
La validez
•Entérminosgenerales,serefierealgradoenqueun
instrumentorealmentemidelavariablequepretende
medir.
•Porejemplo,uninstrumentoválidoparamedirla
inteligenciadebemedirlainteligenciaynolamemoria.
•Lavalidezesunacuestiónmáscomplejaquedebe
alcanzarseentodoinstrumentodemediciónqueseaplica.
La validez de constructo incluye tres etapas
1)Estableceyespecificalarelaciónteórica
entrelosconceptos(sobrelabasedel
marcoteórico).
2)Correlacionanambosconceptosyse
analizacuidadosamentelacorrelación.
3)Interpretalaevidenciaempíricadeacuerdo
aquétantoclarificalavalidezde
constructodeunamediciónenparticular.
VALIDEZ TOTAL = VALIDEZ DE CONTENIDO +
VALIDEZ DE CRITERIO + VALIDEZ
DE CONSTRUCTO
Validación cuantitativa
En que medida obtenemos los mismos resultados al aplicar
nuevamente el instrumento.
•Evaluados por:
•Porcentaje de Concordancia (variables categóricas)
•Validez de criterio o predictiva o Coeficiente Kappa
(variables categóricas)
•Coeficiente de Correlación Intraclase(variables
continuas).
•Permite comparar:
•Mediciones repetidas hechas por un sujeto (variación
intra–observador).
•Mediciones hechas por diferentes sujetos, con el
mismo instrumento (variación ínter–observador).
•Mediciones en diferentes fracciones de una muestra
(validación interna)
Reproducibilidad (consistencia, confiabilidad, precisión)
Proceso de recolección de datos. La Prueba Piloto.
Evaluación de la confiabilidad del instrumento
•Elproyectopilotopermiteaveriguarlaconsistenciaoconfiabilidaddel
cuestionario.
•Paraelloseutilizaunnúmerodeunas20-25personasquerepresentena
losparticipantesdelestudio.
•Serecomiendamayornúmeroaldeítems.
•Algunosrecomiendan5personasporítems.
•Idealmente,laspersonasseleccionadasparaelproyectopilotonodeben
participarenelestudio,aunquesídebenposeercaracterísticassimilaresa
lasdelosparticipantes.
•Elprocedimientoparalatomadedatospodríaserdeencuesta,por
teléfono,porcorreofísicooelectrónico.Enelcasodeadministración
directasedebenanotarlasobservacionesparalaspreguntasenlascuales
elparticipantetengadificultadencontestar,paraefectuarposteriormente
lasdebidascorrecciones.
Proceso de recolección de datos. La Prueba Piloto.
Evaluación de la confiabilidad del instrumento
•Laconfiabilidad,semideconelalfadeCronbach,
cuyosvaloresoscilaentre-1,0y1,0.0significa
confiabilidadnulay1representaconfiabilidadtotal.
•Sonvaloresaceptablesdealfaparapropósitosde
investigación≥0,7,yparapropósitodetomade
decisiones≥0,9.
•Entodocaso,seesperaquedichoíndiceestépor
encimade0,70.
•Elíndicesepuedegenerarporpreguntas
individuales.Laspreguntasquenocumplanconel
índicerequeridoseeliminarándelestudio
INTERPRETACIÓN DE UN COEFICIENTE DE
CONFIABILIDAD
0 1
0% de confiabilidad en la
medición (medición
contaminada de error)
100% de confiabilidad en
la medición (no hay error)
Hernández Sampieriy col
Muy baja Baja Regular Aceptable Elevada
?
0.2 0.4 0.6 0.8
La confiabilidad
•Serefierealgradoenquesuaplicaciónrepetidaal
mismosujetouobjeto,produceigualesresultados.
EJEMPLODERESULTADOSPROPORCIONADOSPORUNINSTRUMENTODE
MEDICIÓNSINCONFIABILIDAD/SINPRECISIÓN
1º APLICACIÓN 2º APLICACIÓN 3ºAPLICACIÓN
Martha 130 Laura 131 Luis 140
Laura 125 Luis 130 Teresa 129
Arturo 118 Marco 127 Martha 124
Luis 112 Arturo 120 Rosa María120
Marco 110 Chester 118 Laura 109
Rosa Maria110 Teresa 118 Chester 108
Chester 108 Martha 115 Arturo 103
Teresa 107 Rosa María107 Marco 101
*) CONFIABILIDAD
La confiabilidad, del instrumento se efectuará aplicado el coeficiente
Alfa de Crombach, cuya fórmula es:
= K
K - 1
Donde: = Coeficiente de Crombach
K = N° de items utilizados para el cálculo
Si
2
= Varianza de cada item
St
2
= Varianza total de los items
El valor obtenido de Alfa es:
= K
K - 1
El valor de alfa obtenido es:
α = 37
36
= 0,8404
K
1 - Si
2
i = 1
St
2
K
1 - Si
2
i = 1
St
2
1 – 42,622
232,22 Reemplazando:
α = (8/8-1) ( 1-( 2.65/5.70))
α = (1.1428* 0.5345)
α = 0.61.
Por lo tanto, la escala no es confiable. Deben eliminarse los ítem necesarios hasta
que el valor del α sea ≥ 0,7.
Estrategias para incrementar el índice de Consistencia
de los Cuestionarios
•Alargarelinstrumento
•Efectuarpreguntasdemedianadificultad
•Aumentareltiempoparacontestarel
instrumento
•Asegurarsequeelinstrumentoseaclaropara
elpúblicoobjetivo.
COEFICIENTE DE CORRELACION INTRACLASE (CCI)
MÉTODO ANOVA
VARIABILIDAD
TOTAL
VARIABILIDAD DEBIDA
A LA DIFERENCIA
ENTRE DISTINTOS
SUJETOS
VARIABILIDAD DEBIDA
A LAS DIFERENCIAS
ENTRE LAS MEDIDAS
PARA CADA SUJETO
VARIABILIDAD
TOTAL
VARIABILIDAD
RESIDUAL O ALEATORIA
ASOCIADA AL ERROR
VARIABILIDAD ENTRE
OBSERVACIONES
•Cálculo difícil
•Pruebaparamétricay requiere de
1.normalidad de distribución de la variable
2.igualdad de varianzas
3.Independencia de errores de cada observador
•Depende de la variabilidad de los valores observados (muestras
homogéneas tienen menor CCI)
•Carencia de interpretación clínica
•Uso de otros métodos como Blandy Altman
•Se deben considerar como métodos de análisis que ofrecen
información complementaria
LIMITACIONES DEL CCI
Métodos de formas alternativas o paralelas
Dos o mas versiones
de un instrumento
Aplicación de los instrumentos a las
mismas personas simultáneamente o
en un periodo corto de tiempo
Resultado
Si la correlación entre los resultados es positiva Confiable
Hernández Sampieriy col
PROCEDIMIENTOS MAS UTILIZADOS PARA MEDIR
CONFIABILIDAD
Métodos de mitades partidas (Split-halves)
Un instrumento dividido
en dos mitades
1 sola aplicación del
instrumento de 10 ítems
Resultado
1-3-4-7-10
2-5-6-8-10
Si la correlación entre los resultados de las dos
Mitades es fuerte
Confiable
Hernández Sampieriy col
PROCEDIMIENTOS MAS UTILIZADOS PARA MEDIR
CONFIABILIDAD
•Dividir los ítems del instrumento en dos partes iguales.
•Correlacionar las puntuaciones totales de las dos mitades.
•Multiplicas el coeficiente obtenido por 2 y dividir por el término 1 (uno) mas
la correlación de las dos mitades (corrección de Spearman –Brown), como la
siguiente fórmula
Métodos de mitades partidas (Split-halves)
Medidas de consistencia interna (Coeficiente alfa de Cronbach, Kudery Richardson o
fórmula KR-20, KR21,
Un instrumento
1 sola aplicación del
instrumento Resultado
Coeficiente alfa de Cronbach es para variables de intervalos o de razón
KR.20 y KR21 es para ítems dicotómicos
Coeficiente de Correlación de Pearson cuando el nivel de medición es por intervalos o razón.
Coeficiente de Spearman o de Kendall cuando el nivel de medición es ordinal
Hernández Sampieriy col
PROCEDIMIENTOS MAS UTILIZADOS PARA MEDIR
CONFIABILIDAD
Coeficiente alfa de Cronbach
Existen dos formas de calcularlo
Resultado de correlación de las puntuaciones
positiva moderada a más = Instrumento Homogéneo
Coeficiente alfa de Cronbach:
Valores son entre 0 y 1
Donde 0=nula confiabilidad
1=máxima confiabilidad.
>0.75 es aceptable
> 0.90 es elevada
Reemplazando:
α = (8/8-1) ( 1-( 2.65/5.70))
α = (1.1428* 0.5345)
α = 0.61*) CONFIABILIDAD
La confiabilidad, del instrumento se efectuará aplicado el coeficiente
Alfa de Crombach, cuya fórmula es:
= K
K - 1
Donde: = Coeficiente de Crombach
K = N° de items utilizados para el cálculo
Si
2
= Varianza de cada item
St
2
= Varianza total de los items
El valor obtenido de Alfa es:
= K
K - 1
El valor de alfa obtenido es:
α = 37
36
= 0,8404
K
1 - Si
2
i = 1
St
2
K
1 - Si
2
i = 1
St
2
1 – 42,622
232,22
Coeficiente alfa de Cronbach
44
Alfa de Crombach
Valores: oscila entre 0.0 y 1.0
O significa confiabilidad nula
1 representa confiabilidad total
Valores aceptables de alfa
Para propósitos de investigación ≥ 0,7 (aceptable 0.70, buen
índice 0.80 y excelente 0.90).
Fiablilidad respetable a partir de 0,80.
Para propósito de toma de decisiones ≥0,9
Coeficiente alfa de Cronbach
Coeficiente alfa de Cronbach
condiciones de aplicación:
1.Se aplica un test integrado por almenos 2 ítems a un grupo de
personas (mínimo 2 personas).
2.El puntaje del test es igual a la suma de los puntajes de los
ítems.
3.Secumplen los supuestos I(puntaje observado del test =
puntaje verdadero + error de medición),II (puntaje verdadero =
promedio de todos los puntajes observados al aplicar a una
persona el mismo testuna gran cantidad de veces) yIII
(correlación entre puntajes verdaderos y errores de medición es
igual a cero), de la teoría clásica de los tests.
4.Los puntajes verdaderos de los ítems difieren en una constante
(que puede ser nula)
5.Los errores de medición de los ítems son correlacionados
Kuder y Richardson o fórmula KR-20
Ejemplo: Prueba de rendimiento académico de 5 ítems
realizado en 9 alumnos
Vt = Vt = Vt =
Muy baja consistencia interna del instrumento
Σ(ítems positivos –promedio suma)2
Vt=
Nº encuestas -1
Mide que tan similaresson los puntajes asignados por
diferentes evaluadoresa un mismo fenómeno; para el caso en
que los evaluadores entrevistan a las personas.
–Para valores categóricos (cualitativos) Índice de Kappa y el porcentaje
de acuerdo.
–Para valores cuantitativos se utiliza el coeficiente de correlación intra
clase
Confiabilidad inter evaluador
de
Kappa negativo indica que no
hay concordancia entre las 2
evaluaciones
Valor observado
Valor esperado
Ejemplo con evaluaciones con mas de dos categorías
Tabla Valores
Observados
Tabla Valores
Esperados
Análisis factorial. Rotación varimax, oblimin directo, test de
esfericidad de Bartlett y prueba de Kaiser-Meyer-Olkin
Estadísticos de fiabilidad
.804 16
Alf a de
Cronbach
N de
elementos Comunalidades
1.000 .570
1.000 .824
1.000 .774
1.000 .688
1.000 .657
1.000 .852
1.000 .606
1.000 .573
1.000 .832
1.000 .677
1.000 .438
1.000 .677
1.000 .491
1.000 .832
1.000 .754
1.000 .775
Medidas para control
larvario
Medidas para control
mosquito adulto
Toma de muestra en fase
virémica
En que consiste
abatización
Definición caso probable
Exámenes laboratorio
prioritarios manejo
dengue
En que consiste prueba
de Lazo?
Trasmisibilidad del
dengue
Realización de toma de 1º
muestra
Realización de muestra
pareada
Tratamiento de dengue
Prev ención en escenario
epidemiologico I
Clasif icación de dengue
Sintomatología en
dengue
Tiempo de monitoreo en
dengue con signos de
alarma
Definición caso
confirmado
InicialExtracción
Método de extracción: Análisis de Componentes principales.
Varianza total explicada
3.691 23.071 23.071 3.691 23.071 23.071 2.563 16.020 16.020
2.256 14.103 37.174 2.256 14.103 37.174 2.452 15.328 31.348
2.052 12.825 49.999 2.052 12.825 49.999 2.216 13.848 45.195
1.668 10.428 60.427 1.668 10.428 60.427 2.051 12.818 58.013
1.354 8.460 68.887 1.354 8.460 68.887 1.740 10.874 68.887
.990 6.187 75.074
.820 5.123 80.197
.745 4.655 84.852
.565 3.530 88.382
.533 3.329 91.711
.413 2.582 94.293
.320 1.999 96.292
.254 1.589 97.881
.163 1.019 98.900
.113 .705 99.605
.063 .395 100.000
Componente
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
Total
% de la
varianza% acumulado Total
% de la
varianza% acumulado Total
% de la
varianza% acumulado
Autov alores iniciales
Sumas de las saturaciones al cuadrado
de la extracción
Suma de las saturaciones al cuadrado
de la rotación
Método de extracción: Análisis de Componentes principales.
Matriz de componentes
a
.622 .419 .086 -.015 .026
.373 -.240 .214 .687 -.329
-.044 .311 -.168 .805 .002
.495 .144 -.443 .089 .467
-.280 .295 .523 -.086 .460
.604 -.513 .295 .349 .122
.629 .265 -.082 -.216 .295
.478 .003 -.552 .015 .198
.615 -.434 .245 -.445 -.092
.634 -.147 -.175 -.186 -.433
.477 .299 -.103 .043 .330
.590 .235 -.299 -.174 -.393
.227 .227 .609 -.027 .129
.542 -.423 .568 .049 .185
-.016 .666 .375 -.219 -.349
.389 .675 .277 .222 -.205
Medidas para control
larvario
Medidas para control
mosquito adulto
Toma de muestra en fase
virémica
En que consiste
abatización
Definición caso probable
Exámenes laboratorio
prioritarios manejo
dengue
En que consiste prueba
de Lazo?
Trasmisibilidad del
dengue
Realización de toma de 1º
muestra
Realización de muestra
pareada
Tratamiento de dengue
Prev ención en escenario
epidemiologico I
Clasif icación de dengue
Sintomatología en
dengue
Tiempo de monitoreo en
dengue con signos de
alarma
Definición caso
confirmado
1 2 3 4 5
Componente
Método de extracción: Análisis de componentes principales.
5 componentes extraídosa.
Matriz de componentes rotados
a
.163 .497 .516 .175 .002
.646 -.146 .085 .305 .534
-.023 .111 .061 -.043 .870
.020 .806 -.147 .074 .109
-.015 -.013 .287 -.749 -.116
.891 .163 -.120 .110 .069
.115 .689 .249 .098 -.217
-.019 .636 -.225 .338 .049
.554 .110 .044 .337 -.631
.236 .165 .117 .732 -.210
.087 .626 .190 -.013 .052
-.053 .328 .306 .683 -.080
.340 .047 .517 -.302 -.121
.867 .091 .080 -.086 -.241
-.258 -.158 .810 -.010 -.081
.060 .209 .795 .091 .297
Medidas para control
larvario
Medidas para control
mosquito adulto
Toma de muestra en fase
virémica
En que consiste
abatización
Definición caso probable
Exámenes laboratorio
prioritarios manejo
dengue
En que consiste prueba
de Lazo?
Trasmisibilidad del
dengue
Realización de toma de 1º
muestra
Realización de muestra
pareada
Tratamiento de dengue
Prev ención en escenario
epidemiologico I
Clasif icación de dengue
Sintomatología en
dengue
Tiempo de monitoreo en
dengue con signos de
alarma
Definición caso
confirmado
1 2 3 4 5
Componente
Método de extracción: Análisis de componentes principales.
Método de rotación: Normalización Varimax con Kaiser.
La rotación ha convergido en 6 iteraciones.a.
Matriz de transformación de las componentes
.551 .622 .272 .474 -.110
-.534 .306 .734 -.145 .246
.548 -.398 .536 -.467 -.189
.322 -.032 -.080 -.068 .940
.083 .600 -.305 -.729 -.087
Componente
1
2
3
4
5
1 2 3 4 5
Método de extracción: Análisis de componentes principales.
Método de rotación: Normalización Varimax con Kaiser.
Estrategias para obtener Cooperación en los
Cuestionarios
•Asegurarelanonimatodelparticipante(usarcódigos,enlugarde
nombres).
•Ellugardelaentrevistadebeseragradable.
•Elmomentodelaentrevistadebeseradecuadoparael
participante.
•Elpropósitodelaentrevistadebequedarclaroparael
entrevistadoryelentrevistado.
•Debeestablecerseunabuenarelaciónentreelentrevistadoryel
entrevistadoantesqueiniciarlaentrevista.
•Ofrecerincentivosdeparticipación.
•Deofrecerincentivosdeparticipación,sedebencumplirconellos.
•Nosolicitarinformaciónmuypersonal.
•Asegurarquenadieutilicelainformaciónparaperjudicaraalguien.
•Respetarladecisióndenegacióndeserentrevistado.
FACTORES QUE PUEDEN AFECTAR
LA CONFIABILIDAD Y VALIDEZ
•1.-laimprovisación.Algunaspersonascreen
queelegiruninstrumentodemedicióno
desarrollarunoesalgoquepuedetomarsea
laligera.
•2.-instrumentosdesarrolladosenelextranjero
quenohansidovalidadosanuestrocontexto:
culturaytiempo
Si no haces las preguntas correctas, no
obtienes las respuestas correctas... El hacer
preguntas es el ABC del diagnostico. Sólo la
mente que cuestiona resuelve problemas.
-Edward Hodnett