VALIDEZ

Validez Se dice que un instrumento de evaluación es válido cuando evalúa lo que se pretende evaluar con él.

Como un instrumento es utilizado para apreciar ciertos logros de aprendizaje de un cierto grupo de alumnos en una cierta circunstancia y en un cierto momento de su proceso de aprendizaje (al inicio, en el transcurso o al final),

VALIDEZ

Desarrollaremos sintéticamente sus principales modalidades :Desarrollaremos sintéticamente sus principales modalidades :

La validez se refiere a la adecuacidad de la interpretación de los resultados para un grupo determinado de individuos.

La validez es una cuestión de grado. No existe en términos absolutos. No se puede decir que el cuestionario es válido o inválido. Aumenta o disminuye dependiendo de la calidad de la evidencia que la sustenta.

La validez se refiere siempre a un tipo de uso o interpretación específico

La validez es un concepto unitario. No se puede hablar de diferentes tipos de validez (contenido, constructo, criterio). Se habla más bien de un concepto –validez- y de diversos tipos de evidencia.

Para hablar de validez se requiere un juicio evaluativo comprensivo que dictamine si las interpretaciones y usos de los resultados se justifican con la evidencia producida.

CARACTERÍSTICAS DE LA VALIDEZ

CARACTERÍSTICAS DE LA VALIDEZ

VALIDEZ DE CONTENIDOVALIDEZ DE CONTENIDO

cuando representa una muestra significativa del universo de contenido cubierto por el curso o la unidad didáctica, la clase o una serie de clases.

La validez de contenido, por lo tanto, requiere que la selección de contenidos que se ha efectuado para construir el instrumento sea equivalente a la de cualquier otro conjunto de contenidos que se hubiera podido seleccionar con ese fin.

La validez de contenido, por lo tanto, requiere que la selección de contenidos que se ha efectuado para construir el instrumento sea equivalente a la de cualquier otro conjunto de contenidos que se hubiera podido seleccionar con ese fin.

VALIDEZ PREDICTIVAVALIDEZ PREDICTIVA

VALIDEZ DE CONSTRUCCIONVALIDEZ DE CONSTRUCCION

El programa de evaluación y cada uno de los instrumentos que lo integran deben estar construidos de acuerdo con los principios de la o las teorías didácticas que sostienen el proyecto pedagógico.

El programa de evaluación y cada uno de los instrumentos que lo integran deben estar construidos de acuerdo con los principios de la o las teorías didácticas que sostienen el proyecto pedagógico.

Formas de Establecer la Validez de Constructo

Prueba de la Hipótesis

se desarrollan hipótesis basadas en los fundamentos teóricos del instrumento y los hallazgos se usan para verificar que los conceptos teóricos sobre los cuales se basa el instrumento son correctos

Prueba de Validez

Convergente se encuentran otros instrumentos que midan el mismo constructo, se aplican y relacionan en una correlación de Pearson, si los resultados son iguales o similares se gana validez para el instrumento.Prueba de Validez

Divergente consiste en buscar instrumentos que midan el opuesto al constructo, se aplican y relacionan en una correlación de Pearson, si los resultados son diferentes se gana validez para el instrumento.

Prueba de Grupos de Contraste

consiste en seleccionar 2 grupos (uno alto en la variable y otro bajo),se analizan los hallazgos y deben evidenciar una diferencia significativa entre ambos grupos.

Análisis de factoresIndican al investigador las premisas del instrumento que miden el mismo constructo o dimensión del constructo.

Esta modalidad de la validez concierne a la relación que existe entre un programa de evaluación o un instrumento y otros programas o instrumentos de validez ya conocida. Cuando un programa o una prueba de evaluación son reemplazados por otros,

Esta modalidad de la validez concierne a la relación que existe entre un programa de evaluación o un instrumento y otros programas o instrumentos de validez ya conocida. Cuando un programa o una prueba de evaluación son reemplazados por otros,

VALIDEZ DE CONVERGENCIAVALIDEZ DE CONVERGENCIA

El significado de la evaluación es el que se mide en respuesta a la siguiente pregunta: ¿las tareas de la evaluación tienen significado para los estudiantes y los motivan para alcanzar su mejor rendimiento?

Validez de significado

Validez de retroacciónLa evaluación tiene un efecto de

retroacción sobre la enseñanza. Conocidos los contenidos y las técnicas empleadas en la evaluaciones, se convierten para los docentes en los modelos de lo que se debe enseñar y aprender. cuando esto ocurre el peligro es grande, pues el dominio de los aprendizajes es mucho mas amplio que el que se puede cubrir mediante la evaluación.

A. Validez Interna Pregunta si la variable

independiente es realmente la causa del cambio.

• Amenazas a la validez Interna

Historia

Maduración

Exposición a pruebas

Instrumentación

Mortalidad

“Bias” o prejuicios en selección de la muestra.

B. Validez Externa Evalúa la posibilidad de generalizar los hallazgos a

otras poblaciones.

A. Validez de Apariencia

Evaluación subjetiva de las premisas de un instrumento por parte de personas con poco o ningún conocimiento sobre la variable.

B. Validez de Contenido

Adecuacidad con que las aseveraciones del instrumento representan el área de contenido que se desea medir (revisión de literatura y evaluadores expertos)

C. Validez de Criterio Adecuacidad con que los

resultados obtenidos con el instrumento predicen o se relacionan con los resultados que se obtienen con otros instrumentos ya validados que miden una variable similar

Tipos de Validez de Criterio:

1.Validez Concurrente – grado de relación (correlación) entre 2 instrumentos diferentes que miden el mismo concepto y que se administran a la misma vez.

2. Validez Predictiva – grado de correlación entre un instrumento que mide el concepto y un evento que operacionaliza el mismo en el futuro.

Factores en el cuestionario •Instrucciones confusas •Vocabulario y sintaxis difícil •Ambigüedad en las preguntas •Límites de tiempo inadecuados •Ítems inadecuados a las especificaciones •Ítems mal construidos •Ítems mal ordenados •Cuestionario demasiado corto (no incluye una muestra adecuada del contenido) •Muy pocos ítems (Henerson, p.145)

Factores que afectan la validez

Factores en la administración Condiciones físicas o psicológicas adversas. Factores en las respuestas de los estudiantes Interpretación inadecuada de las preguntas

debido a factores personales. Disturbios emocionales. Tensión ante el cuestionario. Factores en los cuestionarios de actitud Pobre relación entre actitudes y comportamiento. Deseo de agradar.Poco entendimiento de sí mismo.Interés en sacar provecho de las respuestas.

CONFIABILIDAD

CONCEPTO Se refiere al grado en que

su aplicación repetida al mismo sujeto u objeto produce iguales resultados.

Se dice que un instrumento de evaluación es confiable cuando une exactitud en la medición y sensibilidad para la apreciación de la presencia y las diferencias de magnitud de rasgos que mide

¿Qué es?Por ejemplo, un instrumento para medir la inteligencia válido

debe medir la inteligencia y no la memoria.

:la capacidad del instrumento para proporcionar la misma medición en diferentes ocasiones.

: que también el instrumento mide la variable que se propone medir.

Por ejemplo, si yo midiera en este momento la temperatura ambiental mediante un termómetro y me indicara que hay 220C. Un minuto más tarde consultara otra vez y el

termómetro me indicara que hay 50C.

Confiabilidad

Validez

Métodos para determinar la Confiabilidad

Medida de estabilidadConsistencia internaMétodo de formas alternativas o paralelas

Con el mismo observadorDiferentes observadores

TIPOS DECONFIABILIDAD

En Relación

con el

Calificador

En Relación

al Contenido

de la Prueba

En el Curso

del Tiempo

En Relación con el CalificadorDos expertos califican los resultados

obtenidos por un grupo, luego calculan el Coeficiente de Correlación “producto momento” de Pearson (r), o el porcentaje de coincidencia entre ambos observadores.

Ejemplo: Cuestionarios con preguntas Abiertas

En el Curso del Tiempo

Inestabilidad Temporal de la Medición: El investigador obtiene valores diferentes

al aplicar el instrumento a la misma unidad de estudio en ocasiones diferentes

Se recomienda: Aplicar el instrumento dos veces a un

mismo grupo. Correlacionar los resultados.

En Relación al Contenido de la Prueba

Muestreo o selección de los ítems.

Variedad de contenidos que se desean medir.

Técnicas para el Cálculo de la ConfiabilidadCoeficiente de Correlación = Coeficiente de

Confiabilidad del InstrumentoCoeficiente de Correlación = Coeficiente de

Confiabilidad del InstrumentoValores: Cero (0) a Uno (1).

No puede ser NEGATIVO.

√Coeficiente de confiabilidad = Índice de Confiabilidad del instrumento

Técnicas para el Cálculo de la ConfiabilidadTest re-test o Medida de Estabilidad.

Test Paralelos o Método de Formas Alternativas.

División por Mitades o Mitades Partidas.

Coeficiente Alfa de Cronbach.Kuder – Richardson o Coeficiente KR-20.

Coeficiente

Correlación

EstratificarÍtemHipótesisVariable

TERMINOS

BÁSICOS

CoeficienteCoeficiente Valor relativo que se le atribuye a cada prueba o

examen. Relación o proporción entre una variable

significativa y cierta base arbitrariamente fijada dentro de un área espacial determinada y cierto período de tiempo convencional: Coeficientes de producción, de natalidad, de criminalidad, de

mortalidad, de divorcios.

Correlación:Correlación: Relación recíproca. -Medida de la asociación lineal entre dos

variables

Estratificar:Estratificar:

Conjunto de elementos que, con determinados caracteres comunes, se ha integrado con otros conjuntos previos o posteriores para la formación de una entidad o producto históricos, de una lengua.

LIMITACIONES de la Técnica de Test re-test o Medida de Estabilidad

El período de tiempo (corto o largo), entre las mediciones puede confundir la interpretación del Coeficiente de Confiabilidad obtenido mediante esta técnica.

Para que los resultados de un instrumento puedan ser interpretables; es decir, para que tengan significado y valor heurísticos, es necesario que los mismos sean confiables. No es posible determinar la relación entre dos o más variables si los instrumentos utilizados para medirlas son poco confiables. Este tipo de instrumentos, a menudo, inducen al investigador a interpretaciones erradas de sus resultados. Por ejemplo, un experimento educativo, en el cual se ha evaluado el efecto de una nueva estrategia instruccional, pudiera parecer poco efectivo, aun habiendo tenido un impacto altamente significativo en el aprendizaje de los alumnos, simplemente porque los instrumentos utilizados para medir las variables dependientes eran poco confiables.

Importancia de la Confiabilidad

FACTORES QUE PUEDEN AFECTAR LA CONFIABILIDAD Y LA VALIDEZ

La improvisaciónEl no estar validados en el contexto donde se

aplican. El instrumento e inadecuado o no es

empático. El cuarto factor lo constituyen las

condiciones en que se aplica el instrumento. El quinto factor se refiere a los aspectos

mecánicos.

FACTORES QUE PUEDEN AFECTAR LA CONFIABILIDAD Y LA VALIDEZ

a) La improvisación. Algunas personas creen que elegir un instrumento de medición o desarrollar uno es algo fácil y que no requiere de supervisión alguna. Para poder construir un instrumento se requiere conocer muy bien la variable que se pretende medir y la teoría que la sustenta.

b) El no estar validados en el contexto donde se aplican. Traducir un instrumento, aún cuando adaptemos los términos a nuestro lenguaje no es ni remotamente validarlo. Es simplemente un primer paso ya que validar un instrumento implica realizar una investigación extensa y compleja. Los grupos, las personas cambian y tienen valores diferentes de acuerdo a la cultura. Por lo tanto, se deben aplicar instrumentos ya validados en el contexto.

c) El instrumento es inadecuado o no es empático. Hay instrumentos que tienen un lenguaje muy elevado para el entrevistado o no toma en cuenta diferencias de sexo, edad nivel ocupacional y educativo; todo esto puede resultar en errores de validez y confiabilidad del instrumento de medición

d) Las condiciones en que se aplica el instrumento. El ruido, presionar para que una persona conteste un instrumento largo en un período de tiempo corto, el hambre o falta de motivación para responder influirá negativamente en la validez y confiabilidad de la medida.

e) Los aspectos mecánicos. Que el instrumento tenga instrucciones precisas, que se lea bien (si se trata de un cuestionario escrito), que no le falten páginas, que haya un espacio adecuado para contestar.