curso tutor de teleformación -...
TRANSCRIPT
EVALUACIÓN EN TELEFORMACIÓN
MÓDULO 5
Curso Tutor de Teleformación
OBJETIVOS DEL MÓDULO
Diseñar y realizar las evaluaciones en función de los objetivos del curso, y haciendo uso de todas las posibilidades quelas herramientas nos ofrezcan, tanto en autoevaluaciones, evaluaciones teóricas, como prácticas.
UNIDADES DIDÁCTICAS DEL MÓDULO 5
5.1. Selección de los instrumentos de evaluación en teleformación.5.2. Desarrollo de pruebas de evaluación cerradas para teleformación.5.3. Desarrollo de pruebas de evaluación abiertas para teleformación.5.4. La evaluación de actitudes en teleformación.5.5. La evaluación de la calidad de la teleformación.
Resumen del Módulo 4
Bibliografía del Módulo 4
EVALUACIÓN EN TELEFORMACIÓNMÓDULO 5
© Todos los derechos reservados. Prohibida su reproducción total y parcial
EVALUACIÓN EN TELEFORMACIÓN
UD. 5.1. Selección de los instrumentos de evaluación en teleformación
MÓDULO 5
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN �
OBJETIVOS DE LA UNIDAD: · Distinguir correctamente las distintos tipos de evaluación· Establecer las diferencias entre medición y evaluación.· Diferenciar la evaluación con referencia a norma y criterio.· Determinar las condiciones para que la evaluación sea objetiva· Seleccionar adecuadamente instrumentos de evaluación en función de los objetivos a cumplir
CONTENIDOS:
5.1.1 Introducción
5.1.2 Diferencias entre medición y evaluación
5.1.3 Conceptos de “Norma y Criterio”.
5.1.4 Principios y funciones de la evaluación:5.1.4.1 Objeto de la evaluación5.1.4.2 Principios básicos de la evaluación5.1.4.3 Funciones de la evaluación
5.1.5 Enfoques y tipos de evaluación:5.1.5.1 Elección de los modelos evaluativos5.1.5.2 Tipos de evaluación
5.1.6 Evaluación objetiva vs evaluación subjetiva
5.1.7 Técnicas e instrumentos de evaluación según tipo de aprendizaje y objetivos
5.1.7.1 Requisitos de los instrumentos de evaluación:5.1.7.2 Pruebas de evaluación en e-learning.5.1.7.3 Los Criterios e Indicadores de Evaluación
5.1.8 La evaluación en teleformación, ventajas, inconvenientes y posibles aplicaciones
5.1.9 El Fraude y la suplantación
5.1.10 Conclusiones
Mapa Conceptual Módulo 5, Unidad 5.1
UD. 5.1. Selección de los instrumentos de evaluación en teleformación
unidades a las que están asociados.
4. Para obtener la acreditación de las unidades de competencia, será necesario superar con evaluación positiva, en términos de apto o no apto, los módulos formativos a cada una de ellas.
5. El centro que imparta los módulos formativos co-rrespondientes a certificados de profesionalidad, de-berá entregar, en un plazo no superior a tres meses, el acta de evaluación y de los documentos donde se reflejen los resultados de la misma al Registro de las Administraciones laborales al que se refiere el artícu-lo 16, que será el responsable de su custodia.
El concepto de evaluación ha ido modificándose a tra-vés de los tiempos. A finales de los años 60 se tenía un enfoque experimental, poniendo un especial énfasis en la precisión de la medición y en la aplicación de prue-bas empíricas para comprobar hipótesis. Se aplicaban modelos cuasi experimentales en las investigaciones sociales para captar la relación causal entre los pro-yectos y sus resultados. A partir de los años 70 y hasta nuestros días, otros métodos y técnicas basados en la historia, etnografía, semiótica, antropología y so-ciología han tomado cuerpo y fuerza en los procesos evaluativos.
Se han introducido cambios en 4 áreas funda-mentales:
· Lo ético democrático; participación de todos los implicados.· El enfoque; recogiendo procesos además de productos.· Lo conceptual; teniendo en cuenta los imprevis-tos a lo largo del proceso formativo.· Lo metodológico; transición al pluralismo meto-dológico desde la rigidez formal.
5.1.2. DifErEnciaS EntrE mEDición y EvaLua-ción
Para situar en contexto el término “evaluación”, debe-mos distinguir previamente entre diferentes términos relacionados y utilizados de forma frecuente en For-mación.
medir: es el proceso de comparar para determinar el grado o la amplitud de alguna característica asociada a una persona u objeto.
· Medir implica hacer pruebas, aplicar exámenes, revisar resultados para obtener una calificación.· Los datos de las mediciones nos indican cuanto sabe el alumno. El qué sabe, cómo lo sabe y por qué lo ha aprendido nos lo dice la evaluación.
Evaluar: acto de comparar una medida con un es-tándar y emitir un juicio basado en la comparación. Su objetivo es la valoración del programa formativo en su totalidad; es una actividad sistemática integrada en el programa formativo, cuya finalidad es mejorar la misma mediante el conocimiento, lo más exacto po-sible, del alumnado y del proceso educativo, teniendo en cuenta los factores personales y ambientales que inciden en el mismo.
· La evaluación es un proceso continuo de recopila-ción e interpretación de la información para valorar las decisiones tomadas en el diseño de la acción formativa.· La evaluación empieza antes del curso y termina al final de éste.· El proceso de evaluación no deja nada al azar, está dirigida hacia la meta de mejorar la formación.· La evaluación precisa de métodos de medición exactos y adecuados para recoger la información.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN�
5.1.1 introDucción.
En este módulo vamos a estudiar los diferentes tipos de evaluación, el establecimiento de criterios, selec-ción y creación de herramientas; todo ello enfocado a evaluar de forma competente nuestro trabajo y el aprendizaje de los alumnos, siempre de acuerdo con los objetivos formulados.
En el BOE n.27 de 31/1/2008, Real decreto 34/2008, de 18 de enero, por el que se regulan los certificados de profesionalidad, en su artículo 14 sobre la evaluación del aprendizaje, dice:
1. La evaluación del alumno se realizará de forma sistemática y continua, con objeto de comprobar los resultados del aprendizaje y en consecuencia, la adquisición de las competencias profesionales.
2. Esta evaluación será realizada por los for-madores que impartan las acciones formati-vas, a través de métodos e instrumentos que garanticen la fiabilidad y validez de la misma, tomando como referencia las capacidades y criterios de evaluación establecidos para cada uno de los módulos formativos asociados a sus correspondientes unidades de competencia.
3. Los formadores reflejarán documentalmente los resultados obtenidos por los alumnos en cada uno de los módulos formativos del certificado, de mane-ra que puedan estar disponibles en los procesos de seguimiento y control de la calidad de las acciones formativas; asimismo elaborarán un acta de evalua-ción en la que quedará constancia de los resultados obtenidos por los alumnos, indicando si han adqui-rido o no las capacidades de los módulos formativos y por lo tanto la competencia profesional de las
Introducimos un nuevo concepto, “assessment” (evaluación en inglés), entendido como proceso me-diante el cual es recopilada la información a través de múltiples actividades en el entorno donde se desarro-lla la acción, con el propósito de dar seguimiento al aprendizaje y así poder mantener sus niveles óptimos de calidad durante el proceso educativo.
Se efectúa a través de actividades variadas que requie-ren múltiples técnicas e instrumentos para valorar la calidad de desempeño de los participantes.
Niremberg, Brawerman y Ruiz, definen a la eva-luación como “...la actividad programada de reflexión sobre la acción, basada en procedi-mientos sistemáticos de recolección, análisis e interpretación de información, con la finalidad de emitir juicios valorativos fundamentados y comunicables sobre las actividades, resultados e impactos de esos proyectos o programas y formular recomendaciones para tomar de-cisiones que del instrumento se opone a la subjetividad del experto”.
UD. 5.1. Selección de los instrumentos de evaluación en teleformación
5.1.3. concEptoS DE “norma y critErio”
Para establecer un juicio de valor en la evaluación, se deben comparar los datos obtenidos con un patrón, instancia o criterio de referencia que se haya definido previamente.
Un criterio es una norma para juzgar algo. Es el soporte de la valoración y ayuda a reducir la subjetividad del tutor. Los datos se recogen a través de pruebas, test, ensayos, casos, etc. Es necesario siempre y depende de los objetivos formulados en la programación.
El conjunto de criterios de evaluación guían y coordi-nan a los tutores en su hacer docente.
Evaluación con referencia a la normaSe comparan los datos de realización de un partici-pante con los de los demás; las pruebas de evaluación van a ser la base y el instrumento que permite clasificar a los alumnos en función de aptitudes, actitudes y rendimiento. Esto influirá en la calificación del alumno, puesto que deberá ajustarse a la “normalidad” del grupo. Es un procedimiento que puede cuestionarse ya que no se está evaluando si el aprendizaje del alumno es el ideal, sino que se está comparando a un grupo de referencia. En función del estudio de diversidad de grupo, se debe decidir si procede evaluar respecto a la norma.
Evaluación con referencia al criterioSe compara la realización del alumno con la previa-mente establecida objetivamente y por medio del razonamiento. Es la manera más adecuada de evaluar en el caso que nos ocupa, ya que se centra en el logro de objetivos a partir de la situación inicial del alumno.
Criterios que dirigirán la evaluación:1. Participación de todos los agentes que intervienen en la evaluación (equipo interdisciplinar)2. Tener en cuenta todas las variantes que puedan influir en el aprendizaje a evaluar y en el alumno.3. Tener en cuenta el contexto del aprendizaje y de la evaluación.4. Adecuación de la evaluación a las circunstancias que se presenten.5. La evaluación debe ser parte del proceso forma-tivo y no un hecho aislado.6. Adaptación de las sesiones formativas a los resul-tados obtenidos en las acciones evaluadoras.7. Potenciar la autoevaluación; el alumno debe opi-nar y conocer el estado de sus progresos.8. Feed-back entre el alumno y el tutor.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN 5
medir no es Evaluar.
Evaluar es recoger información de diferentes tipos.
Evaluar es realizar una observación y descripción de la realidad.
Para evaluar es necesario aprender a utilizar múlti-ples fuentes y elaborar instrumentos que permitan evaluar globalmente el desempeño del alumno.
La evaluación en formación debe recoger la singu-laridad de las situaciones concretas, las caracte-rísticas particulares que definen una situación que pueden considerarse responsables del curso de los acontecimientos y de los productos de la vida del aula/plataforma. Los estudios sobre procesos han de registrar los sucesos de su evolución, de su estado de progreso, observar e indagar los juicios, interpretaciones y perspectivas de los participantes.
5.1.4. principioS y funcionES DE La EvaLua-ción:
5.1.4.1. objEto DE La EvaLuación:
· El rendimiento de los alumnos durante y al final del proceso. ¿A qué nivel de interiorización del apren-dizaje ha llegado el alumno?, ¿Cuánta información y cómo la utiliza?, ¿Qué unidades de competencia ha adquirido?, ¿Puede emprender aprendizajes su-periores?...· El proceso en sí mismo, métodos, técnicas y re-cursos. ¿Han servido para lograr los objetivos del curso?...· El diseño, la implementación y los responsables del programa educativo. ¿Ha sido adecuado?...· Materiales y recursos didácticos, económicos…
5.1.4.2. principioS báSicoS DE La EvaLua-ción:
A continuación se detallan algunos principios base que debe cumplir la “evaluación” en una acción formativa:
1. Debe ser continua, progresiva y sistemática.
UD. 5.1. Selección de los instrumentos de evaluación en teleformación
2. No será un fin en sí misma, sino un medio para comprobar aprendizajes.3. Se tendrán en cuenta las diferencias individuales dentro de un grupo.4. Se definirán los objetivos de la evaluación antes de empezar la acción.5. Se organizará en el tiempo su aplicación.6. Se ajustará al alumnado, atendiendo a lo indivi-dual y social.7. Se evaluarán tanto aspectos cuantitativos como cualitativos de los procesos de aprendizaje.
5.1.4.3. funcionES DE La EvaLuación:
La evaluación formativa cumple una serie de funciones en formación:
funciones globales:· función diagnóstica: evaluación de los com-ponentes de la estructura, proceso y producto edu-cativo; constituye la base para adaptar el programa formativo a las necesidades detectadas.
· función predictiva: en base a la situación ini-cial del alumno, del rendimiento previo demostrado, de sus posibilidades y de sus actitudes, se podrán predecir rendimientos y posibilidades futuras del alumno. También puede servir para seleccionar a los alumnos que harán el curso de una forma jus-tificada.
· función orientadora: los datos obtenidos serán la base para la orientación personal, académica y profesional del alumno.· función de control: se controla el progreso educativo; va unida a las funciones ya citadas.
Funciones específicas:para el tutor:· Permite comprobar si se han conseguido los obje-tivos de aprendizaje.· Permite analizar las deficiencias encontradas.· Es una herramienta para la formulación de ob-jetivos nuevos y en la elección metodológica y de estrategias, en función de los problemas surgidos.· Los datos permiten la reflexión crítica de las si-tuaciones.
para el alumno:· Da feed-back en relación a su comportamiento en un determinado contexto.· Favorece el aprendizaje y potencia su satisfacción y motivación. Para que sea motivadora la evalua-ción, se pondrá especial cuidado en la manera de plantearla; si se hace desde una situación de poder, ello podría desanimar al alumno y potenciar sus miedos.· El alumno sabe que está aprendiendo y cómo lo está aprendiendo.
para el centro o empresa:· Retroalimenta futuras programaciones.· Potencia la mejora continua.· Permite la adaptación a la demanda socio-labo-ral.· Es un instrumento para la selección de futuros docentes.
para la administración:· Feed-back sobre adecuación del plan formativo.· Mejora de futuros planes.· La evaluación de rentabilidad social aporta in-formación sobre repercusiones sociales, cultura y actores implicados.· La evaluación de rentabilidad económica da infor-
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN�
Grupo de controlConjunto de personas tomadas como referencia en un experimento a fin de brindar una observación que pueda cotejarse con la conducta del grupo experi-mental, que es el que se quiere estudiar.
mación sobre gastos y beneficios de las acciones.· La evaluación de eficacia técnica proporciona datos sobre aspectos pedagógicos, operativos, de planificación y resultados de la formación.· Posibilita la comprobación de los aspectos legales que intervienen en las acciones formativas.
UD. 5.1. Selección de los instrumentos de evaluación en teleformación
zados y la observación sistemática.
· modelo cualitativo. Se centra en comprender las concepciones implícitas de las conductas manifiestas.
· El análisis de los procesos, resultados e impacto de la acción es más completo que en el modelo anterior.· Además de los objetivos de aprendizaje, se consi-deran las necesidades y valores sociales.· Se utilizan las técnicas de entrevista, el estudio de casos, los informes, cuestionarios, etc.
Diferencias entre los dos grandes enfoques:
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN �
funcionES DE La EvaLuación
cuantitativo, paraDiGma poSitiviSta cuaLitativo, paraDiGma aLtErnativo
Entiende la evaluación como objetiva, los instrumentos que utiliza son propios de las Ciencias experimentales, válidos y fiables.
Cuantifica la información que consigue, usando metodología estadística.
El producto de la evaluación es el único dato valioso de análisis.
Necesita de un diseño estructurado donde se controlen todas las variables.
No tiene en cuenta las diferencias individuales.
No entra en juego la subjetividad del tutor–formador. Es una evaluación objetiva, siguiendo parámetros establecidos a priori.
Entiende la evaluación como recurso para analizar los procesos complejos, tanto
explícitos como implícitos.
Interpreta las situaciones atendiendo a la singularidad en contextos múltiples.
Todos los datos recogidos en la evaluación tienen valor analítico.
Utiliza una metodología sensible a las diferencias personales, acontecimientos imprevisibles y
posibilidades de cambio.
Valora las opiniones, intereses y aspiraciones fundadas en diversas ideologías, tantas como par-
ticipantes de la acción.
La subjetividad del tutor se encuentra presente en los procesos de evaluación
5.1.5. EnfoquES y tipoS DE EvaLuación:
Existen dos modelos predominantes sobre la evalua-ción:
· modelo cuantitativo.Concentrado en la búsqueda de información mediante medios e instrumentos objetivos; basado en hallar las diferencias de las medias entre el grupo de control y el experimental, ignorando las diferencias individuales y los procesos.
· El modelo se centra en la búsqueda de hechos y causas.· Es el modelo base en el uso de los test estandari-
GLOBALES ESPECÍFICAS
Diagnóstica
Predictiva
Orientadora
De control
Para el tutor
Para el alumno
Para el centro o empresa
Para la administración
UD. 5.1. Selección de los instrumentos de evaluación en teleformación
Según el momento en que se realiza la evalua-ción utilizaremos unos tipos de evaluación u otros:
a) Evaluación inicial o diagnóstica. Se realiza al comienzo del proceso formativo. Forma parte de la toma de contacto con el curso y el objetivo que persigue es conocer las capacidades, intereses, necesidades y expectativas del alumno, que servirán de guía para adecuar la programación.
El producto resultante es un diagnóstico de la situación basado en:
· Estudio de necesidades· Estudio de diversidad· Estudio del conocimiento previo del alumno· Nivel cognitivo del alumno
En base a estos datos, se establece la forma y el grado de profundidad con la que se tratarán los objetivos de aprendizaje. Para este tipo de evaluación, resultan muy útiles de-terminados instrumentos como: cuestionarios, breves exposiciones de los alumnos acerca de algún tema determinado, pruebas estructuradas, etc. (Ver módulo 3, Unidad 1 sobre detección de necesidades)
b) Evaluación formativa o continua. Denominada así por Scriven, en la evaluación continua se evalúa el progreso educativo paulatinamente y se determina el grado en el que se consiguen los obje-tivos específicos, permitiendo el diagnóstico de las deficiencias del proceso educativo y las dificultades en el aprendizaje. Ello permite retroalimentar el proceso y buscar las estrategias de mejora que garanticen el éxito de la formación. La evaluación continua:
· Forma parte del desarrollo de la acción.
· Tiene carácter dinámico, ofrece feed-back con-tinuo. · Su principal función es dar cuenta de un aprendi-zaje significativo.· Supone reconocer la diversidad. · Tiene una función reguladora del proceso. · Se deben establecer previamente las técnicas e instrumentos a utilizar y el modo de interpretar la in-formación, así como el camino a seguir para realizar las adaptaciones necesarias durante el proceso.
c) Evaluación final. Síntesis de los datos recogidos durante todo el proce-so; además de ser una valoración general, completa y final del proceso, es también una estimación de la relación cantidad-calidad de los conocimientos, pro-cedimientos y actitudes adquiridos al finalizar la acción formativa. Se valoran también las posibilidades futuras del alumno actuando como pronóstico. Los éxitos y fracasos no deben ser atribuidos sólo al alumno, te-niendo en cuenta variables como: la forma de ense-ñanza, el tiempo asignado, contexto… ; en definitiva, es la evaluación que conduce a la acreditación aunque no se queda en ella y que también permite comparar diferentes grupos.
d) Evaluación Sumativa.Es la evaluación que se establece al final del proceso y se valora teniendo en cuenta los resultados que el alumno va obteniendo en el proceso. El fin último es establecer niveles o clasificaciones del alumno res-pecto de sus compañeros; tiene carácter selectivo y sitúa al alumno en niveles de eficacia según una escala numérica o en un “apto o no apto”. En este tipo de evaluación, se situaría el examen “tradicional” tal y como lo entendemos.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN�
5.1.5.1. ELEcción DE LoS moDELoS EvaLua-tivoS
Siguiendo a Niremberg, Brawerman y Ruiz, diremos que” la evaluación cuantitativa se dedica a medir, mientras que la cualitativa a apreciar la situación”.Si lo que se pretende es que el proceso de evaluación nos permita crear hipótesis acerca de los aspectos positivos o negativos encontrados en el proceso, de-beremos considerar ambos enfoques como comple-mentarios.
El modelo cuantitativo resulta imprescindible cuando tenemos que gestionar un volumen grande de datos. Permite realizar comparaciones y operaciones estadísticas que dan las pautas globales del funciona-miento del proyecto.
El modelo cualitativo requiere de profundización y estudio sobre partes más pequeñas, ya que se pre-tende sacar la mayor información posible sobre las variables intervinientes.
Como en otras muchas situaciones, la combinación de ambos modelos puede ayudar a solventar los proble-mas que uno y otro presentan y aprovechar sus virtu-des. Será interesante la recogida de datos de los dos tipos, cuantitativos y cualitativos acerca del aprendi-zaje de los contenidos mediante: pruebas, actividades, observación de los alumnos, seguimiento de la tarea, apreciación de las intervenciones en la acción, etc.
5.1.5.2. tipoS DE EvaLuación
Recordando lo visto en la unidad 5 del módulo 3 y am-pliando la información, nos encontramos con distintos tipos de evaluación:
Según la referencia tomada:
a) Evaluación por criterios. Cada uno de los objetivos operativos formulados va ligado a un criterio o resultado esperado. Es la evalua-ción en función de los criterios diseñados en el proceso de programación de la acción formativa.
b) Evaluación normativa. La evaluación se establece dependiendo de la norma estadística; es decir, comparando al alumno con el grupo o con una muestra más amplia de referencia. En Formación para el Empleo, este tipo de evaluación no adquiere especial sentido, ya que la programación es mucho más específica que en otro tipo de formación.
Según objetividad–subjetividad en la evalua-ción:
a) Evaluación cuantitativa u objetiva. Este tipo de evaluación se guía por el rigor, la exactitud y la objetividad en la medición. No deja entrada a la subjetividad. Es la evaluación que se mide a través de pruebas cerradas, como las de tipo test.
b) Evaluación cualitativa o Subjetiva. En este tipo de evaluación se miden una multitud de factores y se recoge una gran cantidad de información. Da información muy rica y variada pero no tiene el rigor de la evaluación objetiva. Aquí entra la subjetividad del tutor. Lo más interesante es combinar la evaluación cualitativa con la cuantitativa para evitar los sesgos provenientes de los prejuicios y subjetividad del tutor –docente.otros criterios:
a) autoevaluación. Valoración que hace el propio alumno de sus logros.
UD. 5.1. Selección de los instrumentos de evaluación en teleformación
Muy frecuentemente utilizada en teleformación y pre-sente en la mayor parte de los contenidos adaptados para e-learning. Intenta paliar la falta de feed-back inmediato por parte del docente cuando el alumno está solo con los contenidos como referencia, ya que refuerza y ofrece información sobre el progreso del alumno. Estará en función del criterio docente que dichas autoevaluaciones sirvan como criterios para la evaluación final o no.
b) Evaluación mixta. El docente y el alumno valoran conjuntamente la ac-ción y los resultados de la misma. El alumno emite sus juicios de valor sobre la actuación del tutor. Este tipo de evaluación se debe aceptar y reorientar según se estime conveniente.
5.1.6. EvaLuación objEtiva vS EvaLuación SubjEtiva
Hemos visto en la definición de evaluación que ésta se trata de un proceso que nos permite emitir juicios de valor y tomar decisiones.
Los humanos somos eminentemente subjetivos ya que nuestras percepciones influyen en nuestro comporta-miento, y cómo no, en la evaluación de los alumnos. Hemos visto que una evaluación cuantitativa sólo va a medir parte de los objetivos que nos planteemos, que-dando muchos factores fuera del proceso. Por tanto, si queremos tener en cuenta todos los elementos de for-ma global, debemos ser conscientes de cómo nuestra subjetividad va a entrar en juego en todo el proceso y, específicamente en la parte de evaluación.
Teniendo en cuenta estos factores subjetivos, el do-cente debe asumirlos y por tanto establecer las estra-tegias más adecuadas para combatirlos.
Identificaremos subjetividad cuando observemos en el juicio de valor:
· Tendencia a la generalización de resultados y a extrapolar conclusiones aisladas a todo el grupo.· Justificación de juicios fuera del análisis y la dis-cusión.· Aplicación de estereotipos sociales.· Implicación personal excesiva, pasando la barrera de mediador; si nos implicamos excesivamente en el trabajo de los alumnos, disminuimos la objetividad de nuestro juicio.· Utilización de la primera impresión que nos ha dado el alumno, ya que se crean falsas expectativas que influyen en la objetividad de la medición.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN �
Modelo de Michael Scriven (1967). A este autor se le deben aportaciones tan interesantes como las de distinguir entre lo que son objetivos de la evalua-ción y el para qué de la misma. También se le debe la diferenciación entre la evaluación sumativa y la formativa.
Víctor García Hoz, en su libro Problemas y Métodos de Investigación en Educación Personalizada. Publi-cado en 1994 Ediciones Rialp, ISBN:8432130451
La evaluación objetiva es aquella en la que no influ-ye ningún factor ajeno a las características de aquello que se pretende evaluar.
Para potenciar la objetividad el docente debe:· Ser estable emocionalmente (Que su estado no influya sobre la evaluación)· Ser observador. Estar atento a todas las conduc-tas que se den.· Tener capacidad de análisis y de separar los he-chos.· Tener establecidos a priori los criterios sobre los cuales se va a evaluar e informar de ello a los alumnos.
1. pruebas objetivas:
Son frecuentemente utilizadas en e-learning, por su sencillez y rapidez en la corrección de las mismas y por permitir la autoevaluación del alumno a través de preguntas que va arrojando el sistema.
• Las pruebas objetivas son idóneas para:· Medir el recuerdo de la información· Distinguir hechos y opiniones· Reconocer reglas, generalizaciones, principios· Comprobar la interpretación correcta y la asocia-ción de conceptos
• Miden mal los procesos cognitivos complejos:· Capacidad de análisis· Aplicación de criterios propios· Desarrollo de ideas propias
• Para su construcción se requiere:· Medir datos relevantes.· Evitar las generalizaciones o extensiones exce-sivas.
UD. 5.1. Selección de los instrumentos de evaluación en teleformación
· Enunciar los ítems siempre con proposiciones afir-mativas.· Evitar las palabras trampa.· Utilizar la misma afirmación base para todas las opciones.· Evitar dar “pistas” sobre la respuesta correcta.
Para intentar aliviar la subjetividad en la valoración, será necesario definir criterios previos, además de los propios resultados, como:
• Originalidad• Relevancia• Organización de la información• Uso de la terminología• Coherencia y claridad• Otros
En los procesos de evaluación, en ocasiones puede aparecer sensación de malestar o dudas en el tutor, sobre la objetividad de la valoración realizada; esta sensación será más incomoda cuanto mayor impor-tancia tenga para el alumno el resultado de nuestro juicio. Cuando esto ocurra, se debe analizar la decisión tomada exhaustivamente, comprobando que la misma es correcta y fundamentada, o lo que es lo mismo, fundamentada en criterios objetivos.
5.1.7. técnicaS E inStrumEntoS DE EvaLua-ción SEGún tipo DE aprEnDizajE y objEti-voS
La elección de las técnicas e instrumentos de evalua-ción, así como la fiabilidad y validez de las mismas, determinarán o estarán determinadas por la metodo-logía utilizada.
El primer paso para el desarrollo de las pruebas de evaluación es diferenciar los dominios donde se sitúan los contenidos formativos, que, como sabemos, son tres: cognitivo, afectivo y psicomotor.Recordamos que:
“El objetivo es aquello que se pretende alcanzar al término de un proceso completo de actividad”
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN10
pruEbaS objEtivaS
Numerosas preguntas breves, con respuesta
breve.
caractErÍSticaS
Las respuestas correctas están determinadas
El procedimiento de evaluación está determinado
Sistematización de las preguntas
Estandarización
conDicionES
Validez
Fiabilidad
Poder de discriminación
2. pruebas de elaboración o desempeño (tienen un componente subjetivo que debemos con-trolar):
Son las pruebas idóneas para evaluar:• Presentación de proyectos.• Producciones personales.• Redacción de informes, monografías y ensayos.• Proyectos colaborativos.• Analizar casos o resolver problemas.• Crear productos.• Capacidad de análisis
La interpretación de los resultados de estas pruebas es subjetiva, ya que es el tutor quien valora las mismas.
Los objetivos operativos son aquéllos que expresan de manera concreta, observable y evaluable las conductas que deben conseguir los alumnos. Éstos deben ser:
· concretos. Debe expresar concretamente lo que quiere lograrse, sin generalizaciones.· unívocos. No da lugar a interpretaciones di-versas· Evaluables. Prever la forma de saber si se ha conseguido o no el objetivo.· alcanzables. Debemos ser realistas en la formu-lación de objetivos, teniendo en cuenta la realidad de partida.· motivadores. Deben ser alcanzables, pero sin dejar de ser un reto a conseguir.
Estos objetivos son los más próximos al ámbito didác-tico, aquellos que el formador debe establecer para llegar a conseguir los objetivos generales.
Es a la hora de estructurar las sesiones e-learning, cuando el docente se va a encontrar con el momento de formular objetivos operativos que le lleven a conse-guir los más generales.
Para ello será fundamental no sólo tener en mente las taxonomías y una lista de verbos a utilizar, sino seguir una serie de pasos básicos:
· Identificar la conducta que se persigue en el ob-jetivo.· Establecer la conducta observable.· Establecer las condiciones bajo las que se tiene que dar dicha conducta.· Establecer el criterio de ejecución y de eva-luación.
Para realizar los anteriores pasos, será necesario tener muy clara la conducta que perseguimos y buscar el verbo que identifique esa conducta observable. Ello implica que conductas que se persigan que no sean
UD. 5.1. Selección de los instrumentos de evaluación en teleformación
observables, tendremos que utilizar el verbo e identifi-car la conducta a través de la cual podamos medirla.Hay una serie de normas básicas para formular obje-tivos operativos:
· Redactar el verbo en infinitivo.· Un solo verbo por objetivo.· Ser concreto y obviar las introducciones en la redacción.· Redactar las condiciones bajo las que se tienen que dar las conductas (mediante participios, prepo-siciones, gerundios, etc)· Redactar el criterio de ejecución al final.
Un buen objetivo seguirá el siguiente esquema:
conDucta objEtivo + conDicionES + critErio DE EjEcución
Para garantizar que realmente se están evaluando los objetivos de aprendizaje establecidos, ayudará el es-tablecer un procedimiento base que se detalla a con-tinuación:
1. Redactar los objetivos operativos.2. Organizarlos según tipo de conducta perseguida y nivel taxonómico.3. Establecer los comportamientos que se van a evaluar.4. Establecer cuáles van a ser las condiciones y los criterios de evaluación.5. Seleccionar la metodología y su aplicación.6. Determinar los medios técnicos que se van a utilizar7. Aplicar las evaluaciones.8. Comparar los datos obtenidos con los objetivos formativos.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN 11
revista electrónica de investigación y Evalua-ción Educativahttp://www.uv.es/RELIEVE/v1/RELIEVEv1n0.htm
Podemos definir Criterios de evaluación como “aquellas conductas que se deben cumplir en el pro-ceso formativo para garantizar que se han cumplido los objetivos definidos en la acción formativa”Podemos definir los Indicadores de Evaluación como “datos empíricos recogidos de forma sistémica y que permiten evaluar los sucesos del proceso en función de si se están cumpliendo o no, o en qué medida, los criterios de evaluación definidos”.
5.1.7.1 rEquiSitoS DE LoS inStrumEntoS DE EvaLuación:
Para que los instrumentos de evaluación escogidos para evaluar una actividad sean eficaces y en la medi-da de lo posible, objetivos, deben cumplir una serie de requisitos que a continuación se detallan:
1. objetividad: el resultado no depende de la persona que lo aplica.2. Confiabilidad: sea cual sea su origen y ocasio-nes donde se aplique dará resultados estables.3. validez: que realmente mida lo que se pretende evaluar.4. Discriminación: que realmente diferencie los niveles de desempeño de los alumnos.5. Dificultad: un mínimo porcentaje de alumnos deben poder resolverlas favorablemente.6. adecuación temporal según la programación establecida.7. representatividad: que indiquen en qué grado se han logrado los objetivos.8. adecuación a los contenidos.9. Eficacia y funcionalidad.
5.1.7.2 pruEbaS DE EvaLuación En E-LEar-ninG
Podemos distinguir los siguientes tipos de pruebas en teleformación:
a) pruebas objetivas y de respuesta cerrada:Selección múltiple, verdadero–falso, ítems para rela-cionar, completar o llenar blancos, ordenar, asociar, etc. La mayoría de las plataformas e-learning permiten diseñar este tipo de pruebas, ofreciendo corrección informática e inmediata. También existen diferentes aplicativos externos, comerciales o de código abierto,
UD. 5.1. Selección de los instrumentos de evaluación en teleformación
diseñados expresamente para estos fines. La dificultad en este tipo de pruebas objetivas no está en la correc-ción, sino en el diseño de las mismas; hay que ser muy cuidadoso en su elaboración y valorar lo que se puede medir y evaluar a través de ellas.
b) Las pruebas abiertas:No tienen respuestas predeterminadas, por lo que el tutor será quien evaluará el desarrollo del trabajo del alumno y su resultado.
La selección de unos instrumentos u otros dependerá, sobre todo, de los objetivos que se persigan, pero también hay que tener en cuenta criterios económicos que se nos darán desde los responsables educativos.Para seleccionar el instrumento idóneo, sea cual sea la naturaleza de la actividad, nos fijaremos en tres gran-des grupos de razones:
1. Los contenidos2. La metodología- aspectos técnicos3. Los recursos económicos disponibles.
1. contenidos.
A modo de recordatorio diremos que siempre tenemos que adecuarnos a los objetivos de aprendizaje; a la hora de seleccionar el instrumento evaluador nos preguntaremos ¿Qué se va a evaluar?, ¿Qué tipo de información estamos trabajando?, ¿Cuál es la mejor oferta técnica disponible?.También tendremos en cuenta si evaluamos cono-cimientos propios del curso y que están en los con-tenidos o evaluamos producciones personales como opiniones, preferencias, etc.
2. metodología- aspectos técnicos.
Nos fijaremos en la consistencia de los resultados, precisión o fiabilidad o validez de la prueba, en la obje-tividad de la medición y en la jerarquía de los conceptos que evaluamos o representatividad del instrumento o método para la evaluación del objetivo pretendido, de manera que, la prueba en cuestión, mida los objetivos establecidos.
3. recursos económicos disponibles:
Siempre procuraremos utilizar herramientas, instru-mentos y métodos que nos permitan evaluar de forma efectiva con el menor coste posible.
Se tendrán en cuenta todos los factores del contex-to que puedan influir en la decisión de utilizar unos u otros instrumentos y sabremos que el éxito de la evaluación no está en el instrumento en sí, sino en el uso que de él hagamos y en la manera de presentarlo a los alumnos.
Para evaluar las habilidades intelectuales que va ad-quiriendo el alumno utilizaremos pruebas de co-nocimiento con el objetivo de medir el grado en el que se asimilan los aprendizajes en dos niveles diferenciados:
1. nivel conceptual: conocimiento propiamente dicho.2. nivel comportamental: habilidades.
En la siguiente tabla relacionamos los instrumentos adaptados a e-learning, que pueden utilizarse para evaluar una serie de habilidades intelectuales:
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN12
UD. 5.1. Selección de los instrumentos de evaluación en teleformación
5.1.7.3 LoS critErioS E inDicaDorES DE Eva-Luación
Cuando se evalúa en Formación, en este caso de adultos, es necesario determinar qué criterios y qué indicadores vamos a utilizar que nos permitan medir la eficacia del proceso y el buen desempeño de los integrantes involucrados.
Para elaborar los criterios e indicadores de evaluación, se parte de los objetivos definidos como hemos seña-lado anteriormente.
Podemos definir criterios de evaluación como “aquellas conductas que se deben cumplir en el pro-ceso formativo para garantizar que se han cumplido los objetivos definidos en la acción formativa”
Las características que deben tener los criterios de evaluación son:
· Deben ser claros y precisos en su redacción, pues deben expresar claramente la conducta que se pre-tende.• Deben ser conocidos y aceptados por parte de todos los integrantes del proceso formativo. • Deben ser comprensibles.• Deben ser flexibles; que permitan cambios en el proceso.
Por otro lado, podemos definir los Indicadores de Eva-luación como “datos empíricos recogidos de forma sistémica y que permiten evaluar los sucesos del pro-ceso en función de si se están cumpliendo o no, o en qué medida, los criterios de evaluación definidos”. Por tanto, los indicadores se construyen a partir de los criterios de evaluación
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN 1�
pruEbaS objEtivaS
· Preguntas cortas y concretas.
tipoS DE inStrumEntoS vEntajaS incovEniEntES
redacción de informes
cuestionario de preguntas abiertas
cuestionario de preguntas cerradas
(test)
• Recogen gran cantidad de información.
• Pueden incluir información no relevante.
• Requieren gran esfuerzo en la corrección.
• Posible subjetividad.
• Realización rápida.
• Alta objetividad.
• Pueden actuar como refuerzo negativo por su parecido con los
exámenes.• Las preguntas pueden ser mal
interpretadas.
• Pueden requerir demasiado tiempo en su desarrollo
y corrección.• Pueden incluir información no
relevante.• Posible subjetividad.
• Pueden actuar como refuerzo negativo por su parecido con
los exámenes.• Las preguntas pueden ser mal
interpretadas.
• Coste bajo.• Realización
rápida.• Recogen gran cantidad de información.
• Opción múltiple.• Alternativa constante: verdadero falso, sino,
nunca-siempre, correcto-incorrecto, respuestas similares.• Para completar.
• Relacionar parejas.• Para tachar.
• Respuesta guiada.• Ordenamiento
• Etc.
· Preguntas amplias y abiertas.
• Fácil de corregir• Validez y fiabi-
lidad• Realización y
corrección rápida
• Costosa elaboración.
UD. 5.1. Selección de los instrumentos de evaluación en teleformación
Las características que deben tener los indica-dores son:
• Representan una medida cuantitativa o cualita-tiva.• Deben revelar los propósitos que se persiguen en los criterios de evaluación.• Debe ser comprensibles y verificables para los responsables de aplicar la evaluación en la acción formativa.
Lázaro (1992), identifica tres grandes dimensiones en torno a las que se agrupan las características y requisi-tos a tener en cuenta en la elaboración de indicadores: las características del constructo, las condiciones de medida y las condiciones formales.
Teniendo en cuenta el constructo, los indicadores deben poseer las siguientes características:
• Significatividad de la relación entre el indicador y las propiedades del objeto que señala. • relevancia del indicador. • teleologicidad del indicador. La congruencia descriptiva del indicador debe estar en función de los objetivos y fines pretendidos, siquiera para un momento o época determinada en el que se desa-rrolla un programa. Un indicador puede ser válido para valorar la eficacia de un programa pero no para valorar las posibilidades de mejora que introduce. • utilidad del indicador. Cualquier indicador ha de reclamar una información que contribuya a la definición del objeto de evaluación, describa sus situaciones, defina las problemas que le atañen y permita establecer predicciones. • complementariedad-totalidad. Cada indica-dor no puede ser interpretado aisladamente, sino que se le debe relacionar con el sistema de indi-cadores al que pertenezca. A partir de esa relación puede determinarse la “potencia relativa” que posee
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN1�
• Si existe una cadena de indicadores, se han de señalar y sistematizar en niveles de causalidad o dependencia.• Un indicador podrá desglosarse en ítems, es decir, concretar la petición en forma de ítem o cuestión.
Para evitar la confusión normal que provoca diferenciar los criterios de evaluación con los indicadores, debe-mos recordar que los criterios de evaluación deben representar lo sustancial e importante del objetivo en la acción formativa, mientras que los indicadores per-miten evaluar si se están cumpliendo esos criterios. Un indicador, por tanto, supone una forma de concretar un criterio de evaluación. Lo que se busca a través del indicador es la guía que nos acerque a la manifestación significativa de la realidad, al conocimiento más fiel y cercano de lo que se pretende evaluar.
Los indicadores deben definir e “indicar” el objeto o conducta al que se refieren; ello implica una relación de dependencia del indicador respecto al objeto re-ferido, ya que adscribe propiedades a aquello que indica, lo que supone dotar de objetividad al proceso de evaluación.
El “Cuestionario-Guía sobre requisitos de los indica-dores” desarrollado por Lázaro (1991) nos puede servir como ejemplo y guía para la construcción de indica-dores:
cada indicador en lo que se está evaluando.
Siguiendo a Lázaro, todo indicador ha de cumplir las siguientes condiciones de medida:
• observable. • aplicable. Los medios y recursos que se utilicen para realizar la observación y recoger la información han de ser posibles y coherentes con los fenómenos observados. • accesible.• Codificable. Es preciso que el sistema de indica-dores cuente con un esquema paralelo que permita anotar, valorar y reflejar las manifestaciones ob-servadas. En ese sistema de codificación, la infor-mación proporcionada por los indicadores puede convertirse en valores que reflejan tasa, ratio o fre-cuencia o en descriptores que reflejen la presencia o ausencia de un elemento o el grado de consecución del mismo, como veremos en próximos unidades en la construcción de las escalas de calificación y listas de cotejo respectivamente.
Las condiciones formales que señala Lázaro, tienen que ver con el modo en que se redactan y concretan los indicadores de modo que puedan ser utilizados de la manera más operativa posible. Algunas de estas condiciones serían:
• Cada indicador tendrá un referente determinado, claro y definido.• Cada indicador ha de solicitar información de una sola manifestación.• Tendrá definida la situación a observar determi-nada en un contexto preciso, incluyendo un espacio y un tiempo determinado.• La formulación ha de ser breve y concisa, de forma que se exprese con claridad y sin ambigüedades.• El enunciado del texto tenderá a ser directo y descriptivo.
UD. 5.1. Selección de los instrumentos de evaluación en teleformación
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN 15
rEquiSitoS DE conStructo rEquiSitoS DE mEDiDa rEquiSitoS formaLES
· El indicador recoge y hace referencia a alguna propiedad
del objeto.· La propiedad referida es de
tipo esencial. · Los datos recogidos en el
indicador están en congruencia con los fines y objetivos de la evaluación pretendida.
· Los datos recogidos por el indicador tienden a ser
permanentes. Con los datos recogidos por el indicador se pueden realizar influencias y
predicciones. · El indicador ofrece datosintegrables en un sistema de
indicadores.
· Los datos que reclama el indicador son observables.· Los datos que reclama el
indicador pueden ser observados por diferentes
evaluadores simultáneamente o en situaciones distintas.
· Los medios que se utilizan para recoger los datos que reclama el
indicador son adecuados.· Las fuentes que facilitan la información solicitada por el indicador son accesibles.
· Los indicadores poseen una forma de anotar y valorar la
información recogida.· Los indicadores tienen un peso específico dentro de un
sistema de indicadores.· Los datos obtenidos por los
indicadores pueden interpretarse numéricamente.
· Los datos obtenidos por los indicadores pueden relacionarse
numéricamente con los de otros indicadores.
· Cada indicador solicita información de una sola cosa.
· La inforrración solicitada se puede recoger en una situación definida.· El indicador está expresado con
claridad semántica sin ambigüedad.· La información reclamada se recoge en un mismo tipo de
manifestación.· El enunciado será directo y
descriptivo.· El indicador se relacionacausalmente con otros.
· Se puede desglosar y especificar en items.
Cuestionario-Guía sobre requisitos de los indicadores (A. Lázaro, 1991)
UD. 5.1. Selección de los instrumentos de evaluación en teleformación
Aspecto a evaluar: participación del alumno en un foro de debate.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN1�
inDicaDorES para EvaLuar EL DEbatE En GEnEraL
Participan la mayoría de los alumnos
Se plantean claramente los objetivos
Se trata de forma analítica y a fondo el tema tratado
Se respetan los tiempos previstos
Se respetan las opiniones de los demás
El lenguaje utilizado por la mayoría es:
Respetuoso
Apropiado
Dinámico
Grupo En GEnEraL
Si no
inDicaDorES para EvaLuar EL comportamiEnto DEL moDEraDor
Domina el tema de discusión
Organiza pautas para establecer las intervenciones
Clarifica conceptos cuando es necesario
Retoma el tema en discusión cuando éste se desvía
Favorece y potencia la intervención de todos los participantes
Se muestra imparcial ante opiniones diferentes
Extrae conclusiones finales recogiendo las principales aportaciones de todos los participantes
Si no
inDicaDorES para EvaLuar a caDa uno DE LoS participantES Si no
Respeto el derecho de palabra de los compañeros
Explica claramente la opinión
Hace aportaciones nuevas a la discusión
Utiliza un lenguaje claro
Estimula la participación de los demás
Domina el contenido Sitúa su argumento en el contexto
Vamos a ver un ejemplo del uso de indicadores en una acción formativa de teleformación. En próximas Unida-des se verán más ejemplos para la construcción de de-terminados instrumentos de medida con indicadores.
Aspecto a evaluar: un debate propuesto por un alumno en foro de discusión.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN1�
UD. 5.1. Selección de los instrumentos de evaluación en teleformación
Recordando lo visto en anteriores módulos, los pro-blemas que nos pueden surgir a la hora de evaluar a distancia están relacionados con:
• La madurez y autonomía del estudiante.• La correcta formulación de objetivos.• El nivel profesional del tutor en cuanto a estrate-gias, metodología y aspectos técnicos.• La correcta formulación de las pruebas de eva-luación.• Corrección de las pruebas.• Feed-back, remisión de resultados.
Desarrollaremos nuestra creatividad e ingenio en el diseño de recursos e instrumentos, promoviendo el pensamiento del alumno y ofreciéndole los canales necesarios para transmitir y demostrar su aprendizaje. Se pondrá especial interés en evitar los siguientes aspectos:
· Exámenes de corte “tradicional”.· Plagio por falta de control.· Falta de consistencia al calificar.· Participantes que no aceptan la metodología: tra-bajo colaborativo, fechas de entrega, etc.· Ausencia o feed-back deficiente.· Ausencia de información sobre los progresos in-dividuales.
5.1.9 EL frauDE y SupLantación En E-LEar-ninG
Como puede observarse, muchos de los inconvenien-tes señalados en el punto anterior pueden superarse si se establecen las correspondientes medidas correcto-ras con las adecuadas estrategias tutoriales vistas a lo largo de este curso. Sin embargo, uno de los principales problemas con los que podemos encontrarnos en el ámbito e-learning es el “fraude o suplantación” por
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN 1�
5.1.8 La EvaLuación En tELEformación, vEnta-jaS, inconvEniEntES y poSibLES apLicacionES
vEntajaS
Feed-back inmediato
Autoevaluación
Administración y registro de las evaluaciones
Las preguntas pueden hacerse aleatoriamente
El alumno realiza las evaluaciones de manera independiente
Se pueden ofrecer diversas graduaciones
incovEniEntES
El alumno puede falsear identidad
Riesgo técnico
Alto coste
apLicacionES
Al comienzo:• Diagnóstico de necesidades• Identificar conocimientos previos• Abordar temas fundamentales• Establecimiento de metas personales
Durante el desarrollo:• Dar y recibir feed-back• Identificar necesidades de apoyo tutorial• Ajustes respecto a las metas
Al final:• Medición del aprendizaje• Decisión de cambios• Aplicación del aprendizaje
parte del alumno. Identificar a la persona que se está evaluando, es decir, saber con seguridad que la per-sona que está realizando un curso es quien realmente dice ser, puede convertirse en uno de los principales obstáculos en e-learning cuando una acción formativa es pura e-learning, sin sesiones presenciales, y que además conlleva la obtención de un título con carácter oficial. No debemos olvidar tampoco que en ocasiones este fraude puede no ser conocido por el propio alum-no; estaríamos hablando en este caso de problemas de “seguridad informática”
Vamos a analizar los dos principales fraudes que pue-den producirse en e-learning: suplantación de identi-dad y falta de seguridad.
5.1.9.1 La SupLantación DE iDEntiDaD
En este caso, la persona que realiza el curso no es quien creemos. La suplantación puede deberse a dos circunstancias bien diferentes:
· Suplantación consentida; es el propio alumno quien cede las contraseñas de acceso para que sea otro quien realice la acción en su nombre.· Suplantación no consentida. Por propio des-piste del usuario, éste ha perdido las contraseñas de entrada a la plataforma e-learning o las ha dejado a la vista de otros. En este caso, podría darse la circunstancia de que otra persona estuviera acce-diendo a los datos del curso sin conocimiento del alumno.
La forma de evitar este fraude variará en función de la circunstancia que se haya dado según los puntos anteriores:
UD. 5.1. Selección de los instrumentos de evaluación en teleformación
para evitar la suplantación consentida, podrían realizarse las siguientes acciones:
· Evaluación final de la acción de forma presencial; establecer fechas de sesiones presenciales para tal efecto. · Establecer evaluaciones de forma síncrona, bien parciales, bien finales. Para ello, se pueden es-tablecer sesiones de audio o video conferencia con el alumno para realizar determinadas actividades.· Un buen seguimiento del alumno a lo largo del proceso ayudará al tutor a reconocer al discente: forma de expresión, comunicaciones diversas, etc… Para ello se requiere de una metodología participa-tiva, con actividades abiertas y variadas.· firma y contrato con el alumno. Una estrate-gia a utilizar puede ser el solicitar la firma al inicio y al final de la acción formativa, momentos que coin-cidirían con el acuerdo previo de inicio del curso y la entrega de la acreditación; la firma compromete al alumno de alguna manera, pues confirma que es él quien ha desarrollado el curso y a quien se acreditan las competencias obtenidas. Con el uso extendido de la firma electrónica en la actualidad, este pro-ceso puede realizarse por vía telemática, ya que dicha firma autentifica la identidad del autor, pues se utilizan claves secretas que vinculan al usuario con el documento.
para evitar la suplantación no consentida, en la medida de lo posible, se podría:
· Indicar al alumno al inicio del curso que guarde sus contraseñas en lugar seguro y que no las deje a nadie.· Desde el Centro de formación debe indicarse en todo momento que dichas contraseñas son perso-nales e intransferibles.· Aplicar técnicas biométricas o “Métodos de identi-ficación y autenticación de los seres humanos a tra-
vés de características fisiológicas y de comporta-miento”: identificación de huellas digitales, análisis de iris, patrones de voz, dinámicas de tecleo, etc…
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN1�
biometríahttp://www.iata.csic.es/ibsresp/(Sociedad española de Biometría)
firma electrónica
http://www.mityc.es/DGDSI/Servicios/FirmaElec-tronica/
5.1.9.2 SEGuriDaD informática
Este tipo de fraude se produce cuando un “hacker”, o mejor dicho, un “cracker”, vulnera los sistemas de seguridad de la plataforma de e-learning, pudiendo acceder a todos los datos de la misma; los daños que puede causar son variables en función de las intencio-nes de estos intrusos informáticos.
Es responsabilidad de los administradores de la plataforma e-learning, garantizar la confidenciali-dad e integridad de la información que se maneje a lo largo de desarrollo de una acción formativa, ofrecien-do los correspondientes servicios de autentificación mediante contraseñas de acceso, servicios de cifrado, control, confidencialidad e integridad.
Si se desean minimizar los riesgos, debe adoptarse una política de seguridad de prevención y solución de problemas de seguridad, con la aplicación de las tecnologías adecuadas mediante herramientas critp-tográficas, auditorías, cortafuegos, entre otras.
UD. 5.1. Selección de los instrumentos de evaluación en teleformación
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN 1�
Un cracker, llamado habitualmente (pero en forma errónea) un hacker, es una persona que ingresa a un equipo informático sin autorización.Si hacemos una analogía, un hacker sería como un “intruso” (sin discriminar el significado del término) que sabe la manera de cómo abrir el candado de una caja fuerte, de abrirla, de revisar qué hay aden-tro y de dejar una nota diciendo que estuvo ahí, y cuando sale deja todo como estaba. El cracker, por el contrario, no se contenta con dejar la nota de que estuvo ahí, también se roba todo lo que encuen-tra en la caja fuerte y además la deja abierta. Y no conforme con esto, además hace pública la forma en que abrió la caja fuerte.
(Fuente: wikipedia)
HackerHacker es el neologismo utilizado para referirse a un experto en varias o alguna rama técnica relacionada con la informática: programación, redes de compu-tadoras, sistemas operativos, hardware de red/voz, etc. Se suele llamar hackeo y hackear a las obras propias de un hacker.
(Fuente: wikipedia)
5.1.10 concLuSionES
Como hemos indicado a lo largo de este curso, la te-leformación se constituirá como un medio clave para acercar la formación a un mayor número de población, que, por diferentes circunstancias, bien por necesidad de flexibilidad horaria o por razones de lugar entre otras causas, requieran de sistemas formativos más flexibles y adaptados a sus necesidades. Uno de los procesos clave para que el e-learning tenga cabida como formación de calidad, será atender a los proce-sos y sistemas de evaluación en esta modalidad.
Siguiendo estos principios de calidad, debemos recor-dar que la evaluación debe adaptarse a las carac-terísticas concretas de lo que se evalúa y para lo que se evalúa; ello será la clave para dotar de validez a las acciones formativas e-learning. En el ámbito e-learning, la evaluación debe estar pla-nificada, así como realizarse de forma sistemática, recogiendo todos los factores del proceso formativo. No debemos perder de vista que las tecnologías de-ben estar al servicio de la formación y no al contrario; independientemente de la metodología que como tu-tores desarrollemos, la acción formativa debe per-seguir la adquisición de una serie de competencias formuladas a través de los objetivos de aprendizaje. Y, no menos importante, debemos tener en cuenta otra finalidad de la evaluación: detectar las mejoras que puedan optimizar los procesos de aprendizaje en futuras acciones e-learning.
En este sentido, podemos entender la evaluación des-de tres perspectivas distintas: Evaluación del aprendi-zaje del alumno, de la acción formativa y por último, evaluación de los materiales multimedia y medios uti-lizados. En anteriores módulos, nos hemos detenido
UD. 5.1. Selección de los instrumentos de evaluación en teleformación
en detectar y evaluar medios tecnológicos como pla-taformas e-learning o contenidos multimedia; en las siguientes unidades, profundizamos en las técnicas e instrumentos para evaluar la adquisición de aprendi-zaje en el alumno, así como los procesos para evaluar la calidad de la acción formativa.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN20
UD. 5.1. Selección de los instrumentos de evaluación en teleformación
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN 21
mEDicióninStrumEntoS Comparar
Respecto al grupo
Respecto a objetivos Norma
Criterio
EvaLuación Emitir Juicio TUTOR
momentos de modelos funciones
Globales
Emitir Juicio
Emitir Juicio
Emitir Juicio
De control
Específicas
Tutor
Alumno
Centro
Administración
Cuantitativo
Cualitativo
Inicio
Proceso
Final
Objetivos
Validos
Discriminatorios
Dificultad
Representativos
Funcionales
Basados en los contenidos
Eficaces
Adecuación temporal
Confiables
Mapa Conceptual Módulo 5, Unidad 5.1
EVALUACIÓN EN TELEFORMACIÓN
5.2. Desarrollo de pruebas de evaluación cerradas para teleformación.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN22
MÓDULO 5
OBJETIVOS DE LA UNIDAD: · Desarrollar correctamente todos los pasos en la elaboración de una tabla de especificaciones· Redactar correctamente todos los ítems· Redactar con claridad las instrucciones de aplicación de la prueba· Utilizar herramientas tecnológicas para la elaboración de pruebas cerradas en teleformación
CONTENIDOS:
5.2.1. Introducción5.2.2. La evaluación en función de objetivos5.2.3. La tabla de especificaciones5.2.4. Elaboración de los ítem en las pruebas objetivas
5.2.4.1. Pruebas de evocación5.2.4.2. Pruebas de selección.
5.2.5. Redacción y calificación de las pruebas objetivas.5.2.6. Herramientas tecnológicas para la elaboración de pruebas objetivas en teleformación.5.2.7. Conclusiones Mapa Conceptual Módulo 5, Unidad 5.2
5.2.1. introDucción
Esta unidad pretende ser una guía para la elaboración de pruebas cerradas de evaluación que podrán desa-rrollarse, bien en la misma plataforma e-learning, bien en los contenidos de teleformación.
Tal y como veíamos en la unidad anterior, las pruebas cerradas garantizan una mayor objetividad en la co-rrección de las mismas, aunque, como veremos, impli-can una mayor dificultad en su elaboración si deben cumplir los mínimos requisitos de fiabilidad y validez.
Las pruebas de evaluación cerradas o llamadas tam-bién “pruebas objetivas”, permiten evaluar objetivos del dominio cognitivo fundamentalmente y en los niveles taxonómicos de ámbito inferior; mediante éstas, se pueden evaluar unidades de conocimiento simples a través de preguntas con posibles respuestas definidas previamente. Para los objetivos taxonómicos superio-res que no puedan evaluarse a través de las pruebas objetivas, será necesario establecer pruebas abiertas o de desarrollo; de éstas, trataremos en la unidad siguiente.
Repasando lo visto sobre evaluación en e-learning, diremos que para que la evaluación sea objetiva, de-berá ser continua y adaptada a los discentes, objetivos y contenidos del curso, utilizando instrumentos para medir los aprendizajes que reduzcan al mínimo la sub-jetividad en la corrección.
A continuación vamos a ver las características que deben tener los instrumentos de evaluación para que midan de forma objetiva el dominio cognitivo.
5.2. Desarrollo de pruebas de evaluación cerradas para teleformación.
5.2.2. La EvaLuación En función DE objEtivoS
Como se ha visto a lo largo de este curso, los conte-nidos van organizados en tres grandes secciones que corresponden a los tres grandes grupos de objetivos:
· objetivos Generales· Objetivos Específicos· objetivos operativos
En la formulación de objetivos operativos vimos la importancia de utilizar términos concretos para de-terminar la conducta exacta que queremos conseguir, así como el establecimiento de las condiciones y los criterios de ejecución. Es a partir de la correcta for-mulación de los objetivos operativos, cuando se ofre-cen las pautas correctas para elaborar de forma fiable y válida los ítems de las pruebas objetivas; ítems que describan acciones concretas como: define, identifica, resume, asocia… ligados a los objetivos perseguidos. Vamos a expresar lo dicho anteriormente de una forma práctica:
Tomando la Taxonomía cognitiva de Bloom como re-ferencia, recordemos los 6 niveles diferenciados de mayor a menor complejidad:
· Cuando evaluemos conocimientos universales o con-cretos de hechos, definiciones de términos, formas y medios de tratar casos específicos, estaremos en el primer nivel taxonómico: conocimiento.Los enunciados de los ítems de las pruebas podrían ser:
· De las definiciones expuestas a continuación, ¿cuál es la que corresponde a ________?· ¿Qué nombre recibe el proceso por el cual _____?· Etc.
· Cuando evaluemos la aplicabilidad de un aprendizaje sin relación con otros o entendimiento aislado de con-ceptos, su interpretación, clasificación, estaremos en el segundo nivel taxonómico: comprensión.Los enunciados de los ítems solicitarán acciones como: · ¿Cuál es la secuencia correcta para _________?· Selecciona el procedimiento correcto para _______?· Etc…
· Si solicitamos abstracciones como la aplicación, re-conocimiento o justificación de ideas generales, nor-mas, métodos, principios o teorías, nos encontramos en el tercer nivel taxonómico: aplicación.
· Si lo que pedimos es analizar, categorizar, comparar, contrastar, distinguir, relacionar, concluir…, estaremos en el cuarto nivel taxonómico: análisisLas preguntas serán del tipo:
· ¿Cuáles son las características de ______?· ¿Por qué crees que ________?· ¿Qué relación encuentras entre _______?· ¿Cuál es la función de _______?
· Si proporcionándole las partes, pedimos al alumno que construya la solución a un problema, explicación de una situación, comprobación de una hipótesis…, estaremos en el quinto nivel taxonómico: síntesis.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN 2�
EVALUACÍON
SÍNTESIS
ANÁLISIS
APLICACIÓN
COMPRENSIÓN
CONOCIMIENTO
· Por último, si pedimos al alumno que emita juicios de valor y toma de decisiones sobre métodos, procedi-mientos, solución de problemas…, estamos en el sexto y último nivel taxonómico: evaluaciónLas preguntas podrían tener la siguiente estructura:
- De los siguientes procedimientos, ¿Cuál es a tu juicio el más adecuado para _______? Justifica tu respuesta.
5.2.3. La tabLa DE ESpEcificacionES
Para visualizar de forma clara la importancia de cada aprendizaje en el resultado final, será fundamental ela-borar previamente una tabla o matriz de especifi-caciones, donde quedarán reflejados los resultados esperados referentes a conocimientos y conductas que debe aprender el alumno y las pruebas necesarias para evaluarlos.
Además de establecer niveles de importancia, la tabla de especificaciones ofrecerá el número de ítems que contendrá cada prueba en función del nivel taxonómi-co del aprendizaje específico.
En definitiva, la tabla de especificaciones permite esta-blecer qué resultados de aprendizaje debemos esperar en función de los contenidos del curso; en base a ello, se seleccionarán los instrumentos de evaluación y el formato de la misma. Será de vital importancia para concretar el número y tipo de ítem en cada una de las unidades didácticas, entendiendo por ítem cada uno de los apartados que componen una prueba y que corresponde con un objetivo evaluable.
En dicha tabla también se recogerán aquellos apren-dizajes que requieran de una evaluación más allá de la integración de conocimientos, como, por ejemplo,
5.2. Desarrollo de pruebas de evaluación cerradas para teleformación.
las destrezas manuales que puedan requerir de otro tipo de pruebas más abiertas y prácticas; para ellas, se determinarán los medios y condiciones en las que se realizarán dichas pruebas.
La tabla de especificaciones nos permitirá visuali-zar de forma gráfica qué hay que evaluar, cuál va a ser el criterio, cuántos ítems van a ser necesarios y qué puntuación o importancia tiene en el resultado final.
Pasos para elaborar la tabla:1. Extraer las competencias relevantes que debe adquirir el alumno. Simplificaremos los objetivos para eliminar los repetidos o los que están conte-nidos en otros.2. Determinar el número de ítems, asignando uno distinto a cada unidad de conocimiento. Ha-remos lo mismo con las unidades de competencia que implican la profesión que se quiere certificar extrayendo el número y tipo de ítems necesarios para evaluarlas.3. Elaborar la tabla de especificaciones de re-ferencia. Estableceremos relaciones de importancia entre los objetivos seleccionados, utilizaremos las taxonomías.
Ejemplo de tabla de especificaciones:
Todos estos pasos son necesarios para elaborar pruebas que nos permitan medir los aprendizajes de forma objetiva. La tabla de especificaciones nos servirá para asegurarnos que el aprendizaje ha sido efectivo, en qué medida se ha realizado y qué importancia tiene en el resultado final.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN2�
nombrE DE La uniDaD DE compEtEncia a EvaLuar
Objetivo 1
Objetivo 2
Objetivo �
Objetivo N
critErio DE EvaLuación (nivEL taxonómico)
númEro DE itEmS
pESo En La EvaLuación finaL
Identificar, analizar…
Comprender, elaborar…
...
...
1
2
�
N
1 2 � � 5 �
Cada ítem debe corresponder con una unidad de conocimiento evaluable.
tabLa DE ESpEcifica-
cionESNiveles
TaxonómicosMedios y
Condiciones
Número deítems
Competenciasrelevantes
5.2.4. ELaboración DE LoS ÍtEm En LaS pruE-baS objEtivaS
Ítem: cada uno de los apartados que componen un cuestionario o un test (R.A.E.)
Son estructuras con respuesta específica, las cuales, nos permiten valorar el progreso formativo de los es-tudiantes. Cualquier parte de la prueba susceptible de puntuación es considerada ítem.
Las habilidades y destrezas que debe poseer el tutor para elaborar las pruebas objetivas se pueden resumir en tres: creatividad, estrategias metodo-lógicas y paciencia, ya que es un proceso costoso que debe estar presente a lo largo de la aplicación y desarrollo del programa formativo; serán de vital im-portancia aspectos como la selección de unos buenos contenidos o el rigor en la estructura y redacción de los ítem y preguntas de evaluación.criterios de redacción y elaboración de los íte-ms y preguntas de evaluación:
· En base a los objetivos y contenidos dados hasta el momento en que se aplica la prueba.· Preguntas acordes con la edad y experiencia previa de los alumnos.· Se evitará citar los contenidos de manera literal, así como el uso de abreviaturas.· Estilo de redacción simple, cuidando el voca-bulario, acorde con el que manejan los alumnos habitualmente.· Evitar las dobles negaciones.· Evitar el uso de gerundios, participios, preposicio-nes y artículos innecesarios.· Cuidar la ortografía y normas de puntuación.· Evitar que un mismo ítem tenga varias respuestas posibles.· Evitar la interrelación entre los diferentes ítems.
5.2. Desarrollo de pruebas de evaluación cerradas para teleformación.
· No utilizar estrategias basadas en confundir al alumno.· Referidos a conocimientos significativos; no eva-luar trivialidades.· La prueba en su conjunto debe evaluar todas las unidades de conocimiento de un mismo tema.· Elegir el tipo de ítem por su idoneidad para evaluar la acción concreta.· Agrupar los ítems por tipos y taxonomías.· Es aconsejable contrastar los ítems con otro tutor para asegurarnos de que se entiende lo que esta-mos preguntando.
Las pruebas objetivas/cerradas:· Ofrecen registros idóneos del avance de nuestros alumnos.· A través de ellas se pueden valorar múltiples obje-tivos de distinta naturaleza.· Requieren de poco tiempo del tutor para su co-rrección.· Son fáciles de aplicar.
A continuación se detallan varios modelos de pruebas objetivas.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN 25
Si no se redactan correctamente los ítems de las pruebas objetivas, los resultados de las mismas no será fiable.
5.2. Desarrollo de pruebas de evaluación cerradas para teleformación.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN2�
Mide las destrezas productivas.utiLiDaD
EStructura
inStrucción
proS
Se pide al alumno que responda brevemente a aquello que se le pregunta.
Conteste brevemente a las cuestiones abajo planteadas
· Fáciles de elaborar.· Plasman claramente el dominio o no del tema.
· No miden conceptos complejos.· Si la frase no tiene un buen planteamiento, la valoración de las respuestas puede resultar ambigua.
contraS
5.2.4.1. pruEbaS DE Evocación
Para medir conocimientos simples.
pautas de edición:
Redacción positiva· La frase será de elaboración propia, no se copiarán de los contenidos.· Concreta y corta.· Evitar sugerir la respuesta (no usaremos artículos antes del espacio en blanco).· La frase no debe contener datos irrelevantes.· Respuesta única.· El sinónimo es correcto.· El espacio en blanco no debe ser demasiado grande.· Se puntúa en números enteros, no en fracciones.
pautas de edición:
· Los espacios serán todos del mismo tamaño.· Se especificarán el mínimo de respuestas que se solicitan.· Se utilizarán verbos como: cite, escriba, enume-re…· Se puntúa cada respuesta en números enteros, sin fracciones.
Mide las destrezas productivasutiLiDaD
EStructura
inStrucción
proS
Frase con huecos donde faltan palabras que debe rellenar el estudiante.
Rellena los huecos de forma que las oraciones sean verdaderas.
· Elimina la adivinación· Obliga a utilizar las capacidades mentales· Son de fácil valoración
· Si se abusa del formato, invitamos al estudiante a memorizar en lugar de aprender.· Sólo mide la integración de conceptos concretos.contraS
b) DE “rESpuESta brEvE”
a) pruEbaS DE “rELLEnar”
5.2.4.2. pruEbaS DE SELEcción.
El alumno elegirá una opción de las que están expues-tas. Miden las habilidades de comprensión.
Consideraciones específicas de la prueba:· Se debe evitar la complejidad, ambigüedad u ob-viedad de los enunciados.· Evitar pedir justificación de respuesta, ya que si lo hiciéramos estaríamos convirtiendo la prueba en una de desarrollo.
5.2. Desarrollo de pruebas de evaluación cerradas para teleformación.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN 2�
pruEbaS DE Evocación
Consiste en el juicio que hace el alumno de si la afirmación que se le ha presentado es verdadera o falsa.utiLiDaD
EStructura
inStrucción
proS
· Enunciado: afirmación correcta o errónea de un hecho.· Dos únicas opciones: verdadero y falso.
Concluya si las afirmaciones presentadas a continuación son verdaderas o falsas. (rodee la (V) cuando sean verdaderas y la (F) cuando sean falsas)
· Rapidez y facilidad en la corrección y puntuación.· Sirve para evaluar la comprensión de conceptos fundamentales del tema.· Obliga al discente a utilizar procesos complejos de razonamiento.· Difícil elaboración y construcción correcta de la pregunta para que no resulte ambigua ocon doble respuesta en función de la situación o condición. · La posibilidad de adivinación es del 50 %· Se induce al discente a pensar en extremos de verdadero o falso, sin tener en cuenta las variables intermedias.
contraS
DEStrEzaS tutoriaLES
Estratégias Metodológicas
Creatividad
Saberestar
Miden conocimientos simples
“Rellenar”
“Respuesta breve”
a) pruEbaS DE “vErDaDEro o faLSo”
5.2. Desarrollo de pruebas de evaluación cerradas para teleformación.
pautas de edición:
· La redacción será homogénea para evitar la adivi-nación y las distracciones.· Deben estar claros los criterios de relación.· Siempre habrá un número igual o mayor de res-puestas que de preguntas.· Si las respuestas son para un solo enunciado o para varios.· Si se utiliza la opción de relacionar, asegurarse de que cada enunciado tenga una sola respuesta correcta.· Si por el contrario se elige la opción a asociar, se ofrecerán al menos dos posibilidades.
· Indicar que símbolos se van a utilizar para la rela-ción (flechas, números…)· Las respuestas no serán nunca más largas que las premisas.· Es aconsejable que la prueba se visualice en un golpe de vista; no debe ocupar más de una página o pantalla.· Cuidar la coherencia de la prueba presentando los enunciados en orden lógico.· Evitar los datos innecesarios.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN2�
Idóneas para evaluar aquellos objetivos que implican establecer relaciones entre conceptos.utiLiDaD
EStructura
inStrucción
proS
· Columna de premisas· Columna de respuestas
· Relacionar: una sola respuesta por premisa · Asociar: varias respuestas por premisa.
Empareja mediante flechas la (o las) respuesta correcta al enunciado de la derecha.
· Rápido de corregir· Permite evaluar temas con muchos conceptos relacionados· Especialmente útil para evaluar conceptos concretos
· Puede inducir la memorización en contra de la asociación· La mayor dificultad radica en encontrar preguntas con el mismo estilo de redacción· No miden conceptos complejos
contraS
b) ÍtEm DE EmparEjamiEnto: “aSociar y rELacionar”
pautas de edición:
· Cada ítem será independiente de los demás.· Acordes con el nivel formativo y de maduración personal del alumnado.· El vocabulario utilizado será acorde a la materia que se evalúa.· No podrán resolverse aplicando exclusivamente el sentido común del alumno.· No se utilizarán patrones de respuesta; debe elegirse la posición de las respuestas correctas al azar.· Evitar en la medida de lo posible las opciones que engloben a las demás: todas son correctas, a y b son correctas…· Sólo habrá una respuesta correcta; el resto no podrán ser correctas bajo ninguna perspectiva.· Los enunciados sarán claros, concretos, sencillos y formulados desde la objetividad.· Evitar términos absolutos como; siempre, nunca, todo..., ya que inducen la adivinación.· Los elementos comunes, como artículos o prepo-siciones estarán en el enunciado.· El estilo de redacción entre las opciones, y de éstas con el enunciado, debe ser homogéneo.·Las opciones irán en sentido descendente en líneas paralelas.
5.2. Desarrollo de pruebas de evaluación cerradas para teleformación.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN 2�
· Registro de resultados confiable y especialmente útil en la evaluación sumativa.· Son de las más utilizadas en teleformación por no requerir de aplicativos complejos para su desarrollo.
utiLiDaD
EStructura
inStrucción
proS
· Enunciado: Será una pregunta, frase incompleta o afirmación.· Opciones: más de tres posibles respuestas. No es recomendable más de cinco.· Son las posibles respuestas que concuerdan con el enunciado en estilo y redacción.· Sólo hay una opción correcta; las otras restantes se consideran distractores.
Rodee la opción correcta de las que se presentan para cada enunciado (sistema de puntuación)
· Miden las capacidades de: razonar, evocar, comprender, reconocer.· Corrección y calificación rápida y fácil.
· Posibilidad de adivinación· Difícil elaboración
contraS
c) DE “SELEcción múLtipLE”
5.2. Desarrollo de pruebas de evaluación cerradas para teleformación.
pautas de edición:
· Las partes que debe identificar estarán señala-das.· Contiene las instrucciones de realización junto con una situación en contexto de la prueba.· La tarea consiste en identificar el motivo de la prueba, no hay redacción.· La presentación gráfica debe ser lo más parecida posible a la utilizada en los contenidos, a excepción de que el objetivo sea la identificación en diferente formato.· Será legible.· Se colocarán los espacios para las respuestas para evitar que “emborronen” el gráfico o mapa.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN�0
· Pruebas idóneas para la identificación de elementos sobre imágenes, fotografías, mapas, esquemas, etc… · Ámbitos de aplicación prácticos.
utiLiDaD
EStructura
inStrucción
proS
· El alumno ve un esquema o imagen y debe identificar sus elementos.
Identifique (…) y anote la respuesta en el espacio preparado para ello ( sistema de puntuación).
· Mide objetivos de comprensión, conocimiento y aplicación.· Su realización es atractiva para el estudiante.· Fácil de corregir y calificar.
· Requieren de una mayor elaboración previa· Precisa manejo básico de aplicativos de edición.
contraS
pautas de edición:
· La cuestión comenzará con una partícula interro-gativa (cuándo, quién, cuánto …)· No debe extenderse mucho la pregunta; será lo más corta posible.· Sólo tendrán una respuesta posible.· Estarán referidas a un concepto fundamental del curso.· El espacio para las respuestas será homogéneo en toda la prueba, evitando dar pistas de respuesta.
· Respuestas a cuestiones concretas.utiLiDaD
EStructura
inStrucción
proS
Preguntamos de manera concreta y directa con sólo una respuesta posible
Contesta de manera clara las siguientes preguntas· Se minimiza la adivinación· Fácil construcción· El alumno se limita a contestar lo que se le pide
Sólo se mide la capacidad de memorización y retención de informacióncontraS
Con esta prueba podemos evaluar diferentes tipos de conocimiento relacionados.utiLiDaD
EStructura
inStrucción
proS
Enunciado contextualizando la prueba (base), seguido de los ítems que se crean pertinentes.Lea la siguiente exposición y después conteste a las preguntas· Miden la aplicación de conocimientos.· Se utilizan para evaluar aprendizajes complejos.· La evaluación es más global
· Fácil construcción· El alumno se limita a contestar lo que se le pide
contraS
D) pruEbaS DE “iDEntificación”
E) “prEGuntaS”
f) muLtiprEGuntaS
A continuación se ofrecen algunos ejemplos de cómo podemos adaptar las pruebas para que puedan estar disponibles en una plataforma e-learning.
• pregunta de selección múltiple:
5.2. Desarrollo de pruebas de evaluación cerradas para teleformación.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN �1
5.2. Desarrollo de pruebas de evaluación cerradas para teleformación.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN�2
· terminar la frase:
• rellenar huecos con la opción correcta:· Podemos solicitar que rellenen uno o más huecos; en caso de ser más de 1, pondremos las respuestas en las opciones separadas por un guión. En cada hueco sólo debe faltar una palabra.
· En caso de que los huecos sean seguidos separare-mos el subrayado para indicar que son dos palabras.La organización encargada de elaborar la clasifica-ción de las ocupaciones en ________ ________ se denomina INCUAL.
a) certificados profesionalesb) gremios profesionalesc) familias profesionalesd) grupos profesionales
5.2. Desarrollo de pruebas de evaluación cerradas para teleformación.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN ��
5.2. Desarrollo de pruebas de evaluación cerradas para teleformación.
• Secuenciar correctamente:
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN��
• Establecer relaciones en dos listas de datos:
La lista que colocaremos a la derecha contendrá las premisas y la de la izquierda las respuestas.
Si todas las respuestas que ofertamos son válidas pondremos el mismo número de premisas que de res-puestas; si no lo son, sería un error poner el mismo número, ya que crearía en el alumno la necesidad de emparejar todos los datos. Poner las listas demasiado largas también es contraproducente.
En cada columna utilizaremos términos próximos (del mismo campo semántico) y las relaciones será del mis-mo tipo en toda la prueba (términos con definiciones, teóricos con teorías…)
Un formato válido para esta prueba sería poner las premisas precedidas de números y las respuestas de letras; se trata de que las opciones tengan un formato lo más legible posible.
5.2. Desarrollo de pruebas de evaluación cerradas para teleformación.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN �5
5.2. Desarrollo de pruebas de evaluación cerradas para teleformación.
· multipregunta:
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN��
5.2. Desarrollo de pruebas de evaluación cerradas para teleformación.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN ��
5.2. Desarrollo de pruebas de evaluación cerradas para teleformación.
5.2.5. rEDacción y caLificación DE LaS pruE-baS objEtivaS
5.2.5.1 inStruccionES GEnEraLES para La rE-Dacción DE LaS pruEbaS DE EvaLuación
producción del enunciado: • Se utilizará la forma positiva evitando partículas como no, excepto…• Evitar dar pistas de respuesta.• Constituirá una guía para su razonamiento, con-teniendo los datos necesarios para la evocación de información.
la sencillez en la corrección y la emisión de juicios.• El orden de los ítems dependerá de su compleji-dad; se ordenarán empezando por los más simples a los más complejos.• Existe la opción de pedir a los alumnos que justi-fiquen sus respuestas; ya que mediante esta opción aumenta el factor subjetividad en la corrección, se pondrá especial cuidado en redactar correctamente las instrucciones de la prueba para no tener conflic-tos de esta naturaleza.
¿Cómo evitar dar pistas sobre la respuesta correcta?
· Todas las opciones deben tener la misma asociación verbal con el enunciado:
· mal: La acción de otorgar acreditación al conjunto de unidades de competencia en un curso de forma-ción ocupacional se llama:a. Diploma acreditativob. Certificación de profesionalidadc. Certificado ocupacionald. Diploma ocupacional
· bien: La acción de otorgar acreditación al con-junto de unidades de competencia en un curso de formación ocupacional se llama:a. Acreditación ocupacional b. Certificación de profesionalidadc. Certificación ocupacionald. Acreditación de profesionalidad
· Se cuidarán aspectos gramaticales como el género y el número:
· mal: Los objetivos que debe formular el tutor son:a. Específicob. Actitudinal c. Operativosd. Conductual
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN��
pruEbaS DE SELEcción
Miden la comprensión
“Verdadero o Falso”
“Asociar y relacionar”
Selección Múltiple
Identificación
Preguntas
Multipregunta
• La solución a la premisa tiene que demostrar la consecución de un objetivo concreto.
producción de las opciones:• La extensión será lo más parecida posible entre ellas.• No se utilizarán opciones que hagan correcta a más de una opción; todas son correctas, ninguna…• Coherentes con el enunciado y entre ellas (homo-geneidad respecto a la sintaxis, género, número….)• Nunca se repetirá el mismo concepto en dos op-ciones, ni con el uso de sinónimos.• En la medida de lo posible no se usarán negacio-nes (no, excepto…) ni términos absolutos (nunca, siempre, totalmente…)• No se utilizarán palabras ya expuestas en el enunciado.
producción de la respuesta correcta:• Será correcta desde todas las perspectivas po-sibles.• Solo habrá una correcta.• Determinará que el objetivo se ha cumplido.
producción de distractores:• No darán pistas sobre la opción correcta.• Se cuidará que sean adecuadas y serias.• Se utilizarán los errores cometidos más frecuen-temente por los participantes.• No deben ser correctos nunca, pero deben hacer dudar a los alumnos con respecto a la verdadera.
Para la producción y colocación de los diferentes enunciados de una prueba, se tendrán en cuenta dis-tintos factores:
• Se agruparán los conocimientos a evaluar por proximidad: conseguiremos dar coherencia a la prueba, fomentando el buen hacer de los alumnos,
· bien: Los objetivos que debe formular el tutor son:a. Específicos b. Actitudinalesc. Operativosd. Conductuales
· Habrá homogeneidad entre los grupos de datos:· mal: Asocia cada elemento de la columna de la derecha (tipos de conocimiento) con un elemento de la columna de la izquierda (nivel táxonómico).
5.2. Desarrollo de pruebas de evaluación cerradas para teleformación.
(Está mal porque todos pertenecen al dominio cogni-tivo menos discutir, que pertenece al nivel respuesta del dominio afectivo)
· bien: Asocia cada elemento de la columna de la derecha (tipos de conocimiento) con un elemento de la columna de la izquierda (nivel táxonómico).
5.2.5.2 caLificación DE LaS pruEbaS DE Eva-Luación
Para calificar las pruebas de evaluación, se elaborarán sistemas de puntuación que aseguren la objetividad de la prueba en función de los objetivos que se pretendan medir.
· Primero se hará una corrección provisional para luego retomar los criterios de puntuación.· Es aconsejable corregir de forma anónima para evitar distractores en el juicio.· Si el tutor tiene dudas en algún momento, se debe decidir a favor del alumno. · Se aceptará cualquier respuesta que contenga el concepto correcto, aunque esté formulado desde diferente punto de vista al planteado por el tutor.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN ��
· Discutir · Clasificación · Reconocimientode métodos· Comparar· Construir · Emitir juicios
· Comprensión· Respuesta· Síntesis· Análisis· Aplicación· Evaluación
· Definición de términos· Clasificación· Reconocimiento de métodos· Comparar· Construir· Emitir juicios
· Comprensión· Conocimiento· Síntesis· Análisis· Aplicación· Evaluación
5.2. Desarrollo de pruebas de evaluación cerradas para teleformación.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN�0
Actualmente existen en el mercado numerosas herramientas software para la evaluación online del aprendizaje del alumno (listado extraído de la página web de la Universidad politécnica de Madrid http://www.gate.upm.es/evaluacion/instru1.htm )
5.2.6. HErramiEntaS tEcnoLóGicaS para La ELaboración DE pruEbaS objEtivaS En tE-LEformación.
Existen herramientas de software libre y comerciales para diseñar pruebas cerradas de evaluación con au-tocorrección.
Invitamos en este tema a repasar las diferentes herra-mientas y aplicativos estudiados en el módulo 2 de este curso. A modo de repaso, recordamos:
SEGuimiEnto, fEED-back y EvaLuación
Agregar o retirar los contenidos accesibles por el alumno; organizar los contenidos por bloques, separar unos de otros, de las actividades, etc.
Gestor de contenidos por
el tutor
Generador de cuestionarios y evaluaciones
Para que el tutor cree sus cuestionarios y evaluaciones a su criterio. Pueden contabilizar el número de intentos y puntuaciones que un alumno hace para realizar un cuestionario. Permi-te diseñar actividades como rompecabezas, crucigramas, sopas de letras, selección múltiple, cuestionarios, etc
Estadísticas para el tutor y el alumno, donde se puede consultar el progreso de éste y en el curso. Dichos registros los ofrecen las propias plataformas e-learning y los contenidos estandarizados.
control y seguimiento
plantillas Se pueden encontrar en la Web o podemos elaborarlas nosotros mismos.
Herramientas de pago; exigen licencia comercial
Herramientas de código abierto; podemos modificar su
funcionamiento, de uso gratuitoHerramientas gratuitas
Aulaweb
CASTLE
CyberExam
ExamBuilder
Departamento de Automática, ETSI Industriales UPM
Leicester University
Virtual Learning Technologies
Bolder Design
http://aulaweb.etsii.upm.es
http://www.le.ac.uk
http://www.glow.ac.uk/resources/part4/wbat15.htm
http://www.exambuilder.com
proDucto compaÑia EnLacE
5.2. Desarrollo de pruebas de evaluación cerradas para teleformación.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN �1
HotPotatoes
Intenet Test System
Micro Test Pro
Net Test
Quandary
QuestionMark
Quiz Rocket
QuizMaker
QuizPlease
QuizWizard
Respondus
SiberWorks Training Center
Test Pilot
Web@ssessor
WebQuiz
WebTester
WWWAssign
Half-Baked Software
Knowlton & Associates
Chariot Software Group
Utah State University
Stewart Arneil and Martin Holmes
AssessNet
LearningWare Inc
University of Hawaii
Money Tree Software
U. Pennsylvania USA
Respondus, Inc
Syber Works Web Author
ClearnLearning
ComputerPREP, Inc
Write EInternet
Weber State University
North Park University
http://web.uvic.ca
http://www.learninglynx.com
http://chariot.com
http://www.parasoft.com
http://www.halfbakedsoftware.com
http://www.questionmark.com
http://www.learningware.com
http://www.ncolr.org
http://www.quizplease.com
http://www.syntora.com
http://www.respondus.com
http://www.syberworks.com
http://www.clearlearning.com
http://www.computerprep.com
http://www.web-quiz.net
http://newchi.weber.edu
http://www.glow.ac.uk/resources/part4/wbat06.htm
proDucto compaÑia EnLacE
5.2. Desarrollo de pruebas de evaluación cerradas para teleformación.
5.2.7. concLuSionES
Las pruebas de evaluación en teleformación requieren de un especial cuidado en su elaboración, ya que el alumno las afronta solo, por lo que se deben tener los elementos necesarios para evocar los aprendizajes y facilitar al alumno la respuesta correcta, al mismo tiempo que realmente recibe un feed-back real sobre su progreso.
Sabremos que los ítems son adecuados para evaluar a los alumnos cuando:
· Se refieren a objetivos específicamente formulados.· Se han seguido las pautas recogidas en la tabla de especificaciones.· No sugieren la respuesta.· Son precisos en su exposición.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN�2
· Hacen referencia a ideas generales y no a detalles.· Son acordes con el nivel de los alumnos.· Son positivos, no contienen negaciones.· Solo tienen una respuesta correcta.· Contienen las instrucciones necesarias para con-testarlos.· Son aplicables a cualquier curso de la materia y por cualquier tutor.
Evitaremos:• Pautas ambiguas.• Planteamientos complejos no adecuados al nivel de los alumnos.• Pistas de respuesta.• Ítems ambiguos.• Dimensión inadecuada (demasiado corto o largo)• Patrones predecibles de respuesta.• Malas condiciones de aplicación y valoración (erro-res de edición, distribución, mal planteamiento…)• Letra y formato ilegible.• Cambiar las condiciones de evaluación una vez comenzado el proceso y puestas en conocimiento de los alumnos.• Economizar espacio hasta el punto en que afecte a la estética de la prueba.• No corregir alguna prueba por la razón que sea; si el alumno la ha hecho, tiene derecho a saber el resultado.• Instrucciones complejas que puedan desmotivar o asustar a los alumnos ante la realización de la prueba.
Herramientas para la creación, distribución y gestión de cursos a través de internet.Edutec. Revista Electrónica de Tecnología Educati-va.Núm. 12. /junio 00
http://www.uib.es/depart/gte/edutec-e/Reve-lec12/deBenito.html
Herramientas web gratuitas:
http://educ810webtools.blogspot.com/2006/09/herramientas-web-debido-la-extensa.html
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN ��
pruEbaS cErraDaS
tabLa DE ESpEcificacionES
Pruebas de evocación
Competencias
Niveles
Número de ítems
Medios y condiciones
Mapa Conceptual Módulo 5, Unidad 5.2
HErramiEntaS tutoriaLES
Pruebas de selección
Conocimientos simples
Comprensión
“Rellenar”
“Respuesta breve”
“Verdadero o falso”
“Asociar y relacionar”
Selección múltiple
Identificación
Preguntas
Multipregunta
Plantillas
Gestor de contenidos
Control y seguimiento
Generador de cuestionarios y evaluaciones
5.2. Desarrollo de pruebas de evaluación cerradas para teleformación.
EVALUACIÓN EN TELEFORMACIÓN
UD. 5.�. Desarrollo de pruebas de evaluación abiertas para teleformación.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN��
MÓDULO 5
OBJETIVOS DE LA UNIDAD: · Determinar los instrumentos de evaluación adecuados a cada actividad teórica/práctica.· Utilizar correctamente los criterios pedagógicos y en función de los objetivos en la elaboración.
CONTENIDOS:
5.3.1 Introducción
5.3.2 Determinar los instrumentos de evaluación adecuados a cada actividad teórica/práctica
5.3.3 Evaluación de contenidos teóricos mediante pruebas abiertas:
5.3.4 Evaluación de contenidos prácticos mediante pruebas abiertas
5.3.5 Instrumentos e Indicadores para la evaluación5.3.5.1 Escalas de calificación5.3.5.2 Listas de cotejo5.3.5.3 Hojas de evaluación
5.3.5.4 Ventajas e inconvenientes del uso de Indicadores
5.3.6 Conclusiones
Mapa Conceptual Módulo 5, Unidad 5.3
5.3.1 introDucción
En el marco de la certificación de profesionalidad, dise-ñaremos las pruebas de acuerdo con las competencias profesionales recogidas en los perfiles profesionales para los que estamos formando, esto es, a través de los objetivos formativos que se desprenden de ellas.
Para ello utilizaremos la tabla de especificaciones que hemos visto en la unidad anterior, en la cual se re-presentan datos del tipo: relación de las unidades de competencia a evaluar, valoración del peso de cada unidad de competencia y de los contenidos teóri-cos y prácticos, puntuación máxima y mínima exigible, determinación de las pruebas que van a valorar los conocimientos (número de ítems totales y para cada unidad de competencia y nivel de complejidad ); se determinarán también las pruebas prácticas (número total de prácticas y unidades de competencia que va-mos a evaluar con cada práctica)
Las pruebas de conocimiento tanto de tipo cerrado u objetivas como las abiertas o de desarrollo, se utilizan para medir la consecución de los objetivos cognitivos, seleccionando unas u otras en función del grado de complejidad y nivel taxonómico del aprendizaje. Las pruebas prácticas serán el referente para evaluar las habilidades y destrezas que debe adquirir el alumno para el buen desempeño de su actividad profesional.En la unidad anterior nos hemos centrado en las pruebas para medir conocimientos teóricos mediante pruebas cerradas; esta unidad se centra en el desa-rrollo de las pruebas abiertas para medir tanto co-nocimientos teóricos de nivel taxonómico superior, así como habilidades y destrezas relacionadas con el ámbito psicomotriz.
UD. 5.�. Desarrollo de pruebas de evaluación abiertas para teleformación.
En las pruebas abiertas mediremos las técnicas y métodos de trabajo usados, así como las habilida-des y destrezas que demuestra el alumno, la calidad del producto obtenido y el uso que el estudiante hace de la maquinaria, equipo y tiempo de trabajo.
Estableceremos un sistema de puntuación previa-mente que será conocido por los alumnos y que nos ayudará a garantizar, en la medida de lo posible, la objetividad en nuestros juicios y toma de decisiones.
Diseñaremos una guía de aplicación de estas prue-bas que será para uso personal como tutores, en el de-tallaremos las características de cada prueba, el pro-cedimiento de aplicación, corrección y puntuación.
5.3.2 DEtErminar LoS inStrumEntoS DE Eva-Luación aDEcuaDoS a caDa activiDaD tEó-rica/práctica
Por actividades abiertas nos referimos a todas aquellas en las que el alumno es quien produce la respuesta; pueden ser tanto actividades individuales como gru-pales.
· Las actividades individuales pueden ser: elabora-ción de informes, cuestionarios abiertos, trabajos de investigación, etc.
· Por actividades grupales entendemos aquellas ac-tividades evaluables que se desarrollan en el grupo en general o en equipos de trabajo, cuyo fin último es la construcción de un determinado aprendizaje. Para este tipo de actividadees grupales utilizaremos las herramientas disponibles en la plataforma como wikis, talleres, foros, etc. Son la espina dorsal del aprendizaje a distancia basado en el constructivis-mo, por lo que les dedicaremos especial interés en el proceso de tutorización.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN �5
prEparación DE La EvaLuación DE pruEbaS abiErtaS
Tecnicas y métodos a evaluar
Sistema de puntuación
Guía de aplicación
Toda prueba que implique producción de respuesta por parte del alumno será considerada prueba abierta.
UD. 5.�. Desarrollo de pruebas de evaluación abiertas para teleformación.
5.3.3 EvaLuación DE contEniDoS tEóricoS mEDiantE pruEbaS abiErtaS:
pautas de edición:
· La redacción de las preguntas debe dirigir la res-puesta del alumno que debe ser original y correc-tamente expresada.· Solo se utilizarán cuando no sea posible evaluar el objetivo perseguido mediante preguntas objetivas.· Deben tener la dificultad justa para que constitu-yan un desafío para el alumno· Se evitarán las instrucciones que inciten respues-tas donde sólo se ponga en juego la memoria, como: enumera, quién, qué, etc… Deberán invitar a la re-flexión y a la construcción de la propia respuesta.· Serán adecuadas al nivel de conocimiento del alumno.· Se establecerán criterios para su medición, asig-nando un valor a cada elemento de la respuesta.· Los términos utilizados serán comprensibles para el alumno que en todo momento sabrá lo que se le pide.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN��
Valoran objetivos relacionados con: producir, integrar, organizar, expresar…utiLiDaD
tipoS
inStrucción
proS
· Respuesta extensa: no tiene límite de desarrollo.· Respuesta controlada: se indica la longitud de respuesta esperada
· Contesta a las siguientes cuestiones de acuerdo con lo aprendido en el curso.· Argumenta las razones por las que consideras útil la Teoría X.
· Son más fáciles de construir que las pruebas objetivas· Miden la capacidad del alumno de expresar, aplicar, analizar, sintetizar y valorar· Refuerzan el aprendizaje· Invitan a la investigación, a la reflexión y a la ampliación de lo aprendido en los contenidos.· Se pueden valorar aspectos como el estilo de redacción y la ortografía· Dan libertad de expresión al alumno· Fomentan el estudio exhaustivo· Incita al ensayo de procedimientos de emisión de respuesta· La adivinación queda minimizada al máximo
· Entra en juego la subjetividad en el juicio al valorar los resultados, sobre todo en las de tipo extenso· Las respuestas son heterogéneas en extensión, contenido y estilo de redacción· Costosa corrección en cuanto a dificultad y tiempo
contraS
AnalizarCalcularClasificarCompararComprobarCriticar
DefinirDescribirDiscutirEfectuarExplicarIlustrar
InterpretarJustificarProbarRealizarResolver
tipos de pruebas abiertas o de desarrollo
La variedad de las pruebas abiertas o de desarrollo es muy amplia. Se pueden plantear como posibles prue-bas abiertas:
• Informes escritos• Presentaciones en texto o en formatos multimedia• Editoriales• Investigaciones • Argumentaciones• Ensayos • Trabajos en equipo• Etc.
El formato de las pruebas puede ser:
· breve: consistirá en contestar a una pregunta y jus-tificar la respuesta. Se evaluará, además del contenido, la capacidad de síntesis.
· Extenso: consistirá en exponer los conocimientos relativos a un tema, organizando los datos a criterio propio. Se evaluará también la capacidad de análisis.
Lista de verbos posibles para redactar ítems de desarrollo
5.3.4 EvaLuación DE contEniDoS prácticoS mEDiantE pruEbaS abiErtaS
Para la evaluación de determinados conocimientos, habilidades y destrezas, se pueden desarrollar una serie de actividades prácticas con herramientas que faciliten la toma de datos y, por tanto, la objetividad en la toma de decisiones final sobre el alcance de los objetivos por parte de los alumnos. Con las pruebas de tipo práctico, se evalúa la apli-cabilidad de los contenidos teóricos. Al alumno se le expone un supuesto, una simulación, un trabajo y se le pide:
1. Reconocer/identificar el procedimiento utili-zado justificando su aplicación al supuesto.2. aplicar un procedimiento mediante simulaciones a pequeña escala.3. Ejecutar una tarea en la que intervengan mues-tras representativas de los objetivos que se van a evaluar.
UD. 5.�. Desarrollo de pruebas de evaluación abiertas para teleformación.
Al igual que cuando se diseñan una serie de pruebas para medir conocimientos, para evaluar destrezas y habilidades prácticas se seguirán una serie de pasos.
1. Se identificarán las competencias profesionales que se van a evaluar, especificando cuales van a ser los criterios de ejecución correctos.2. Se elegirá el tipo de prueba más idónea para evaluar cada competencia; para ello será necesario establecer correctamente la tarea propuesta, de-sarrollar las instrucciones necesarias para su de-sarrollo y las condiciones en las que se realizará la prueba. 3. Se determinará si la prueba se realizará de forma individual, en el grupo o en equipos de trabajo.4. Se especificará un sistema de puntuación, un procedimiento y los instrumentos a emplear. 5. Se elaborará una hoja de evaluación con los indi-cadores de las competencias a observar y evaluar.6. Por último, y tras la aplicación de la prueba, se realizarán los registros y el cálculo de las puntua-ciones correspondientes.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN ��
Cuando los objetivos de aprendisaje cognitivos se correspondan con niveles taxonómicos complejos, será deseable la utilización de pruebas abiertas de evaluación para evaluar si se han conseguido.
Identificar/reconocer procedimientos
Aplicación simulada
Ejecución de la tarea
Etapas de la prueba
procESo DE DiSEÑo y Extracción DE rESuLtaDoS DE pruEbaS prácticaS
Identificación de competencias
Selección del tipo de prueba
Selección de modalidad: individual o grupal
Elección de sistema, procedimiento e instrumentos evaluadores.
Elaboración de la hoja de evaluación
Registro y cálculo de puntuaciones
UD. 5.�. Desarrollo de pruebas de evaluación abiertas para teleformación.
5.3.5 inStrumEntoS E inDicaDorES para La EvaLuación
Si recordamos lo visto en la primera Unidad del mó-dulo, cuando se evalúa en Formación, es necesario determinar qué criterios y qué indicadores vamos a utilizar que nos permitan medir la eficacia del proceso y el buen desempeño de los integrantes involucrados. Para elaborar los criterios e indicadores de evaluación, se parte de los objetivos definidos como hemos seña-lado anteriormente.
Las dimensiones señaladas por Lázaro (1992) para formular indicadores, relativas al constructo, la me-dida y los aspectos formales, pueden traducirse en instrumentos que permitan valorar la presencia o ausencia de los elementos que definen esas dimensio-nes o el grado en que éstas se cumplen. Te animamos a revisar de nuevo la Unidad 1 de este módulo, donde se recogían las características que deben reunir los indicadores en su construcción.
Las herramientas con las que podamos contar en ese sentido y de las que dejamos algún modelo de refe-rencia son:
1. Escalas de calificación2. Listas de cotejo3. Hojas de evaluación
Dichos instrumentos nos permiten:· Observar y registrar determinadas conductas a evaluar.· Establecer una única referencia evaluadora para todos los alumnos.· Establecer un método común de evaluación in-dependientemente del tutor que evalúe las con-ductas.· Objetivar aquellos aspectos que en principio son
numéricasCuando se puede medir el resultado de la prueba en escalas numéricas (por ejemplo del 1 al 5, del 1 al 100, etc.).
GráficasCuando se registra el resultado en términos de fre-cuencia u otra categoría (por ejemplo: siempre, gene-ralmente, rara vez o nunca).
DescriptivasCuando se añade al registro una descripción breve pero concisa, que permite reducir la ambigüedad en su interpretación para su posterior juicio.
Consejos útiles:• Los ítems deben ser directamente observables.• Sólo deben tener una interpretación posible cuan-do los lea el alumno.• Aplicable por cualquier tutor.• Se aconseja que el número de categoría de la es-cala sea entre 3 y 7 para reducir la subjetividad.
Para asegurar la emisión de juicios y toma de deci-siones objetiva podemos utilizar los indicadores de evaluación, que, recordamos, son categorías, criterios o reglas que resaltan los elementos críticos del éxito o fracaso del alumno.
A modo de ejemplo se presenta una escala de califi-cación gráfica recogiendo aspectos en la produc-ción escrita por parte del alumno (elaboraremos las nuestras de acuerdo a nuestros criterios de calidad).
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN��
cualitativos.· Evaluar objetivos tanto conceptuales, procedi-mentales o actitudinales
Como principales desventajas de estos instrumentos señalamos:
· No permiten mucha flexibilidad al evaluador.· Aunque permiten objetivar la evaluación, pueden existir interferencias personales de los evaluadores en el momento de puntuar.· Requiere procedimientos estadísticos para extraer conclusiones finales para evitar los sesgos inheren-tes a este tipo de instrumentos. · Se tiende a la rutina y a generalizar resultados.
5.3.5.1 EScaLaS DE caLificación
Las escalas de calificación suministran un procedi-miento sistemático para obtener información sobre las observaciones docentes. Las escalas se componen de una serie de características o indicadores junto a algún tipo de escala en la que se indica el grado en que dichos indicadores se producen. Al igual que cualquier otro instrumento de evaluación, las escalas de califica-ción deben contemplarse dentro de la programación y diseño del curso, teniendo en cuenta los objetivos de aprendizaje y la metodología a utilizar por el tutor.
Las escalas de calificación se desarrollan elaborando una serie de ítems sobre las unidades de competencia a evaluar. Las escalas pueden ser de tres tipos:
Escalas de calificación
Numéricas Gráficas Descriptivas
UD. 5.�. Desarrollo de pruebas de evaluación abiertas para teleformación.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN ��
informE EScrito
Cubre el tema en profundidad
Incluye información actualizada
Incluye datos relevantes
Incluye detalles fundamentales
La organización es adecuada
Utiliza el lenguaje correctamente
Vocabulario variado y preciso
Buena presentación
Contiene ayudas visuales
nunca ocaSionaLmEntE frEcuEntEmEntE SiEmprE
prESEntación
Presenta un enfoque original
Organiza adecuadamente la secuencia
Incluye contenidos actualizados
Se desenvuelve con agilidad y claridad
Mantiene un nivel de interés durante todo el desarrollo
Incluye contenidos actualizados
nunca ocaSionaLmEntE frEcuEntEmEntE SiEmprE
UD. 5.�. Desarrollo de pruebas de evaluación abiertas para teleformación.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN50
trabajo En Equipo
Liderazgo rotativo y efectivo
Intercambio de ideas
Actitudes positivas
Gestión del tiempo
Surgen alternativas de organización
Hay síntesis y revisiones parciales
Uso de varios recursos para recopilar información
Resultado satisfactorio para todos
nunca ocaSionaLmEntE frEcuEntEmEntE SiEmprE
EDitoriaL
Lenguaje escrito de manera clara e interesante
Contiene abundante información de soporte
Contiene al menos, una evaluación manifiesta
Contiene al menos, tres razones para fundamentarla
Convencen a la audiencia
Resumen final de los argumentos
Gramática y ortografía correctas
nunca ocaSionaLmEntE frEcuEntEmEntE SiEmprE
UD. 5.�. Desarrollo de pruebas de evaluación abiertas para teleformación.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN 51
invEStiGación
El tema fue claramente identificado
La información recolectada es relevante
Ofrecen alternativas de solución
El producto final es adecuado
nunca ocaSionaLmEntE frEcuEntEmEntE SiEmprE
una arGumEntación
Reúne información suficiente para sostenerse
Utiliza datos de diversos medios y fuentes
Prepara una buena defensa de su postura
Reúne suficientes ejemplos
Atiende y considera las posiciones opuestas
nunca ocaSionaLmEntE frEcuEntEmEntE SiEmprE
prESEntación muLtimEDia
Contenidos actualizados y relevantes
Recursos visuales variados y de calidad
Formato efectivo para mostrar los conceptos fundamentales
Lenguaje y estilo apropiados a la audiencia
Diseño técnicamente correcto
nunca ocaSionaLmEntE frEcuEntEmEntE SiEmprE
UD. 5.�. Desarrollo de pruebas de evaluación abiertas para teleformación.
En este tipo de instrumento se podría recurrir a la descripción de cada uno de los puntos de la escala, incorporando todavía mayores elementos objetivos y una mayor precisión.
Por ejemplo, en el caso anterior, se podría añadir el número de veces que significa “ocasionalmente” o “frecuentemente”
Un ejemplo de escala numérica sería:
La consideración de los indicadores en forma de índi-ces numéricos o descriptivos, no debe hacernos olvi-dar que el tratamiento de tales valores numéricos debe respetar algunas reglas (Lázaro 1992):
• No deben sumarse indicadores cuando uno es causa de otro.• No deben sumarse indicadores cuando uno forma parte del otro, el peso dado al genérico se debe distribuir entre los que lo componen.• Si los objetivos o finalidades de cada indicador son diferentes, no parece adecuado establecer nin-gún tipo de combinación matemática.
5.3.5.2 LiStaS DE cotEjo
Una lista de corroboración o cotejo es semejante a la escala de calificaciones; la diferencia estriba en el tipo de juicio que se solicita. En la escala de calificación se indicaba el grado en el cual se ha logrado cada una de las características o su frecuencia de aparición; la lista de cotejo, en cambio, es un método que registra la presencia o ausencia de una característica, o de una acción: exige un simple juicio de “sí” o “no”.
Las listas de cotejo son instrumentos de “verificación”, que permiten evaluar una serie de aspectos como conductas, conocimientos, actitudes. Consisten en un listado de indicadores de aquello que se pretende evaluar, al lado de los que el tutor adjuntará un “tic” (visto bueno, una cruz, etc..) en el caso de que se dé o no dicha conducta.
Su nombre en inglés es checking list, ya que actúa como un mecanismo de revisión durante el proceso de los indicadores establecidos según los criterios de evaluación. Es un instrumento que permite intervenir durante el proceso de enseñanza-aprendizaje, ya que
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN52
puede graficar estados de avance o tareas pendientes. Por ello, las listas de cotejo poseen un amplio rango de aplicaciones, y pueden ser fácilmente adaptadas a la situación requerida. Permiten saber si realmente se produce el comportamiento que pretende evaluar la prueba; se utilizan para medir conductas fácilmente observables. Tienen la misma forma que las escalas de calificación.
Las listas de cotejo son muy útiles para:· Evaluar productos terminados, siempre que pueda evaluarse por la sola presencia o ausencia de ele-mentos. En este caso, los indicadores consistirán en definir las características que debe poseer el producto terminado y verificar en el momento de la evaluación si posee o no dichas características. · Evaluar contenidos actitudinales; para ello se es-tablecen cuadros de doble entrada, con el listado de las conductas significativas en un eje y el listado de los alumnos en el otro.
Consejos útiles para elaborar una lista de cotejo:• Identificar y describir claramente cada uno de las conductas a registrar.· Añadir todas aquellas conductas que son general-mente errores comunes.• Ordenar las conductas en orden tal y como se espera que ocurran en el tiempo. • Se utilizarán para evaluar acciones en términos de “sí se produce” o “no se produce”.• Escribir un solo ítem por cada una de las destre-zas observables; de esta manera se podrán evaluar todas.• Redactar los ítems en positivo o negativo; esto se tendrá en cuenta para el momento de la puntuación, ya que de otra manera la calificación podría variar.
frecuencia de participación del alumno en un foro de debate
1
2
�
�
5
Nunca
Rara vez
Ocasionalmente
Frecuentemente
Siempre
Un ejemplo de escala descriptiva podría ser:
frecuencia de participación del alumno en un foro de debate
.............................................
.............................................
.............................................
Nunca, alumno pasivo
Grado de participación similar a otros miembros
Participa más que otros miembros
Aunque lo ideal es producir una tabla de indicadores para cada uno de los aspectos a evaluar, podemos tomar como referencia indicadores establecidos pre-viamente y adaptarlos a nuestras necesidades. Imagi-nemos que se quiere evaluar el tipo de relación esta-blecida por un alumno con el resto de compañeros. Si tomamos como referencia la siguiente lista, segura-mente muchos de los indicadores establecidos podrán ser reutilizados para nuestros propósitos.
UD. 5.�. Desarrollo de pruebas de evaluación abiertas para teleformación.
En ellas no sólo se registrarán las actividades abiertas registradas mediante diferentes instrumentos, sino todo aquello que sea evaluable en el curso y que se haya realizado por otros medios; por ejemplo, aquellas actividades de tipo “cerrado” o que nos proporcionan las plataformas e-learning.
En el siguiente esquema se expresan algunos de los aspectos evaluables y a considerar en la confección de estos instrumentos de evaluación:
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN 5�
indicadores para evaluar la relación con los compañeros
Llama a sus compañeros por su nombre, evitando apodos que les molesten.
Respeta la opinión de sus compañeros aunque no esté de acuerdo.
Apoya las decisiones de la mayoría.
Ayuda a los compañeros que tienen dificultades.
Establece relación con casi todos los compañeros.
Las relaciones que establece son cordiales
Le gusta trabajar en equipo
Si no
Imaginemos que se plantea una actividad de grupo a realizar en un foro de debate. Para evaluar no sólo la cantidad sino la calidad de la intervención por parte del alumno, podríamos confeccionar una lista de cotejo sobre si se producen o no una serie de comportamien-tos. Por ejemplo:
indicadores para evaluar la relación con los compañeros
Respeto el derecho de palabra de los compañeros.
Explica claramente la opinión
Hace aportaciones nuevas a la discusión
Utiliza un lenguaje claro
Estimula la participación de los demás
Domina el contenido
Sitúa su argumento en el contexto
Si no
5.3.5.3 HojaS DE EvaLuación
Es el instrumento de registro que se utilizará para re-flejar lo que observamos en el desarrollo de la prueba práctica. Es una integración de los dos instrumentos citados anteriormente ya que podemos encontrar gra-dos de consecución de los objetivos, obtenidos a tra-vés de las escalas de calificación, así como información sobre si se ha producido o no la conducta deseada, obtenida a través de las listas de cotejo. Será necesario crear las oportunas hojas de evalua-ción de manera que se recojan todos los datos obteni-dos a través de todos los instrumentos de evaluación.
Precisión en el desempeño
Evaluamos
Secuencialidad
Tiempo de ejecución
Organización del trabajo
Uso correcto de herramientas y materiales
Respeto por las normas de seguridad e higiene
Habilidades mediante destrezas
UD. 5.�. Desarrollo de pruebas de evaluación abiertas para teleformación.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN5�
5.3.5.4 vEntajaS E inconvEniEntE DEL uSo DE inDicaDorES
Las principales ventajas e inconvenientes que pode-mos encontrar con el uso de los instrumentos basados en indicadores, según De Miguel (1995) son :
vEntajaS
• Aportan información válida, verificable y relativa-mente neutral.
• Posibilitan establecer comparaciones en función de diversos criterios.
• Permiten que los juicios de valor-valoraciones- se apoyen sobre datos bastante objetivos.
• Facilitan el consenso entre la audiencia implicada.
• Otorgan credibilidad a la toma de decisiones
• Añaden transparencia a todo el proceso evaluador.
incovEniEntES
• Con frecuencia se elaboran a partir de modelos teó-ricos muy sencillos por lo que el indicador ofrece una información muy simple y limitada.
• En algunos casos se introducen sesgos en la evalua-ción por diversas razones.
• Habitualmente existen problemas en la recogida y análisis de los datos, especialmente los referidos al nivel de agregación, lo que cuestiona la objetividad y viabilidad del indicador.
• La falta de homogeneidad en los criterios impide obtener medidas comparables.
• Problemas derivados de sus costos y ámbito de aplicación frecuentemente determinan que muchos indicadores se utilicen de forma distorsionada.
• Pueden orientar toda la ejecución de los programas con el fin de alcanzar los indicadores y alterar, tam-bién, la toma de decisiones.
5.3.6 concLuSionES
Quizás algunas de las competencias prácticas a eva-luar deberán programarse para realizar en sesiones presenciales; éste será el caso para determinadas ha-bilidades psicomotrices, ya que la necesidad de reali-zar una serie de conductas o la utilización de una serie de recursos, hará indispensable la presencialidad, no sólo para la evaluación, sino también para el propio aprendizaje.
Sin embargo, no debemos confundir ni relacionar prueba práctica con sesión presencial. Hay muchas competencias de tipo práctico que pueden ser fá-cilmente evaluables en la distancia. Es el caso claro de las actividades de desarrollo de tipo cognoscitivo, diseñadas para aquellos objetivos, que, por su nivel taxonómico, no pueden ser evaluadas mediante prue-bas cerradas vistas en la Unidad anterior. También será posible aplicar las técnicas vistas en esta Unidad para aquellos objetivos actitudinales para los que podamos establecer unos indicadores observables; y, por último, para aquellas conductas de tipo psicomotriz que pue-dan ser evaluables en la distancia. Un ejemplo claro de ellas lo encontramos en las pruebas orales de idiomas a través de audio o videoconferencia, la evaluación de determinadas habilidades sociales a través de los dife-rentes medios telemáticos o bien el desarrollo práctico de determinados aplicativos informáticos, por señalar algunas.
Recordemos la importancia de establecer una meto-dología blended o con sesiones presenciales, en fun-ción de los objetivos a conseguir. Dejaremos para las sesiones presenciales sólo aquellos objetivos que no puedan ser conseguidos y/o evaluados en la distancia. Con el desarrollo tecnológico de los últimos tiempos, están apareciendo en el mercado nuevos instrumentos
UD. 5.�. Desarrollo de pruebas de evaluación abiertas para teleformación.
y simuladores que están facilitando no sólo la adquisi-ción de determinadas competencias hasta el momento impensables, sino la evaluación de las mismas a través de los medios telemáticos. Un ejemplo de estos si-muladores lo podemos encontrar en los simuladores creados para la conducción de determinados medios de transporte, aunque todavía inaccesibles por su alto coste económico.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN 55
Utilizaremos sesiones presenciales para evaluar aquellas competencias prácticas que no sea posible evaluar a distancia.
Artículos en la página de la universidad politéc-nica de madrid que hablan sobre aspectos de la evaluación:
http://www.gate.upm.es/evaluacion/articulos.htm
Te animamos a que amplíes la información que pre-cises en la numerosa literatura escrita sobre evalua-ción y los instrumentos vistos en esta Unidad. Utiliza tu buscador y te llevará a numerosas referencias donde podrás encontrar la información que precises e innumerables ejemplos.¡A navegar!
UD. 5.�. Desarrollo de pruebas de evaluación abiertas para teleformación.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN5�
pruEbaS abiErtaS
Mapa Conceptual Módulo 5, Unidad 5.3
inStrumEntoSActividad teórica
Actividad práctica
Respuesta extensa
Respuesta controlada
Reconocer/Identificar
Aplicar
Ejecutar
Guía de aplicación
Escalas de calificación
Hojas de evaluación
Lista de cotejo
Gráficas
Descriptivas
Numéricas
Criterios de evaluación
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN 5�
EVALUACIÓN EN TELEFORMACIÓN
UD. 5.�. La evaluación de actitudes en teleformación
MÓDULO 5
OBJETIVOS DE LA UNIDAD: · Determinar los medios más adecuados para la evaluación de actitudes.· Aplicar correctamente los criterios técnicos para la confección de instrumentos de evaluación.
CONTENIDOS:
5.4.1. Introducción
5.4.2 Instrumentos de evaluación de actitudes
5.4.3 Elaboración de pruebas colaborativas.
5.4.4 Instrumentos de registro.
5.4.5 Conclusiones
Mapa Conceptual Módulo 5, Unidad 5.4
UD. 5.�. La evaluación de actitudes en teleformación
¿Qué competencias son las que realmente estamos evaluando cuando utilizamos el término actitudes?
1. De ámbito social: trabajo en equipo, colabo-ración, respeto, empatía, etc…2. participación: implicación en el trabajo, interés, responsabilidad, etc…3. personales: crecimiento y desarrollo personal, apertura al aprendizaje, espíritu crítico, etc…
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN5�
5.4.1. introDucción
La evaluación consiste en la comprobación de los resultados del aprendizaje en el ámbito de los cono-cimientos, procedimientos y actitudes. La educación debe perseguir el desarrollo no sólo académico, sino también personal de los alumnos; es por ello necesario que en las acciones formativas se fomente el pen-samiento crítico y la formación de opiniones propias sobre los diferentes temas.
Los objetivos que implican el desarrollo de actitudes son aquellos que plantean más dificultades a la hora de planificar actividades y fomentar experiencias para desarrollarlos; pero es en el momento de la evalua-ción de las mismas donde los docentes encuentran un mayor número de problemas. Las actitudes que manifiestan los discentes a lo largo de las diferentes acciones formativas han sido las eternas olvidadas en los momentos de evaluación. Es por ello que se destina una Unidad específica para tratar este tema. Sin embargo, todos los instrumentos estudiados en la Unidad anterior nos pueden ser de gran ayuda para registrar conductas referidas a determinadas actitu-des, como es el caso de las escalas de calificación o listas de cotejo.
El tratamiento de lo afectivo – actitudinal, tanto en las programaciones didácticas como en los contenidos, suele hacerse de forma genérica, sin llegar en la ma-yoría de los casos, a trabajar aspectos específicos y concretos de las actitudes. Si esto es una realidad en la formación presencial, en e-learning se hace todavía más patente, ya que, no en pocas ocasiones, los obje-tivos actitudinales han estado ausentes de las progra-maciones y más aún de los criterios evaluadores.
actituDES
SOCIALES PERSONALES
PARTICIPACIÓN
La evaluación de actitudes en teleformación es posible y necesaria.
EVALUACIÓN EN EDUCACIÓN A DISTANCIA: LA EX-PERIENCIA DEL INSTITUTO DE INFORMÁTICA EDUCA-TIVA DE LA UNIVERSIDAD DE LA FRONTERA, CHILE.http://www.virtualeduca.org/virtualeduca/virtual/actas2002/actas02/804.pdf
LA EVALUACIÓN DE LOS APRENDIZAJES ENEDUCACIÓN A DISTANCIAMinisterio de Educación. República de Perú.http://portal.perueduca.edu.pe/comunidad/xtras/web/catalogo_multimedia/doc_med/DI-NESST_evaluacion_en_educacion_secundaria_a_distancia_2003.pdf
DE LA EVALUACIÓN POR PLANTILLA A LA EVALUA-CIÓN INTEGRADA: EL RETO DE LA EDUCACIÓN A DISTANCIA UPEL-IMPM Instituto de Mejoramiento del Profesio-nal del Magisterio (VIII Congreso de Educación a Distancia CREAD MERCOSUR/SUL 2004)http://fgsnet.nova.edu/cread2/pdf/Medina.pdf
5.4.2 inStrumEntoS DE EvaLuación DE ac-tituDES
En la evaluación de actitudes se hace especialmente difícil la aplicación de métodos cuantitativos. Para rea-lizar la evaluación de las actitudes en teleformación, además de las técnicas e instrumentos vistas en la Unidad anterior, podemos servirnos de diferentes téc-nicas para la recogida de datos. Dichas técnicas tam-bién podrán ser útiles para la evaluación de otro tipo de objetivos como los conceptuales o procedimentales:
1. observación sistemática. 2. Entrevistas personales o grupales.3. Lista de control: refleja las actitudes que va-mos a evaluar y nos permite visionar las que hemos evaluado o no en todo momento, además del grado en el que los alumnos las han alcanzado.4. registro de incidencias y hechos resalta-bles: puede ser una tabla con los nombres de nues-tros alumnos donde iremos apuntando las actitudes que demuestras en la realización de actividades y que sean merecedores de evaluación.
UD. 5.�. La evaluación de actitudes en teleformación
competencias profesionales que deben alcanzar. La manera de elaborar los cuestionarios y de aplicarlos es semejante a la de la detección de necesidades vista en el módulo 3.Para que un cuestionario de estas características sea evaluable, se deben definir los criterios de evaluación a aplicar en la información recogida. Las entrevistas pueden realizarse de forma individual o en grupo.
Las entrevistas pueden ser:1. abiertas. No tienen estructura definida; se intro-duce el tema y los alumnos hablan. Existe peligro de no obtener la información que se desea.2. Semicerradas. Se establece un guión general que se sigue en el proceso, pero permiten la impro-visación.3. cerradas. Muy estructuradas, con realización de las preguntas exactas de acuerdo con la información que se quiere recopilar. Suelen ser individuales por el carácter privado que puedan tener las preguntas.4. Exhaustivas. Son de un mayor nivel de detalle en las preguntas. Al igual que en las entrevistas ce-rradas, suelen realizarse de forma individual.
¿Qué beneficios aporta la Técnica de entrevista?1. Es una fuente inagotable de información, ya que las entrevistas son un canal directo de comunicación.2. De la entrevista se desprenden innumerables ma-tices del discurso personal del alumno. 3. Aporta información complementaria para evaluar el proceso.
¿Sobre qué se pregunta a los alumnos? Las preguntas a realizar en la entrevista pueden ser muy variadas: autoevaluación y sensación de progreso, necesidades y expectativas, problemas encontrados, diferentes puntos de vista y funcionamiento general de la acción formativa.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN 5�
Entrevistas
Observación
Técnicas descriptivas
instrumentos para evaluar actitudes
5.4.2.1 técnicaS DE EntrEviSta
Mediante la técnica de entrevista, se pregunta a los alumnos por cuestiones que puedan indicar datos sobre sus comportamientos, actitudes, intereses, expectativas y motivaciones relacionadas con las
técnicas de entrevistahttp://lsi.ugr.es/~ig1/docis/entre1.doc.sxi.pdf
técnicas de recolección de datoswww.losrecursoshumanos.com/focus-group.htm
Entrevistasabiertas
rEcopiLaciónDE DatoS
Entrevistassemicerradas Entrevistas
Entrevistasexhaustivas
tando nuestro parecer en el momento) y anecdota-rios (sólo describimos los hechos para leerlos poste-riormente, alejados de la situación).
Se recomienda utilizar estas técnicas con las siguien-tes consideraciones:
• Establecer a priori aquello que se quiere registrar.• Destacar aspectos tanto positivos como negati-vos del alumno.• Observar de forma periódica al alumno y de-tectar las necesidades que pueda presentar en el proceso. • Registrar el hecho tan pronto como dé lugar.• Registrar la frecuencia de la conducta anotada para poderla considerar representativa o no.
UD. 5.�. La evaluación de actitudes en teleformación
5.4.2.2 técnicaS DE obSErvación
Mediante esta técnica se observan determinadas con-ductas establecidas en los criterios de evaluación. Es una técnica cualitativa y se aplica de forma directa y continua a lo largo del proceso formativo. Para dotar de mayor objetividad a la observación del tutor, se aconseja el uso de instrumentos de registro, como listas de cotejo o escalas de calificación.
Se observarán aspectos tales como:• Cooperación: ayuda a los demás.• Participación: propone activamente.• Disposición al trabajo individual o en grupo.• Aportaciones constructivas.• Capacidad de adaptación: acepta cambios, se adapta a personas y contextos.• Comunicación con los alumnos y con el tutor: expresión clara de sus ideas, escucha activa.• Iniciativa: emprendedor, soluciona incidencias.• Organización: secuencia bien las tareas.• Constancia.• Responsabilidad: acaba lo que empieza, cumple con el trabajo.• …
5.4.2.3 técnicaS DEScriptivaS
Mediante esta técnica se registra aquello que llama la atención sobre la actitud de los alumnos en el de-sarrollo del curso de formación. La información que ofrece es cualitativa y con mucho peso de subjetividad por parte del tutor, por lo que nunca tendrá un peso importante en la emisión de juicios.
Se pueden utilizar diarios (hojas donde describimos los hechos que a nuestro juicio son significativos, ano-
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN�0
El diario del profesor como instrumento de valoración
http://www.naullibres.com/html/aaa/descargas/geaclio/diarioprofesor.pdf
5.4.3 ELaboración DE pruEbaS coLabora-tivaS.
Las actividades abiertas y colaborativas tienen espe-cial mención en esta unidad, ya que es a través de la participación y la implicación del discente con el resto del grupo donde pueden verse un mayor número de actitudes relacionadas con el trabajo en equipo, el tipo de comunicación establecida, el respeto a las normas, etc…
Para plantear una prueba colaborativa, han de tenerse en cuenta una serie de aspectos básicos:
• Se seleccionará el soporte de la actividad, bien puede realizarse en la plataforma e-learning a través de foros, chats, talleres, etc…; bien a través de otras herramientas colaborativas externas. • Independientemente del soporte, para desarrollar la actividad, se potenciará el uso de recursos co-laborativos: foros, chats, mensajería, etc; se deter-minará si la comunicación será entre los miembros de cada grupo, entre grupos o entre todos los alumnos.• Se agrupará a los alumnos según intereses peda-gógicos o perfiles personales o profesionales.• Se informará a los alumnos del esqueleto de la actividad: objetivos a alcanzar, roles del grupo, responsabilidad grupal e individual y recursos a uti-lizar.• Se establecerán los criterios de evaluación antes de comenzar la actividad.
Desde las pruebas colaborativas y para ayudar a con-seguir determinados objetivos del ámbito actitudinal, las pautas para desarrollar la actividad serán:
• Fomento del aprendizaje por descubrimiento.• Experimentación con y sobre los conceptos aprendidos.
• El enunciado de la actividad actuará como media-dor del aprendizaje.• El alumno debe apropiarse de las ideas que resul-ten del aprendizaje en cuestión.• Cada grupo presentará la actividad de la manera que el tutor establezca de antemano.• Se potenciará el debate, el intercambio y defensa de diferentes hipótesis, incitando a la construcción social del conocimiento.• Utilización de recursos colaborativos, donde los alumnos pueden construir la documentación.• Se potenciará la búsqueda de bibliografía.• Fomento de la transferencia entre los grupos mediante el análisis y reflexión de los conceptos estudiados.• El tutor como mediador en el proceso.
La información que será necesario ofrecer a los alum-nos al inicio de las actividades colaborativas serán:
• Objetivos específicos que se van a medir y criterios de evaluación.• Organización de los participantes; número de gru-pos, número de alumnos por grupo…• Fechas objetivo.• Medios y tipo de comunicación que se va a esta-blecer: síncrona y/o asíncrona.• Temas a desarrollar.
Fases en la realización de las pruebas colaborativas:
1. preparación. En esta fase se ofrece a los alumnos los materiales necesarios y una guía de ejecución que contendrá pre-guntas de evaluación, propuestas, etc… Se explicará qué es lo que se espera de ello y cómo se espera que lo hagan. Es en esta fase cuando se determinan los roles a desempeñar dentro de los grupos.
UD. 5.�. La evaluación de actitudes en teleformación
2. puesta en marcha de la actividad. En esta fase se inicia la actividad propiamente di-cha; las herramientas deben estar disponibles y se solucionan los problemas que puedan surgir, tanto de aspectos técnicos como metodológicos.
3. Desarrollo. En esta fase se recopila la información y se estructura el material seleccionado; se realiza el trabajo siguiendo los criterios del grupo, redacción de conclusiones y puesta en común.
4. finalización. Exposición de conclusiones por parte del portavoz nombrado en el grupo. Se puede recopilar la informa-ción aportada por cada grupo en la biblioteca virtual.
5.4.3.1 EvaLuación DE La coLaboración.
En las actividades colaborativas, vamos a encontrar una gran diversidad individual dentro de los grupos de trabajo. Esta cuestión que puede ser una fuente de riqueza personal para todos los implicados, frecuen-temente supone un problema para evaluar, ya que, a priori, evaluando de la forma más objetiva posible, deberíamos evaluar el resultado final de forma global, es decir, el resultado final del grupo de trabajo. Sin embargo, no todos los alumnos trabajan igual y se implican de la misma manera en las actividades de los equipos de trabajo. En teleformación podemos abordar esta cuestión sin grandes problemas por la riqueza de registros de colaboración que tenemos disponibles, registrando no sólo los resultados obtenidos, sino los procesos seguidos por cada uno de los integrantes del grupo.
Criterios de evaluación y actuaciones tutoriales:• Evaluación del nivel de participación individual mediante registros que nos dan información de total de conexiones, total de registros, máximos por día, frecuencia mínima y máxima semanal, así como la cantidad y calidad de las intervenciones realizadas en el trabajo grupal. • Evaluación del material elaborado, rendimiento grupal, aplicando los criterios de evaluación míni-mos comunicados a los alumnos.• Evaluación de la presentación de conclusiones.
En base a las teorías de Bourguin, 2001, Cabrera, 2004, González, 2005, se definen cinco variables sobre la puesta en marcha del aprendizaje colaborativo:
1) interdependencia positiva: es la base del apren-dizaje colaborativo; se evaluará el desempeño de cada miembro del grupo para garantizar el éxito de la inte-
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN �1
criterios de revisión de un curso que utiliza aprendizaje basado en problemas
http://64.233.183.104/search?q=cache:x4kbFo-q7qzMJ:www.itesm.mx/va/dide/pdhd_2001/crite-rios_pbl_dacs.doc+ELABORACI%C3%93N+DE+PRUEBAS+COLABORATIVAS&hl=es&ct=clnk&cd=7
EVALUAR A TRAVÉS DE INTERNET. REVISTA PIXEL-BIT Nº 24 JULIO 2004. Universidad de Las Palmas de Gran Canaria(España-UE)
http://www.sav.us.es/pixelbit/pixelbit/articulos/n24/n24art/art2406.htm
gración del aprendizaje.
2) interacción. Calidad y cantidad de interacciones entre los participantes.
3) responsabilidad individual y de grupo: Cada miembro del grupo tiene asignados objetivos evalua-bles que contribuyen al logro de los objetivos grupa-les. Se puede asignar al supervisor la responsabilidad del logro de objetivos grupales.
4) aprendizaje de habilidades sociales: se eva-lúan por observación. Estarán debidamente potencia-das para poder evaluarlas.
5) revisión del proceso del grupo. Esta tarea es compartida entre el tutor y los alumnos. Se evalúan procesos de síntesis, ilustración de conclusiones con elementos gráficos, supuestos prácticos …; las pre-guntas de evaluación presentadas en la guía de desa-rrollo serán el requisito mínimo para considerar que se ha alcanzado el objetivo.
UD. 5.�. La evaluación de actitudes en teleformación
5.4.4 inStrumEntoS DE rEGiStro
El tutor a lo largo de una acción formativa irá regis-trando aquellas conductas de interés y los diferentes acontecimientos sucedidos en el curso. Para ello se ayudará de los diferentes instrumentos vistos a lo largo de este módulo, así como de diferentes hojas de registro donde guardar los resultados obtenidos en el proceso.
Las fichas de control u hojas de registro serán de utilidad para registrar y puntuar los logros y progresos de los alumnos. Dichas hojas de registro pueden tomar la forma o construirse a partir de diferentes instrumen-tos como listas o escalas.
· Control de fechas objetivo y puntuaciones aisladas obtenidas:
Relación de las actividades entregadas, permitien-do la comparación entre los alumnos del grupo, y la visión de progreso. Suelen realizarse de forma automática en la LMS.
· Ficha individual donde se verá el progreso del alumno.Además del progreso, refleja aspectos como la participación, motivación…,
· Ficha de control de producciones del alumno, portafolios, carpeta de trabajo …
A modo de ejemplo, se presentan algunos modelos de registro que ayudan a evaluar las actitudes del alumno de la manera más objetiva posible.
Elaboraremos criterios de registros sobre la participa-ción y dedicación:
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN�2
Sistema maleable para el apoyo y guiado del apren-dizaje colaborativo basado en servicios grid (Dpto. de Teoría de la Señal, Comunicaciones e Ingeniería Telemática. Universidad de Valladolid).
http://gsic.tel.uva.es/uploaded_files/52415_Bote-JITEL05.pdf
frecuencia de conexiones
alta (criterio) media (criterio) baja (criterio)
observaciones
frecuencia de intervenciones
alta (criterio) media (criterio) baja (criterio)
observaciones
calidad de intervenciones
alta (criterio) media (criterio) baja (criterio)
observaciones
ritmo detrabajo
alta (criterio) media (criterio) baja (criterio)
observaciones
UD. 5.�. La evaluación de actitudes en teleformación
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN ��
trabajo En Equipo
Tiene sentido de compañerismo
Es responsable en el trabajo
Acepta las críticas de los demás
Trabaja con minuciosidad y detalle
Se comunica de manera adecuada y con respeto
Toma iniciativa en el grupo
Trabaja de manera autónoma
Planifica las tareas y establece prioridades
Es flexible
Respeta normas y compromisos
EvaLuación
1 2 � � 5
1 2 � � 5
1 2 � � 5
1 2 � � 5
1 2 � � 5
1 2 � � 5
1 2 � � 5
1 2 � � 5
1 2 � � 5
1 2 � � 5
MATRICES DE RUBROS PARA EVALUACIÓN CUALITA-TIVA DEL APRENDIZAJE EN EDUCACIÓN A DISTANCIA
http://64.233.183.104/search?q=cache:mCdfU-dpwM2MJ:www.universia.pr/congreso/30/30.rtf+EVALUACI%C3%93N+DE+ACTITUDES+A+DISTANCIA&hl=es&ct=clnk&cd=10
UD. 5.�. La evaluación de actitudes en teleformación
5.4.5 concLuSionES
¿Es posible desarrollar y evaluar actitudes en teleformación?
La respuesta, definitivamente, es SÍ; actitudes como la cooperación entre compañeros, el respeto a los demás, el interés por el aprendizaje y la superación personal entre otras muchas, están presentes en las acciones formativas e-learning. El que dichas compe-tencias actitudinales puedan ser observables y evalua-bles por parte del tutor dependerá en gran medida de la dinámica de tutorización y de los enfoques psicope-dagógicos de las diferentes acciones formativas. Si el tutor fomenta el intercambio de experiencias, la par-ticipación, la colaboración, la curiosidad, la reflexión crítica, el desarrollo de actividades constructivas y de investigación, estará garantizando la aparición de determinadas actitudes observables a través de las diferentes comunicaciones en los medios telemáticos. Es por ello fundamental dotar de importancia a la “in-teracción didáctica” en el aula, ya que la colaboración, el intercambio de ideas y experiencias con los compa-ñeros favorecen el aprendizaje.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN��
UD. 5.�. La evaluación de actitudes en teleformación
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN �5
EvaLuación DE actituDES
Mapa Conceptual Módulo 5, Unidad 5.4
pruebas colaborativos Rendimiento grupal
Presentación de conclusiones
Participación
Ámbito social
Personales
métodos e instrumentos
registros
Participación
Observación
Entrevista
Técnicas descriptivasAnecdotarios
Diarios
Fichas de control
Abierta Semicerrada Cerrada Exhaustiva
Cooperación
Participación Iniciativa
Disposición
EVALUACIÓN EN TELEFORMACIÓN
UD. 5.5. La evaluación de la calidad de la teleformación.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN��
MÓDULO 5
OBJETIVOS DE LA UNIDAD: · Definir los aspectos a evaluar del proceso en un curso de teleformación· Determinar los instrumentos y medios de evaluación en la evaluación de la calidad formativa y de gestión del proceso.· Aplicar los modelos de la calidad (ISO) y excelencia (EFQM) en la evaluación de la calidad formativa.
CONTENIDOS:
5.5.1 Introducción
5.5.2 Tendencias en la evaluación del e-learning
5.5.3 Evaluación de la actividad formativa 5.5.3.1 Modelo de Kirkpatrick5.5.3.2 Evaluación de la calidad formativa y de gestión del proceso.5.5.3.3 Valoración del equipo de trabajo.5.5.3.5 Evaluación de los contenidos y plataformas tecnológicas5.5.3.6 Evaluación de costes - beneficios
5.5.3.7 Pautas y modelos de evaluación de la calidad
5.5.4 La evaluación de enfoque global5.5.4.1 Modelo de calidad ISO 9000 (International Standard Organitation)5.5.4.2 Modelo de excelencia EFQM (European Foundatión for Quality Model)5.5.4.3 El “Benchmarking”
5.5.5 Conclusiones
Mapa Conceptual Módulo 5, Unidad 5.3
5.5.1 introDucción
Evaluar la calidad de un programa e-learning es im-portante para los gestores de formación, ya que per-mite analizar los resultados y beneficios aportados, así como las mejoras necesarias para posteriores progra-mas formativos.
Sobre el concepto de calidad existen multitud de de-finiciones; sin embargo, tal y como hemos ido viendo a lo largo de los diferentes módulos de este curso, evaluar la calidad del e-learning implica un análisis exhaustivo no sólo de los resultados y procesos, sino también de todos los elementos intervinientes en los mismos. Éstas son:
• Las actividades dirigidas al diseño y programación de las acciones formativas.• El diseño de contenidos adaptados a los nuevos entornos formativos.• La elección del entorno tecnológico; el aula y las herramientas disponibles.• Los servicios de soporte técnico.• Los procesos de gestión: coordinación, logística, evaluación de los alumnos, diplomas acreditativos, etc…) • Gestión tutorial y desarrollo de los procesos, etc…
Para todo ello, será de vital importancia conocer la opinión tanto de los clientes externos (empresas y alumnos), como de los clientes internos (docentes, gestores, etc…)
Con los resultados obtenidos mediante la medición de la calidad de los procesos formativos se conseguirá:
• Mejorar la utilidad y funcionalidad de los entornos tecnológicos y herramientas utilizadas en las ac-ciones formativas.
UD. 5.5. La evaluación de la calidad de la teleformación.
• Mejorar la calidad educativa en general de las acciones formativas.• Mejorar los contenidos disponibles para los nue-vos entornos educativos. • Mejorar la eficiencia de todo el personal del centro de Formación implicado, aumentando la satisfac-ción y motivación del mismo. • Mejorar la calidad en la atención al cliente externo e interno y, por tanto, producir una mejora sustan-cial en la competitividad de la empresa.
5.5.2 tEnDEnciaS En La EvaLuación DEL E-LEarninG
La teleformación es un producto resultante de la com-binación de la sociedad de la información y la era digi-tal con las necesidades cada vez más crecientes de las empresas y organizaciones de resultar cada vez más competitivas en el entorno empresarial cambiante.
Como en todo proceso de reciente implantación, surge la necesidad de evaluar el e-learning como respuesta a las necesidades surgidas en los nuevos entornos empresariales. Desde esta inquietud, han sido nume-rosas las iniciativas llevadas a cabo para establecer estándares que permitan certificar la calidad de las acciones formativas.
Según Sangrà, (2001), hasta el momento se puede hablar de dos grandes tendencias en relación a las prácticas para evaluar la calidad de las instituciones y de los proyectos que utilizan el e-learning como acti-vidad formativa con entidad propia:
· Enfoque parcial. Centrado principalmente en la actividad formativa, materiales y contenidos, plata-formas tecnológicas y la relación coste-beneficio.· Enfoque global; los sistemas de evaluación cen-
trados en modelos y/o normas de calidad estándar y calidad total y los sistemas basados en la práctica del benchmarking.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN ��
Te animamos a buscar información y artículos de interés sobre calidad e-learning en la página de la u.o.c:
http://www.uoc.edu/web/esp/art/uoc
5.5.3 EvaLuación DE La activiDaD formativa La finalidad de la evaluación de la actividad formativa será fundamentalmente:
· Comprobar la consecución de objetivos formativos.· Establecer las mejoras necesarias en los procesos· Determinar la relación coste – beneficio de las acciones formativas.
UD. 5.5. La evaluación de la calidad de la teleformación.
5.5.3.1 moDELo DE kirkpatrick
Existen diferentes modelos teóricos sobre los que ba-sar la evaluación, aunque vamos a tomar como refe-rencia uno de los más ampliamente utilizados en For-mación en general y en los últimos años en e-learning en particular. Se trata del modelo de los cuatro niveles de Kirkpatrick (1994). El modelo está orientado a evaluar el impacto de una determinada acción formativa a través de cuatro niveles diferentes: la reacción de los participantes, el aprendizaje conseguido, el nivel de transferencia al-canzado y el impacto resultante. 1. reacción de los participantesEs la evaluación más utilizada en Formación, ya que la reacción de los participantes generalmente se mide a través de los cuestionarios de opinión y/o los gru-pos de discusión al final de la acción. Es el feed-back que los alumnos ofrecen sobre la acción formativa. Siguiendo criterios de calidad, sería deseable obtener datos de opinión no sólo al final del proceso, sino durante el desarrollo del mismo, ya que ello facilitaría el establecimiento de medidas correctoras durante la acción. 2. aprendizajeEsta evaluación persigue comprobar el nivel de com-petencias adquiridas por el alumnado a través de las diferentes pruebas de evaluación (estudiadas en uni-dades anteriores)
3. transferenciaLa evaluación de la transferencia tiene como objeti-vo comprobar si las competencias adquiridas con la formación se aplican en el entorno de trabajo y si se mantienen a lo largo del tiempo. Es decir, se trata de
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN��
página de la universidad politécnica de madrid. Ofrece multitud de recursos y enlaces para la evalua-ción: encuestas, plantillas y artículos.
www.gate.upm.es/evaluacion/instru2externa.htm
EvaLuación DE La activiDaD formativa
Del impacto: Modelo Kirkpatric
De la calidad formativa y gestión del proceso
Del equipo de trabajo
De los contenidos y lasplataformas tecnológicas
De los costes/beneficios
Puedes ampliar información sobre el tema en artícu-los de interés en las siguientes páginas web:
modelos de evaluación:http://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htm
modelo de evaluación de plataformas tec-nológicas e-learning. Instituto Tecnológico de Buenos Aires. http://www.itba.edu.ar/capis/epg-tesis-y-tf/cha-rum-tm.pdf
Libro de buenas prácticas e-learning:http://www.buenaspracticas-elearning.com/node/45
evaluar los beneficios para los que se destina la for-mación. Aunque es de vital importancia, pocas son las organizaciones que evalúan los procesos de transfe-rencia del aprendizaje a las organizaciones y empresas donde las competencias adquiridas se ponen a prueba. Kirkpatrick recomienda en su bibliografía, que esta evaluación se realice algunos meses después de la formación para que los estudiantes puedan aplicar lo aprendido en su ambiente de trabajo. 4. impacto Aunque en la mayor parte de las ocasiones, el impacto de la formación se ha medido por criterios exclusiva-mente económicos y de mayor productividad, existen
5.5.3.2 EvaLuación DE La caLiDaD formativa y DE GEStión DEL procESo.
Entendemos por calidad:
“La propiedad o conjunto de propiedades in-herentes a una cosa, que permiten apreciarla como igual, mejor o peor que las restantes de su especie” (R.A.E.).
“Proceso que cumple con las especificacio-nes” (P. Crosby).
“Satisfacción de las expectativas del cliente” (A. Feigenbaum).
“La totalidad de características de una en-tidad que le confiere la aptitud de satisfa-cer necesidades, implícitas o explícitas”. (ISO 9.000).
Determinaremos un déficit en la calidad del proceso cuando:
• Exista diferencia entre lo que el alumno o la orga-nización espera y lo que obtiene.• Las medidas adoptadas para cubrir las necesida-des detectadas sean insuficientes.• El grado de cumplimiento de los criterios de ca-lidad establecidos sea bajo o más bajo de lo es-perado.• Existan contradicciones entre lo que se dice que se va a aprender y lo que se aprende.
Para analizar el proceso formativ o desde la perspec-tiva de calidad, tendremos en cuenta:
1. Los objetivos generales2. Necesidades de la organización y alumnos3. Definición de los criterios de evaluación4. Previsión de incidencias
UD. 5.5. La evaluación de la calidad de la teleformación.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN ��
Otras teorías sobre la evaluación de la calidad de las acciones e-learning:
teoría de p. crosby:http://www.geocities.com/gehg48/TeoriasCrosby.html
teoría del Dr. armand feigenbaum:http://www.geocities.com/gehg48/TeoriasFei-genbaum.html
moDELo kirkpatric para La EvaLuación DE La caLiDaD En formación
Reacción de los participantes
Aprendisaje
Transferencia
Impacto
otros criterios más cualitativos como la satisfacción, motivación o mejora del servicio que no han de perder-se de vista en la evaluación del impacto de la formación en el entorno empresarial.
e medirá el proceso en términos de eficacia y eficiencia. Entendiendo por eficacia el grado en el que se alcanzan los objetivos formulados en base a los requerimientos hechos por la organización y a las necesidades del alumno, y, por eficiencia la relación que se establece entre la eficacia y el coste.
Aspectos que ofrecerán información sobre déficits en la calidad son:
• Abandonos una vez comenzado el curso• Faltas de asistencia o participación• Se tienen que ofrecer demasiadas oportunidades a los alumnos para demostrar conocimientos• Cuando se observa que los alumnos no alcanzan objetivos y su motivación no es la deseada.
¿Cómo aplicar el modelo Kirkpatrik?Un ejemplo en: http://www.pyb.com.co/documentos/noticias
más información sobre el modelo kirkpatrick:
· http://www.formacioncontinua.inap.map.es/portal/NuevaWeb/index.html
· http://www.uhu.es
Utiliza tu buscador para encontrar multitud de artículos con numerosos ejemplos de aplicación del modelo.
UD. 5.5. La evaluación de la calidad de la teleformación.
5.5.3.4 EvaLuación DE LoS contEniDoS y pLataformaS tEcnoLóGicaS Los contenidos e-learning cobran una especial re-levancia para su evaluación, ya que son el principal instrumento de trabajo con el que se encuentran los alumnos. De allí a que su evaluación cobre especial importancia y se dediquen grandes esfuerzos a esta-blecer criterios de calidad de los mismos.
Entre las iniciativas que se destaca para valorar los materiales multimedia para e-learning, encontramos:
· The Instructional Management Systems Project (http://ims.org), que reúne a empresas americanas multinacionales informáticas e instituciones educa-tivas para definir estándares tecnológicos. · Promoting Multimedia Acces Education and Training in European Society (http://www.perseus.tufts.edu), un proyecto orientado a definir la calidad formativa de los materiales multimedia.
Existen otro tipo de propuestas más abiertas y al al-cance de formadores y tutores, como las estudiadas en los módulos 2 y 3 de este curso, que conllevan la identificación de criterios básicos para determinar la calidad de unos contenidos mínimos de calidad. No nos extendemos en este punto ya que se trató amplia-mente en los módulos correspondientes. En esta línea se encuentra el instrumento promovido por la European Academic Software Award (Baumgar-tner y Payr, 1997) desarrollado en torno a doce criterios: exactitud, relevancia, cobertura, interacción, aprendi-zaje, uso, navegación, documentación, interface, uso del ordenador, adaptabilidad e innovación.
En lo que respecta a las plataformas tecnológicas, como ya se vio a lo largo del módulo 2, la dimensión y funcionalidad de un campus virtual puede variar sus-
tancialmente según se trate en cada caso. En el mer-cado existen numerosas plataformas con posibilidades de adaptación a las necesidades de cada caso. Evaluar la plataforma tecnológica debe ser un paso previo en el momento de su elección, pero es necesario estar atento a la evolución de los entornos tecnológicos en las soluciones e-learning, ya que éstos avanzan a ritmos vertiginosos. De allí, la importancia que adquiere la evaluación formativa o de proceso orientada a la mejora progresiva del entorno virtual.
Existen iniciativas que han elaborado modelos o es-tándares de calidad de plataformas virtuales, entre las que se destacan los Quality Standards on the Virtual Campus desarrollados por la Universidad de Pensilva-nia, (http://www.vup.org/standards).
Un modelo más cualitativo es el modelo ACTIONS de Bates (1999), especialmente orientado a la toma de decisiones del entorno virtual. Bates indica seis crite-rios que ayuden a la toma de decisiones:
· acces (accesibilidad), · costs (costes), · teaching and learning (enseñanza – aprendizaje), · interactivity and use facility (interactividad y fa-cilidad de uso), · organizational issues (asuntos organizacionales), · novelty and speed (actualizada y rápida).
Recordemos que los criterios de selección de las pla-taformas tecnológicas irán definidos por los instru-mentos y recursos que pongan a disposición de los participantes y que respondan a necesidades reales; necesidades que son diferentes de unos casos a otros; por tanto, los criterios de calidad no sólo se definirán en base a unos planteamientos generales, sino como respuesta a si cubren las necesidades concretas de una acción formativa y organización.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN�0
5.5.3.3 vaLoración DEL Equipo DE trabajo:
Uno de los aspectos que mayor información nos puede aportar sobre la calidad del proceso formativo es la forma en que el equipo de trabajo se relaciona e inte-ractúa con la acción formativa. Algunos indicadores de calidad resultantes durante un curso pueden ser:
· Unificación de criterios por parte de todos los participantes.· Cooperación.· Comunicación fluida.· Respeto por las normas de conducta tácitas.· Ambiente propicio para la lluvia de ideas, hay pre-disposición a escuchar.· Cada uno de los componentes del grupo asume las responsabilidades que lleva su rol sin grandes problemas.· Todos aportan trabajo significativo, existe parti-cipación activa.· Los componentes se sienten contentos de perte-necer al grupo.· Hay confianza entre los miembros para tratar cual-quier tipo de cuestión que pueda surgir.· Existe predisposición para comprender las idiosin-crasias personales y de contexto.· Existe cierto grado de asamblea.· El grupo se automotiva.· El grupo quiere mejorar sus métodos y productos.
Falta todavía establecer y consensuar criterios a nivel europeo sobre las plataformas tecnológicas y conteni-dos e-learning, que ofrezcan parámetros y estándares de calidad y orientaciones claras y concretas sobre las directrices generales a seguir en este sentido y que, por tanto, permitan establecer comparaciones correctas entre todas las posibilidades existentes.
5.5.3.5 EvaLuación DE coStES-bEnEficioS
La implantación de una solución e-learning requiere una inversión inicial importante, que, desde el punto de vista financiero, debe retornar en una serie de be-neficios que justifiquen dicha inversión. Es lo que en economía se denomina ROI (Return On Investment – ROI= beneficios/costes)
La formación tanto presencial como e-learning genera siempre una serie de beneficios y costes asociados. Valorar los costes de las acciones formativas no es complicado; el problema se da en cómo medir los beneficios que esta formación produce, más allá del propio aprendizaje o desarrollo personal y profesional que puede producir en los agentes participantes.
Cuantificar los beneficios que la formación aporta no es tarea fácil, ya que se dan consecuencias tanto cuantitativas (mayor productividad, ahorro de tiempo, etc…), como cualitativas (motivación, satisfacción del personal, desarrollo de habilidades sociales, etc…)
La importancia del ROI como instrumento de eva-luación reside en poder estimar cómo las mejoras producidas por las acciones formativas repercuten en los resultados económicos de las organizaciones y empresas; sólo de esta manera dispondremos de un instrumento de control de la eficacia y eficiencia de la
UD. 5.5. La evaluación de la calidad de la teleformación.
formación y, por tanto, en la justificación de las inver-siones en la misma.
Lo primero de todo, habría que comparar los costes y beneficios del e-learning respecto a la formación tradicional presencial. Existen opiniones contrapuestas sobre si la modalidad formativa del e-learning es más o menos costosa que la formación presencial. Para obtener una respuesta objetiva, se debería aplicar un análisis de costos. Pero, si además se desea conocer los beneficios esperados, un buen instrumento para realizarlo es el cálculo del retorno sobre la inversión.
En e-learning, aunque se evitan costes de la modalidad tradicional como alquiler de aulas, dietas y despla-zamientos, etc…, incorpora nuevos gastos que no se dan en la formación tradicional, como plataformas tecnológicas o inversión en contenidos multimedia. Será función de los departamentos de formación y ad-ministrativos de las empresas realizar un análisis de los costes y beneficios que puede aportar una formación sobre la otra.
Hay varias maneras de medir el retorno de la inversión, desde algunas relativamente simples hasta otras que implican cálculos financieros y suposiciones relativa-mente complejas.
Para ayudar a los gestores de formación , ofrecemos una fórmula muy simple que sirva de indicador del retorno de la inversión e-learning:
También podríamos considerar los costes y beneficios indirectos, pero son de difícil medición y evaluación, por lo que evitamos su exposición en este tema.
¿cómo evaluar la viabilidad de un proyecto e-learning?Los estudios de viabilidad tienen como objetivo con-siderar todos los aspectos que pueden influir en una implantación exitosa de una solución e-learning.
Para analizar la viabilidad de un proyecto e-learning, tendremos que considerar cuatro aspectos fundamen-tales:
· viabilidad económica. Se realizará un estudio de costes/beneficios.· viabilidad estratégica del negocio. Ello con-lleva el análisis del mercado, oportunidades y ame-nazas del mismo. · viabilidad organizacional. ¿Con qué recursos humanos se cuenta para poner en marcha el pro-yecto? ¿Existen en la organización unas condiciones mínimas tanto estructurales como funcionales?· viabilidad técnica. ¿Se dispone de la tecnología e infraestructura necesaria?
5.5.3.6 pautaS y moDELoS DE EvaLuación DE La caLiDaD
Una de las principales preguntas que deberíamos ha-cer es qué aspecto tiene un curso e-learning de ca-lidad. Las siguientes preguntas nos ayudarán como tutores a establecer un guión mínimo exigible para dar respuestas formativas de calidad.
1. Sobre el funcionamiento general:· ¿Hay tutoriales sobre el uso del entorno tecno-lógico?
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN �1
Retorno de la inversión (beneficios) = ingresos (facturación de los cursos) menos costes (dinero invertido en el proyecto),
dividido por costes
· ¿Cómo y cuándo podemos comunicarnos con los servicios de soporte técnico? · ¿Cómo y cuándo se puede contactar con el tutor? ¿Está accesible?· ¿Existe acceso a medios y materiales complemen-tarios por parte del alumno?
2. Diseño y organización de los materiales· ¿Está todo el material preparado y disponible al principio del curso?· ¿Es adecuado el diseño gráfico y pedagógico de los materiales?· ¿Está bien organizado el material de forma lógica y secuencial?· ¿Es accesible para todos los alumnos?
3. comunicación y actividades· ¿Se estimula desde el tutor o los materiales la colaboración y participación?· ¿Existen diferentes tipos de actividades a lo largo de la acción formativa?· ¿Se fomenta la comunicación e interacción cons-tructiva?· ¿Se fomenta el pensamiento crítico y de solución de problemas?· ¿Se utilizan diferentes y variadas herramientas de comunicación?· ¿Se utilizan elementos multimedia motivadores para el alumno?· ¿Se utilizan elementos para favorecer la atención?
4. Los sistemas de evaluación· ¿Hay suficientes actividades de evaluación para comprobar la adquisición de las competencias? · ¿Se utilizan diferentes estrategias para evaluar competencias diferentes?· ¿Recibe el alumno constante feed-back y propues-tas de mejora por parte del tutor?
UD. 5.5. La evaluación de la calidad de la teleformación.
· ¿Se da oportunidad a los alumnos de opinar sobre los contenidos, organización y desarrollo del cur-so? ¿De qué forma?· ¿Se utiliza ese feed-back para mejorar el curso durante su desarrollo?
¿Cómo debe reaccionarse ante los déficits de calidad?
· Escucha activa de las quejas.• Identificación del problema real.• Ofrecer respuesta lo antes posible pero asegurán-donos de que es adecuada; si no lo fuera, incremen-taríamos la sensación de descontento.• Utilizar nuestras destrezas como comunicadores.
On error training: nombre que se le da a la técnica de afrontamiento del fallo, para analizarlo y solucionarlo.
Mecanismo de reacción:1. Tendremos presente desde el momento que se realiza la queja que no es una cuestión personal; lo que persigue el alumno/cliente es el fallo.2. Reconoceremos el fallo en el momento que lo identifiquemos.3. Si es posible, seguido del reconocimiento, plan-tearemos soluciones.4. Utilizaremos todos los recursos que estén a nues-tro alcance para solucionarlo.
Se ofrecen a continuación directrices y pautas para ayudar a tutores y gestores a establecer indicadores de evaluación de las acciones formativas e-learning:
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN�2
Evaluación de los conocimientos previos
Evaluación inicial
Detección de necesidades
Análisis de contexto
Adecuación de objetivos, contenidos, metodología…
Evaluación de procesos y productos
Continua o procesual
Evalúa los métodos utilizados
Establece juicios sobre eficacia
Base de mejoras para futuras programaciones
Evaluación del tutor
Continua
Selección mediante currículum
Conocimientos
Habilidades
Actitudes
Aptitudes
UD. 5.5. La evaluación de la calidad de la teleformación.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN ��
programación formativa
Sumativa
Satisfacción de los alumnos
Aprendizaje de conocimientos
Aprendizaje de capacidades
Aplicabilidad de los conceptos aprendidos
Calidad del periodo formativo
Rentabilidad económica
Encuesta anónima sobre profesorado, contenidos, or-ganización, metodología, recursos, materiales…
Pruebas abiertas y cerradas
Pruebas prácticas
Pruebas prácticas
Posterior a la finalización del curso
R.O.I. = beneficios/costes
Evaluación del diseño formativo
Final
Objetivos
Contenidos
Metodología
Actividades
Recursos
Comprobar si se han alcanzado
En función de su adecuación a los objetivos
En función del tipo de alumnos, recursos disponibles, contenidos a transmitir…
Grado en el que se ajustan a los contenidos
Aula
Versión imprimible de los contenidos
Versión multimedia
Herramientas técnicas
Condiciones óptimas de trabajo
Evaluamos en cantidad y calidad
Adecuación a los contenidos y objetivos del curso
Aplicación de las TIC
UD. 5.5. La evaluación de la calidad de la teleformación.
Un modelo de evaluación de la acción formativa para los alumnos se ofrece a continuación (se recomienda la realización de un modelo adaptado en cada caso):
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN��
Evaluación del contexto
Final
Contexto Profesional
Cntexto Social
Contexto Formativo
Ambiente institucional, adecuación del programa, ideología, contenidos.
Relaciones sociales, objetivos alcanzados, adecuación de la programación.
Alumno
Contexto
Autonomía, trayectoria…
Recursos, posibilidades, materiales…
cataLoGación y EvaLuación DE SiStEmaS DE tELEformación
título del curso:
Dirección urL :
institución que lo imparte:
Dirección del curso:
objetivos:
asignaturas: (breve exposición del contenido)
Destinatarios:
mapa de navegación del entorno de teleformación:
infraestructura necesaria para los alumnos:
UD. 5.5. La evaluación de la calidad de la teleformación.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN �5
aSpEctoS funcionaLES DEL curSo
interés del curso (¿Qué ofrece?)
Eficacia (fracasos, abandonos)
versatilidad (¿se adapta a los usuarios?)
Excelente Alta Suficiente Baja
EL Entorno tELEmático
Sencillez, facilidad de uso
calidad del entorno audiovisual
calidad y estructuración de los contenidos
navegación e interacción con el entorno
comunicación interpersonal y trabajo colaborativo
Hipertextos (descriptivos y actualizados)
originalidad y uso de tecnología avanzada
fiabilidad y seguridad del entorno
Excelente Alta Suficiente Baja
UD. 5.5. La evaluación de la calidad de la teleformación.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN��
EL pLan DocEntE y EL moDELo pEDaGóGico
plan docente del curso
adecuación a los destinatarios
información sobre el plan docente y el desarrollo del curso
flexibilización del aprendizaje y autonomía de los estudiantes.
aprendizaje colaborativo
atractivo
Seguimiento del progreso de los estudiantes
Sistema de evaluación
La función docente
El profesorado
La tutoría
Los tutores
recursos complementarios
tablón de anuncios del profesor
foros sobre las asignaturas
Sistemas de comunicación entre los estudiantes
Encuentros presenciales periódicos
Excelente Alta Suficiente Baja
UD. 5.5. La evaluación de la calidad de la teleformación.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN ��
LoS SErvicioS compLEmEntarioS
Gestión administrativa
informaciones generales
noticias y agenda
Entornos lúdicos
Excelente Alta Suficiente Baja
vaLoración GLobaL DE LoS matEriaLES DiDácticoS
calidad técnica
potencialidad didáctica
funcionalidad, utilidad
Excelente Alta Suficiente Baja
vaLoración GLobaL DEL curSo
Los servicios que ofrece (es completo)
calidad técnica
funcionalidad, utilidad (para sus usuarios)
Excelente Alta Suficiente Baja
aspectos más positivos del sistema de teleformación:
aspectos más negativos del sistema de teleformación:
otras observaciones
obSErvacionES
UD. 5.5. La evaluación de la calidad de la teleformación.
En el modelo de evaluación de programas de formación en general desarrollado por Pérez Juste (1995) encon-tramos referencias a los criterios de evaluación recomendables en cada momento del proceso evaluativo y de los que podremos extraer conclusiones para nuestros programas e-learning: el programa en sí mismo, el programa en su desarrollo y el programa en sus resultados.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN��
contenido del programa.Coherencia entre el programa y las bases socio-psico-pedagógicas del curso.
calidad técnica del programa.• Especificación precisa y clara de las metas.• Congruencia externa entre metas y teoría.• Coherencia interna entre las partes del plan.• Adecuación de los sujetos, evitándose tanto la falta de motivación cuanto la inexistencia de desafío o el exceso de exigencia (falta de realismo).
Evaluabilidad del programa.• Claridad y precisión del lenguaje utilizado.• Claridad en relación con los criterios y referencias de evaluación.• Previsión de las decisiones a tomar.• Definición inequívoca de las variables.
necesidades y programas.• Existencia y calidad técnica del diagnóstico de necesidades.• Coherencia entre las necesidades detectadas y priorizadas y el programa formulado.Establecimiento de prioridades.• Atendiendo a elementos de carácter técnico/experto.• Atendiendo a elementos eminentemente subjetivos (interés/motivación expresos, expectativas personales/grupales).
viabilidad.• Realismo en las metas del programa fruto de la adecuación a medios y recursos.• Aprovechamiento de medios y recursos mediante su adecuada dinamiza-ción, plan y orden.
EL proGrama En SÍ miSmo
UD. 5.5. La evaluación de la calidad de la teleformación.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN ��
• Conformidad con la planificación. Lo que supone revisar la existencia de desfases/desajustes, resultados parciales y efectos no programados.
• Satisfacción del personal
EL proGrama En
Su DESarroLLo
valoración.• Cumplimiento de los niveles de logro establecidos• Por criterios, a partir de las metas y niveles previamente especificados téc-nicamente por los responsables• Normativos, si existiera y en casos de competencia entre programas.• De naturaleza idiosincrática; los niveles del programa son valorados tomados en consideración el conjunto de circunstancias o sus resultados en situaciones precedentes
continuidad.• Control interno del plan• Grado de participación de los implicados• Sistema de revisión establecido sobre las decisiones tomadas
EL proGrama En
SuS rESuLtaDoS
caLiDaD En E-LEarninG
Funcionamiento General
Diseño y organización de materiales
Comunicación y actividades
Sistemas de evaluación
UD. 5.5. La evaluación de la calidad de la teleformación.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN�0
Webs sobre estándares e indicadores para la certificación de la calidad e-learning:
AEFOL (sello de calidad e-learning)www.aefol.com
Web-based Education Commissionhttp://www.ed.gov/offices/AC/WBEC/FinalReport/WBECReport.pdf
National Education Associationhttp://www.nea.org
The Council of Regional Accrediting Commissionshttp://www.msache.org
International Council of Distance Education (ICDE)http://www.icde.org
BENVIC Projecthttp://www.benvic.odl.org
Corporate Universitieshttp://www.corpu.com
The Malcolm Baldrige Nacional Quality Awardwww.quality.nist.gov
European Network on Intelligent Technologies for Smart Adaptive Systems (EUNITE) (2003)http://www.eunite.org
Instructional Management Systems Project (IMS) (2000) http://ims.org
Quality Standards on the on-line Courses of Michigan Virtual University (2002)http://standards.mivu.org/standards/ La página web de la Fundación Iberoamericana para la calidad: http://www.fundibeq.org/
Modelo iberoamericano de excelencia en la gestión. Edición 2005http://calidad.unad.org/upload/85/84/modelo_ibe-roamerican_excelencia_2005.pdf
Desde la Fundación (Fundibeq) encargada del Modelo Iberoamericano de Excelencia en la Gestión se proponen distintas herramientas que pueden ser consultadas a través de su web: http://www.fundibeq.org/metodolo-gias/metodologia.html
IEEE: Learning Tecnology Standards Committe:http://ieeeltsc.org/
Página de ISO (International Standard Organitation)http://www.iso.org
Entidades para la acreditación de la calidad:
Organización Internacional de Estandarizaciónhttp://www.iso.org/iso/home.htm
European Quality Assurancehttp://www.eqa.org/
Instituto Colombiano de Normas Técnicas http://www.icontec.org.co/Home.asp?CodIdioma=ESP
Fondo para la Normalización y Certificación de Calidad en Venezuela (Fondonorma) http://www.fondonorma.org.ve/index2.htm
Instituto Nacional de Normalización de Chile http://www3.inn.cl/portada/index.php
Entidad Nacional de Acreditación (España) http://www.enac.es/
Asociación Española de Normalización y Certificación (España) www.aenor.es/desarrollo/inicio/home/home.asp
Instituto Argentino de Normalización y Certificación http://www.iram.org.ar/
5.5.4 La EvaLuación DE EnfoquE GLobaL Es la evaluación que considera de forma global el conjunto de todos los elementos de una solución e-learning, para gestionar y evaluar su calidad. La implantación de un sistema de calidad en una orga-nización viene fundamentada por los siguientes princi-pios (González, 2000: 66-68):
· Proceso orientado a la satisfacción de las necesi-dades y expectativas de los destinatarios. · Mejora permanente de todo lo que la organización pretende alcanzar sobre la base de unos objetivos claros y explícitos· La garantía de la calidad de los procesos internos como medida para alcanzar la calidad del producto. · La prevención en lugar de la supervisión y detec-ción de errores.
Sobre la base de estos principios se han generado diferentes herramientas, como las normas ISO y los modelos de excelencia EFQM.
Las ventajas más importantes que puede aportar tra-bajar con sistemas de aseguramiento de la calidad para la empresa son:
• mayor productividad, pues todos los emplea-dos de una empresa saben lo que tienen que hacer y de forma lo más eficiente posible. • mejora de la imagen al exterior .• mejora de la organización interna, ya que todo queda documentado con lo que se consigue una mayor fluidez en la comunicación. • incremento de la productividad. A mayor calidad, mayor satisfacción de los clientes y mayor confianza en los productos y servicios.• Mayor fidelización de los clientes, ya que el sello ofrece confianza y seguridad.
UD. 5.5. La evaluación de la calidad de la teleformación.
• posibilita el trabajar y colaborar con otros organismos y empresas. Hay muchas empresas que establecen como requisito que sus proveedores posean sistemas de gestión de calidad.
5.5.4.1 moDELo DE caLiDaD iSo 9000 (intEr-nationaL StanDarD orGanitation)
La familia de normas iSo 9000 son normas de “ca-lidad” establecidas por la Organización Internacional para la Estandarización (ISO) que se pueden aplicar en cualquier tipo de organización. Se componen de es-tándares y guías relacionados con sistemas de gestión y de herramientas específicas como los métodos de auditoría (el proceso de verificar que los sistemas de gestión cumplen con el estándar).
Es una normativa para asegurar la calidad del centro u organización. Pretende asegurar la calidad de los métodos. Se puede considerar como una parte del modelo de excelencia de la EFMQ, que, en su origen, estaba enfocada a procesos, pero tras revisiones re-cientes, se va acercando al modelo de calidad total. Es una norma que establece los requisitos que debe cumplir la organización para dar servicios y productos de calidad y que ofrece resultados demostrables de la calidad en la organización.La ISO es un conjunto de normas que piden a la or-ganización que:
· Defina y planifique sus procesos.· Los documente· Y garantice el control y revisión de los mismos.
Podríamos decir que con este modelo se persigue que “Escribamos lo que vamos a hacer, hagamos lo que hemos escrito y escribamos lo que hayamos hecho”.
Los principios sobre los que se basan este conjunto de normas son los siguientes:
· La organización posee objetivos de calidad claros. · La organización posee los recursos necesarios para conseguir el nivel requerido de calidad.· Todos los procesos y sistemas están sometidos a controles, con evaluaciones y modificaciones cuan-do sea conveniente. · Todo lo necesario para garantizar la calidad se halla documentado. · Los registros de la calidad permiten una verifi-cación y una comprobación de la garantía de la calidad.
La serie de normas ISO 9000 ha dado lugar a tres normas fundamentales que regulan la implantación de los Sistemas de Gestión de la Calidad. Dichas normas son las siguientes:
· ISO 9000:2000, Sistemas de Gestión de la Calidad- Fundamentos y Vocabulario.· ISO 9001:2000, Sistemas de Gestión de la Calidad- Requisitos.· ISO 9004:2000, Sistemas de Gestión de la Calidad- Guía para la mejora del funcionamiento.
La aplicación de los términos ISO al ámbito del e-lear-ning quedaría recogida de la siguiente manera a modo de ejemplo:
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN �1
UD. 5.5. La evaluación de la calidad de la teleformación.
5. aplicación de los documentos elaborados. Implica llevar a la práctica lo que se ha dejado pre-viamente documentado. 6. auditoría de implantación antes de la cer-tificación.7. Entrega de la documentación final y aplica-ción real de los procedimientos e instrucciones de trabajo.8. auditorias periódicas
Para verificar que se cumple con los requisitos de la norma, existen unas entidades de certificación, vigila-das por organismos nacionales que les dan su acredi-tación, que emiten que dan sus propios certificados a las organizaciones.
Para la implantación de la Norma ISO 9000, es desea-ble contar con una consultoría especializada, firmando un compromiso con la Dirección y los participantes implicados, ya que es necesario dedicar tiempo del personal de la empresa para implantar el Sistema de gestión de la calidad.
Existe actualmente un organismo (IEEE LEARNING TE-CHNOLOGIES STANDARS COMITEE (LTSC) que pro-mueve la creación de una norma ISO específica para la formación virtual. Se encarga de preparar normas técnicas, prácticas y guías recomendadas para el uso informático de componentes y sistemas de educación y de formación, en concreto, los componentes de soft-ware, las herramientas, las tecnologías y los métodos de diseño que facilitan su desarrollo, despliegue y mantenimiento. ( Saber más en http://ltsc.ieee.org )
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN�2
término de las iSo
proveedor
clientes
producto
cuadros ejecutivos
contrato
Diseño
compras
procesos
inspección y pruebas
calibración
Centro de Formación Alumnado o participantes
Curso
Dirección general/Dirección de centro/ Jefatura de estudios
Todos los tipos de acuerdos con los clientes: matriculación, acceso a plataforma, distri-bución de materiales, tutorización, acreditación de la acción, etc…
Definición de las especificidades de la plataforma tecnológica y navegación de materia-les; también se incluyen los temas administrativas y sistemas de seguridad
Recursos materiales y humanos: contratación de profesorado, licencias de software, etc…
Impartición de la enseñanza o formación: metodología (trabajo en grupo, individual), uso de los espacios de comunicación, materiales (on-line, off-line, multimedia, textuales), eva-luación (presencial o a distancia), etc
Sistema de evaluación de la acción formativa por parte de los alumnos: docentes, mate-riales, entorno tecnológico, etc…
Validación de los sistemas de evaluación utilizados
interpretación para un centro de formación que implanta una solución e-learning
La documentación que genera un proceso iSo 9001:2000 es la siguiente:
· El manual de calidad. Es la guía o índice de calidad y por tanto debe ser conocido por todo el personal.· El manual de procedimientos: ¿Qué hace la organización?, ¿Quién lo hace?, ¿Cuándo lo hace? Define los procesos y procedimientos a seguir.· instrucciones de trabajo que recoge “cómo se hace”.
La metodología de implantación de un modelo iSo es:
1. Diagnóstico: en esta fase se evalúa la situación actual de la empresa.2. compromiso de la dirección.3. formación inicial para todas las personas im-plicadas en la implantación.4. Diseño del sistema. En esta fase se prepara el manual de calidad, el manual de procedimientos y las instrucciones de trabajo. Ello implica la prepa-ración de un plan previo de trabajo, empezando por desarrollar los procesos claves de la empresa.
UD. 5.5. La evaluación de la calidad de la teleformación.
5.5.4.2 moDELo DE ExcELEncia Efqm (Euro-pEan founDatión for quaLity moDEL)
Aplicación de la gestión de la calidad a los procesos garantizando su excelencia, siendo su referente el de la calidad total. Es un modelo amplio que tiene un enfo-que global y completo. No es una norma, se compone de criterios evaluables en la organización para resaltar los puntos fuertes y débiles y establecer planes de mejora. Puede aplicarse por personal externo o interno y su éxito depende básicamente del evaluador.
La European Foundation for Quality Management (EFQM) o Fundación Europea para la Gestión de la Ca-lidad , fue fundada en 1988 por catorce de las principa-les organizaciones de Europa occidental, conscientes de la necesidad de impulsar la gestión de la calidad total. En 1991 establecieron el Premio Europeo a la Calidad; en 1994, esta Fundación constituyó un grupo de trabajo para el Sector Público con el objetivo de adaptar el modelo a la atención sanitaria, educación, ayuntamientos y otros sectores públicos, publicando actualizaciones periódicas.
Extrapolando los datos obtenidos en la página oficial de la Fundación www.efqm.org , el modelo EFQM es un instrumento práctico que puede ayudar a los Cen-tros y Departamentos de Formación a establecer un sistema de gestión de calidad apropiado, midiendo el punto en que se encuentran dentro del camino hacia la excelencia. Además, analiza las diferencias y lagunas que pueden existir dentro de la organización para al-canzar la excelencia, al tiempo que estimula búsqueda de soluciones. El denominado modelo EFQM permite avanzar en la gestión de la calidad total, ya que la gestión de la calidad agrupa tres funciones básicas: la identificación de oportunidades de mejora, la elabora-ción de indicadores y su monitorización y el diseño de
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN ��
DiaGnóStico
compromiso de la dirección
formación inicial
Diseño del sistema
aplicación de documentos
auditoría previa a la certificación
Documentación final y aplicación real
auditorías periódica
metodología de implantación de un modelo iSo:
nuevos productos o servicios o su re-elaboración.
El modelo de la EFQM se basa en la siguiente premisa: la satisfacción del cliente, la satisfacción de los emplea-dos y un impacto positivo en la sociedad se consiguen mediante el liderazgo en política y estrategia, una acertada gestión de personal, el uso eficiente de los recursos y una adecuada definición de los procesos, lo que conduce finalmente a la excelencia de los resulta-dos empresariales. Cada uno de estos nueve elemen-tos del modelo se evalúan y ponderan para determinar el progreso de la organización hacia la excelencia.
El modelo de la EFQM se basa en la autoevaluación y, para aquellas empresas que desean optar al premio europeo a la calidad, en una auditoría externa. La autoevaluación es entendida como un examen global y sistemático de las actividades y resultados de una organización que se compara con un modelo de ex-celencia empresarial (normalmente una organización puntera). Aunque la autoevaluación suele ser aplicada al conjunto de la organización, también puede eva-luarse un departamento, unidad o servicio de forma aislada. La autoevaluación permite a las organizacio-nes identificar claramente sus puntos fuertes y sus áreas de mejora y, a su equipo directivo, reconocer las carencias más significativas, de tal modo que estén capacitados para sugerir planes de acción con los que fortalecerse. La auditoría externa se realiza por inspectores especializados en la aplicación del modelo que valoran cada uno de sus criterios en base a un sistema protocolizado de puntuaciones ponderadas.
Los criterios de resultado hacen referencia a lo que la organización logra en términos de: satisfacción de los clientes (hasta qué punto se satisfacen sus necesida-des y expectativas), satisfacción de los empleados (en términos de motivación, participación, servicios que
UD. 5.5. La evaluación de la calidad de la teleformación.
reciben los propios empleados y nivel de satisfacción laboral), cómo percibe la sociedad a la organización (p.e. actividades como miembro responsable de la so-ciedad, o impacto medioambiental de su actividad), y resultados económicos y de rendimiento que se lo-gran.
Con el modelo EFQM se pretende mejorar la calidad de la gestión y pretende:
· Impulsar la mejora continua como columna verte-bral del crecimiento de la organización.· Potenciar la orientación hacia el cliente.· Reconocer el desarrollo, la implicación y el reco-nocimiento de las personas en los procesos.· Enfatizar el liderazgo y la coherencia con los obje-tivos, además de la ética y la responsabilidad.· Resaltar la orientación hacia la obtención de re-sultados.· Realizar una autoevaluación por personal interno a la organización.· Realizar una autoevaluación por parte de personal externo a la organización.· Utilizarlo como base para presentar la organiza-ción al premio EFQM.· Gestión de todos los procesos de una manera eficiente y eficaz.· Generación de resultados de manera integrada, basándose en la aplicación de métodos eficientes de gestión de los procesos de la organización.
De esta forma, la organización de la Formación e-learning debería, en su camino hacia la excelencia:
1. Determinar los resultados que quiere lograr.2. Planificar y desarrollar una serie de enfoques que lleven a obtener los resultados en el futuro.3. Desplegar los enfoques de manera sistemática para asegurar una implantación completa.4. Evaluar y revisar los enfoques utilizados, basán-
dose en el seguimiento y análisis de los resulta-dos alcanzados y en las actividades continuas de aprendizaje. 5. Identificar y establecer prioridades, planificar e implementar las mejoras que sean necesarias.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN��
página Efqm (European Foundatión for Quality Model)
http://www.efqm.org
La orGanización DEbE
Determinar los resultados a lograr
Planificar y desarrollar los enfoques futuros
Sistematizar la implantación de los enfoques
Evaluar y revisar los enfoques
Identificar y establecer prioridades y mejoras
5.5.4.3 EL “bEncHmarkinG”
“El benchmarking es el proceso que permite a un cen-tro u organización compararse con otro que obtiene resultados excelentes de calidad, con el fin de emu-larlo”. En el ámbito del e-learning este sistema preten-de ofertar herramientas e indicaciones para mejorar las acciones a partir de la observación, comparación y cooperación basada en las buenas prácticas. En esta línea se encuentra el proyecto Benvic “Benchamarking of Virtual Campuses” de la Unión Europea.
En el ámbito de la Unión Europea el Benchmarking of Virtual Campuses Project (European Commission, 2002) está siendo desarrollado por ocho instituciones universitarias de los países miembros en el marco del programa MINERVA desde el 2001. Dicho proyecto, conocido con el nombre de BENVIC, está orientado al desarrollo y aplicación de criterios de evaluación para promover estándares de calidad en los campus virtua-les y en la formación on-line en general.
Los objetivos del proyecto BENVIC se centran en el establecimiento de criterios de evaluación con el fin de alcanzar los Estándares de Calidad para los entornos virtuales y son los siguientes:
• Desarrollar, probar y establecer un sistema de evaluación de las experiencias con campus virtuales o soluciones e-learning en el contexto europeo, en particular los que participan en el Programa Sócra-tes de educación abierta ya distancia• Promover una red colaborativa para implementar la evaluación a través de la comparación y el ben-chmarking. • Promover el conocimiento compartido. • Desarrollar un mapa de competencias relaciona-do con el diseño y la implementación de campus virtuales.
UD. 5.5. La evaluación de la calidad de la teleformación.
• Promover los nuevos conocimientos y el enfoque puesto a disposición por el proyecto para la Comu-nidad Académica Europa .
Más información en http://www.benvic.odl.org/
Las fases que se siguen en la aplicación de la metodo-logía BENVIC son las siguientes:
1. Definir indicadores de calidad de e-learning Como grandes áreas de indicadores, el proyecto se-ñala las siguientes:
· Servicios al estudiante· Apoyos a los tutores· Recursos de aprendizaje· Evaluación· Accesibilidad· Eficiencia· Recursos tecnológicos· Ejecución institucional
2. Delimitar el mapa de competencias como he-rramienta que permite al socio BENVIC verificar el nivel de habilidades en su institución con relación al manejo del campus virtual que poseen los tutores, los alumnos, los técnicos y la organización. Por tanto puede estimar la diferencia entre las habilidades requeridas y las ha-bilidades disponibles, al mismo tiempo que facilita la auditoría pedagógica.
3. invitar a varias instituciones por primera vez a ser auto-evaluadas. Las primeras instituciones que participan pasan a integrar los primeros datos de la base de datos.
4. Determinar socios benchmarking que demues-tren tener buenas prácticas. A partir de las prime-ras experiencias se pueden ya establecer ejemplos
de buenas prácticas, que servirán de comparación a otros socios.
5. crear club bEnvic con una base de datos de diferentes instituciones. Dicha base de datos se va agrandando con la entrada de nuevas instituciones para la autoevaluación.
Entre los estudios relacionados con el sector e-lear-ning, destaca el Quality On the Line desarrollado por el Institut for Higher Education Policy en el 2000, orientado a determinar los benchmarks determinantes de la calidad en la formación e-learning. Los resul-tados de dicho estudio resaltan una serie de buenas prácticas importantes a seguir en la formación e-lear-ning o teleformación. Estas son:
1. Existencia e implantación de un plan tecnológico, documentado, que incluya medidas electrónicas de seguridad. 2. Máxima fiabilidad del sistema tecnológico. 3. Existencia de un sistema centralizado de soporte, para crear y mantener la infraestructura educativa. 4. Utilización de directrices en el diseño y desarrollo de los cursos. 5. Actualización y revisión periódica de los mate-riales. 6. Diseñar el proceso de enseñanza/aprendizaje de forma que obligue al alumnado a implicarse. 7. Papel esencial de la interacción del alumnado consigo mismo y con el profesorado, y facilitarla a través de diversos medios telemáticos.8. Ofrecer respuestas constructivas a las consultas y aportaciones del alumnado, y hacerlo en un plazo breve. 9. Enseñar al alumnado los métodos adecuados de búsqueda. 10. Antes de comenzar el curso, dar al alumnado información suficiente para determinar si tienen la
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN �5
motivación necesaria y los recursos adecuados. 11. Dar a los estudiantes información complementa-ria sobre el curso, incluyendo objetivos, conceptos e ideas, y especificar claramente qué resultados se esperen del programa. 12. Dar acceso a una biblioteca suficiente, que in-cluya recursos accesibles a través de la red. 13. Acordar expectativas referentes a plazos de entrega y corrección de actividades. 14. Dar al alumnado información suficiente sobre los programas, incluyendo requerimientos de ad-misión, precios, libros, accesorios, requerimientos técnicos y servicios de soporte. 15. Dar al alumnado información y formación prác-ticas sobre cómo obtener recursos a través de bases de datos, redes de bibliotecas, servicios públicos, servicios de noticias y otras fuentes. 16. Ofrecer al alumnado acceso fácil al soporte técnico durante todo el curso, instrucciones deta-lladas sobre el funcionamiento de los medios tec-nológicos utilizados y sesiones prácticas antes del inicio del curso. 17. Ofrecer una respuesta rápida y precisa a las con-sultas dirigidas al servicio de soporte al alumnado y disponer de un sistema estructurado de atención de reclamaciones. 18. Dar asistencia técnica al profesorado y animarlo a utilizarla. 19. Facilitar la transición del profesorado desde es-trategias presenciales a estrategias on-line. 20. Mantener el soporte al profesorado durante todo el curso. 21. Facilitar al profesorado información referente a cómo resolver problemas derivados del uso que el alumnado pueda hacer de los datos que reciba. 22. Elaborar un proceso de evaluación de la efectivi-dad pedagógica del programa, aplicando exigencias específicas.
UD. 5.5. La evaluación de la calidad de la teleformación.
23. Evaluar la efectividad del programa con datos sobre inscripciones, costes y aplicaciones innova-doras y adecuadas a la tecnología. 24. Revisar periódicamente los resultados de apren-dizaje previstos.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN��
proGrama bEnvic
Definir indicadores de calidad e-learning
Delimitar el mapa de competencias
Elaborar la base de datos
Determinar socios benchmarking
5.5.5 concLuSionES
Los modelos de calidad estudiados en esta Unidad como la ISO o el EFQM, son herramientas de evalua-ción de uso frecuente en las organizaciones, que, en la actualidad se están adaptando a los contextos de formación virtual. Sin embargo, se trata más de mo-delos próximos a la gestión que a los propios procesos educativos. Es decir, son modelos cuyo énfasis está puesto en la gestión administrativa, la orientación y sa-tisfacción del cliente, la relación de coste – beneficio, etc… Aspectos clave de las organizaciones y empre-sas, pero que no cubren los aspectos esenciales de los procesos de enseñanza aprendizaje.
Barberá (2001) propone como dimensiones que deben ser evaluadas en la formación virtual:
· El escenario en el que se produce la acción edu-cativa (bases psicopedagógicas, estructura general del sistema, etc.).· Las propuestas de los participantes involucrados en el proceso de instrucción (motivaciones, objeti-vos y demandas cognitivas).· Los agentes instruccionales (roles de estudiantes, de docentes y de la misma institución).· La intervención y la interacción educativa (or-ganización de la actividad educativa, patrones de interacción y discurso virtual).· Y la construcción misma del conocimiento (ca-racterísticas del conocimiento, dinámicas y tipos de construcción).
UD. 5.5. La evaluación de la calidad de la teleformación.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN ��
Muchas de estas dimensiones son recogidas a través de la práctica del benchmarking, que consiste en un proceso de autoevaluación y comparación de unas instituciones con relación a lo que está considerado como buenas prácticas, bien sean casos reales o defi-niciones teóricas establecidas por expertos.
UD. 5.5. La evaluación de la calidad de la teleformación.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN��
EvaLuación DE La caLiDaD En E-LEarninG
Mapa Conceptual Módulo 5, Unidad 5.5
EnfoquE parciaL DE La EvaLuación
EnfoquE GLobaL DE EvaLuación
ISO �000
EFQM
“Benchmarking”
EvaLuación DE La activiDaD
Evaluación de Contenidos y LMS
Calidad formativa y gestión del proceso Costes/beneficios
Modelo de Kirkpatrik
Reacción
Aprendisaje Transferencia
impacto
La evaluación del rendimiento de los alumnos en te-leformación es un aspecto muy importante a tener en cuenta en la implantación de una solución e-learning en un Centro. Evaluar significa conocer los logros y resultados obtenidos a lo largo del proceso formativo, valorar si se han conseguido los objetivos de apren-dizaje establecidos y establecer las posibles mejoras tanto en su desarrollo como en acciones futuras. Los responsables del diseño de las acciones formativas deben considerar la evaluación como un proceso glo-bal, de recogida de información relevante que permita tomar las decisiones adecuadas y con garantías de éxito durante y al final de la acción formativa.
Existen a disposición de los tutores numerosas herra-mientas para la correcta evaluación de los alumnos a través de medios telemáticos, incluso más que las disponibles en la formación presencial, ya que los nu-merosos registros existentes hacen posible retomar y comprobar el progreso del alumno a lo largo de un curso.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN ��
EVALUACIÓN EN TELEFORMACIÓN
Resumen del Módulo 5
MÓDULO 5
No debe olvidarse que la evaluación en e-learning no se centra exclusivamente en el alumno, sino que debe considerarse desde la globalidad y desde los criterios de calidad mínimos exigibles desde la perspectiva del Centro, tutores y otros agentes implicados. Por tan-to, evaluar la calidad de un programa e-learning es importante para los gestores de formación, ya que permite analizar los resultados y beneficios aportados, así como las mejoras necesarias para posteriores pro-gramas formativos. Tener en cuenta los procesos de calidad aplicados en el Centro y durante el desarrollo de las acciones formativas garantizará en gran medida el éxito de las acciones formativas.
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN�0
LibroS
· Barberá, E. (2001) (Coord.) La incógnita de la educa-ción a distancia. Barcelona. Horsori.· Bates, A.W. (1999) Research and Evaluation. En A.W. Bates, Managing Technological Change, pp. 198-210. California. Jossey-Bass.· Baumgartner, P. y Payr, S. (1997) Methods and prac-tice of software evaluation. The case of the European Academic Software Award. Proceedig of ED-MEDIA 97 & ED-TELECOM 97, AACE.· Belanger, F. y Jordan, D.H. (2000) Evaluation and Im-plementation of Distance Learning: technologies, tools and techniques. London. Idea Group Publishing.· Cabero, J. (2001). La evaluación e investigación sobre los medios de enseñanza. En J. Cabero, Tecnología Educativa. Diseño y utilización de medios de enseñan-za, pp. 447-490. Barcelona. Paidós.· Deming, W.E. (1981). Management and statistical te-chniques for quality and productivity. New York. New York University.· EPISE (2000). Evaluación de la formación en las em-presas españolas. Barcelona. EPISE.· European Commission DG Education and Culture (2002). Benchmarking of Virtual Campuses Project. Barcelona. Universitat Oberta de Catalunya.· Galvis, A. (2000). Evaluación de materiales educativos computerizados por juicio de expertos. En A. Galvis, In-geniería de software educativo. Colombia. Universidad
Bibliografía del Módulo 5
de los Andes.· González, T. (2000). Evaluación y gestión de la calidad educativa. En T. González (Coord.) Evaluación y ges-tión de la calidad educativa. Un enfoque metodológico, pp. 49-80. Málaga. Aljibe.· Harvey, L. y Green, D. (1993). Defining quality. Asses-sment and Evaluation in Higher Education, 18 (1), pp. 9-34.· Horton, W. (2001). Evaluating e-learning. California. ASTD (American Society for Training and Develop-ment).· Institute for Higher Education Policy (2000). Quality on the line. Benchmarks for Succes in Internet-Based Distance Education. Washington. National Education Association.· ISO/IEC 9126 (1991). Information technology. Soft-ware product evaluation. Montreal.· Kaplan, R.S. y Norton, D.S. (1997). El cuadro de mando integral. Barcelona. Gestión 2000.· Kirkpatrick, D.L. (1999). Evaluación de acciones for-mativas: los cuatro niveles. Barcelona. EPISE-Gestión 2000. 1ª edición 1994.· León, J.A. (1998). La adquisición de conocimiento a través del material escrito: texto tradicional y sistemas de hipertexto. En C. Vizcarro y J.A. León (Ed.), Nuevas tecnologías para el aprendizaje. Madrid. Pirámide.· Mateo, J. (2000b). La evaluación educativa, su prác-tica y sus metáforas. Barcelona:. Horsori.· McArdle, G.E. (1999). Training Design and Delivery.
Alexandria, VA. American Society for Training and De-velopment.· Oliver, M. (1998) (Ed.) Innovation in the Evaluation of Learning Technology. London. University of North London.· Pérez Juste, R., López Rupérez, F., Peralta, M.D. y Muni-cio, P. (2000) Hacia una educación de calidad. Gestión, instrumentos y evaluación. Madrid. Narcea.· Rosenberg, M. (2001). E-learning: Estrategias para transmitir conocimiento en la era digital. Bogotá. McGraw-Hill Intramericana.· Silvio, J. (2000). La virtualización de la universidad. ¿Cómo podemos transformar la educación superior con al tecnología?. Caracas. IESALC/UNESCO.· Tait, A. (Ed.)(1997). Quality Assurance in Higher Edu-cation: Selected Case Studies. Vancouver. The Com-monwealth of Learning.· Van De Berghe, W. (1997). Aplicación de las Normas ISO 9000 a la enseñanza y la formación. Interpretación desde una perspectiva europea. Luxemburgo. CEDE-FOP.
EnLacES
· AEFOL: www.aefol.com· Albert Sangrá (2001)“La calidad en las experiencias virtuales de educación superior”; http://www.uoc.edu/web/esp/art/uoc/0106024/sangra.html#2
EVALUACIÓN EN TELEFORMACIÓNMÓDULO 5
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN �1
EVALUACIÓN EN TELEFORMACIÓNMÓDULO 5
Bibliografía del Módulo 5
· Armand Feigenbaum: http://www.geocities.com/gehg48/TeoriasFeigenbaum.html· Asociación Española de Normalización y Certifica-ción (España) http://www.aenor.es/desarrollo/ini-cio/home/home.asp· BENVIC Project http://www.benvic.odl.org· Britain, S. y Liber, O. (1999) A framework for Pe-dagogical Evaluation of Virtual Learning Enviroments. University of Wales. http://www.leeds.ac.uk/educol/documents/00001237.htm· Cashion, J. y Palmieri, P. (2002). Evaluation of Quality in On-line Learning. TAFE School of Social Sciences. Swinburne University of Technology. http://www.tafe.swin.edu.au/ncver/· Corporate Universities http://www.corpu.com· Criterios de revisión de un curso que utiliza Apren-dizaje Basado en Problemas http://64.233.183.104/search?q=cache:x4kbFoq7qzMJ:www.itesm.mx/va/dide/pdhd_2001/criterios_pbl_dacs.doc+ELABORACI%C3%93N+DE+PRUEBAS+COLABORATIVAS&hl=es&ct=clnk&cd=7· Diario del profesor como instrumento de VALORA-CIÓN Xosé M. Souto González (Proyecto GEA-CLÍO) http://www.naullibres.com/html/aaa/descargas/geaclio/diarioprofesor.pdf· Duart, J.M. (2001a). Avaluació de la qualitat docent en entorns virtuals d’aprenentatge. http://www.uoc.edu/web/cat/art/uoc/0109041/duartmartin_imp.html· Duart, J.M. (2001b). ROI i e-learning: més enllà de be-neficis i costos. http://www.uoc.edu/web/cat/art/
uoc/duart0902/duart0902.html· Educación a distancia Ministerio de Educación. Re-pública de Perú. http://portal.perueduca.edu.pe/comunidad/xtras/web/catalogo_multimedia/doc_med/DINESST_evaluacion_en_educacion_secunda-ria_a_distancia_2003.pdf· Edutec. Revista Electrónica de Tecnología Educativa.Núm. 12. /junio 00 http://www.uib.es/depart/gte/edutec-e/Revelec12/deBenito.html· EFQM: http://www.efqm.org· El reto de la educación a distancia Lic. Mayerling Medina de Valenzuela UPEL-IMPM Instituto de Mejora-miento del Profesional del Magisterio (VIII Congreso de · Educación a Distancia CREAD MERCOSUR/SUL 2004) http://fgsnet.nova.edu/cread2/pdf/Medina.pdf· Enfoques y modelos para la evaluación del e-lear-ning:http://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htm· Entidad Nacional de Acreditación (España) http://www.enac.es/· European Network on Intelligent Technologies for Smart Adaptive Systems (EUNITE) (2003) http://www.eunite.org· European Network on Intelligent Technologies for Smart Adaptive Systems (EUNITE) (2003) http://www.eunite.org · European Quality Assurance http://www.eqa.org/· Evaluar a través de internet REVISTA PIXEL-BIT Nº 24 JULIO 2004 Mª. Teresa Fontán Montesinos. Uni-
versidad de Las Palmas de Gran Canaria(España-UE) http://www.sav.us.es/pixelbit/pixelbit/articulos/n24/n24art/art2406.htm· Fondo para la Normalización y Certificación de Cali-dad en Venezuela (Fondonorma): http://www.fondo-norma.org.ve/index2.htm· Fundación (Fundibeq) encargada del Modelo Ibero-americano de Excelencia en la Gestión se proponen distintas herramientas que pueden ser consultadas a través de su web: http://www.fundibeq.org/metodo-logias/metodologia.html· Herramientas web gratuitas http://educ810web-tools.blogspot.com/2006/09/herramientas-web-debido-la-extensa.html· IEEE: Learning Tecnology Standards Committe:http://ieeeltsc.org/· Instituto Argentino de Normalización y Certificación http://www.iram.org.ar/· Instituto Colombiano de Normas Técnicas http://www.icontec.org.co/Home.asp?CodIdioma=ESP· Instituto Nacional de Normalización de Chile http://www3.inn.cl/portada/index.php· Instructional Management Systems Project (IMS) (2000) http://ims.org· International Council of Distance Education (ICDE) http://www.icde.org· Kirkpatrick: http://www.uhu.es/yolanda.pelayo/do-cencia/Virtualizacion/2-contenidos/parte%204/MODELO%20DE%20KIRCKPATRICK.pdf
EVALUACIÓN EN TELEFORMACIÓN
Bibliografía del Módulo 5
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN�2
MÓDULO 5
· La evaluación de los aprendizajes en la importancia de la comunicación escrita Lic. Marian Suárez /Sep-tiembre 2006 http://excon.com.ve/Documentos/La_importancia_de_la_comunicacion_escrita.pdf· La página web de la Fundación Iberoamericana para la calidad: http://www.fundibeq.org/· Libro de Buenas Prácticas e-learning: http://www.buenaspracticas-elearning.com/node/45· MATRICES DE RUBROS PARA EVALUACIÓN CUALI-TATIVA DEL APRENDIZAJE EN EDUCACIÓN A DISTAN-CIA Jorge Méndez Martínez http://64.233.183.104/search?q=cache:mCdfUdpwM2MJ:www.universia.pr/congreso/30/30.rtf+EVALUACI%C3%93N+DE+ACTITUDES+A+DISTANCIA&hl=es&ct=clnk&cd=10· Mendoza, L., Pérez, M. y Rojas, T. (2001). Modelo sis-témico para estimar la calidad de los sistemas de soft-ware (MOSCA). Acta Científica Venezolana. Universidad Simón Bolívar. http://lisi.usb.ve/publicaciones· Modelo de evaluación de plataformas tecnológi-cas e-learning. Instituto Tecnológico de Buenos Aires. http://www.itba.edu.ar/capis/epg-tesis-y-tf/cha-rum-tm.pdf · Modelo iberoamericano de excelencia en la gestión. Edi-ción 2005 http://calidad.unad.org/upload/85/84/modelo_iberoamerican_excelencia_2005.pdf· MOU-Perseus project (2000) http://www.perseus.tufts.edu· National Education Association http://www.nea.org· Normas ISO: http://www.iso.org
· Organización Internacional de Estandarización; http://www.iso.org/iso/home.htm· P. Crosby: http://www.geocities.com/gehg48/Teo-riasCrosby.html· Promoting Multimedia Acces Education and Trai-ning in European Society (1999). Memorandum of Un-derstanding. http://www.ecotec.com/sharedtetriss/news/mou1198/mou3-slidepresentation/· Quality Standards on the on-line Courses of Michi-gan Virtual University (2002) http://standards.mivu.org/standards/ · Quality Standards on the Virtual Campuses of the Virtual University Penn (2001) http://www.vup.org/standards/· Richardson, J. (2001). An evaluation of Virtual Lear-ning Enviroments and their learners: do individual di-fferences effect perception of virtual learning enviro-ments. Interactive Educational Multimedia, 3, october. Consultada el 25-abril-2003 en http://www.ub.es/multimedia/iem/· Sigalés, C. (2002). El potencial interactiu dels entorns virtuals d’ensenyament i aprenentatge en l’educació a distància. http://www.uoc.edu/web/cat/art/uoc/sigales0102/sigales0102_imp.html· Sistema maleable para el apoyo y guiado del apren-dizaje colaborativo basado en servicios grid Miguel L. Bote Lorenzo, Eduardo Gómez Sánchez, Guillermo Vega Gorgojo, Yannis. A. Dimitriadis, Juan I. Asensio Pérez, Davinia Hernández Leo. (Dpto. de Teoría de la Señal, Comunicaciones e Ingeniería Telemática. Universidad
de Valladolid) http://gsic.tel.uva.es/uploaded_fi-les/52415_BoteJITEL05.pdf· TECNICAS DE ENTREVISTA http://lsi.ugr.es/~ig1/docis/entre1.doc.sxi.pdf· Técnicas de recolección de datos http://www.los-recursoshumanos.com/focus-group.htm· The Council of Regional Accrediting Commissionshttp://www.msache.org· The Malcolm Baldrige Nacional Quality Awardwww.quality.nist.gov· UNIVERSIDAD DE LA FRONTERA, CHILE.Autores: Mi-riam León Herrera, Paola Velásquez Siefert y Miguel Ripoll Novales http://www.virtualeduca.org/virtuale-duca/virtual/actas2002/actas02/804.pdf· Web-based Education Commission http://www.ed.gov/offices/AC/WBEC/FinalReport/WBECReport.pdf
artÍcuLoS
· López Rupérez, F. (1997). Complejidad y educa-ción. Revista Española de Pedagogía, 206, pp. 103-112. Mantyla, K. (2000) Evaluating Program Succes. En K. Mantyla, Distance Learning Yearbook, pp. 259-287. New York. McGraw-Hill.· Navarro, E. (1999). Evaluación de materiales multime-dia. Comunicación y Pedagogía, 157, pp. 36-39.· Pineda, P. (2002) Formació, transferència i avaluació: un triangle complex. Revista Econòmica de Catalunya,
EVALUACIÓN EN TELEFORMACIÓN
Bibliografía del Módulo 5
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN��
MÓDULO 5
44, pp. 79-89.· Pineda, P. et al. (1999) ¿Cómo se evalúa la formación en las organizaciones?. Capital Humano, octubre y noviembre, pp. 126-127.· Ramussen, K. y Davidson, G.V. (1996). Dimensions of learning styles and their influence on performance in hypermedia lessons. CD-ROM Proceedings from the anual ED-MEDIA/ED-TELECOM conference. Article nº 385.· Rodríguez, J.L., Rubio, M.J. y Escofet, A. (2001). Cer-tificación de la calidad de materiales multimedia edu-cativos. E-CumLaude. Universidad de Barcelona. Do-cumento inédito.· Mateo, J. (2000a). La evaluación del profesorado y la gestión de la calidad de la educación. Hacia un modelo comprensivo de evaluación sistemática de la docencia. Revista de Investigación Educativa, 18 (1), pp. 7-34.
informES
· Middle States Commission on Higher Education (2001). Interregional Guidelines for Electronically Offe-red Degree and Certificate Programs. Middle States Commission on Higher Education.· Van Slyke, C. Kittner, M. y Belanger, F. (1998). Identifying Candidates for Distance education: A telecommuting perspective. Proceedings of the America’s Conference on Information Systems, pp. 666-668. Baltimore.
EVALUACIÓN EN TELEFORMACIÓN
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN��
MÓDULO 5
Anotaciones
EVALUACIÓN EN TELEFORMACIÓN
Módulo 5 EVALUACIÓN EN TELEFORMACIÓN�5
MÓDULO 5
Anotaciones