Julio Alonso ArévaloUniversidad de SalamancaFacultad de Traducción y Documentación

EVALUACION DE BIBLIOTECAS UNIVERSITARIAS CON EL MODELO EFQM.

Por qué evaluar

Demanda social de servicios públicos de calidad

Rendir cuentas a la sociedad

La evaluación como herramienta básica para la mejora

Un marco geopolítico: la integración europeaEl espacio Europeo de Enseñanza Superior

Calidad Total – EFQM – ISO 9000

Calidad Total FILOSOFIA

ISO 9000 NORMA de calidad

EFQM MODELO

Marco Común de Evaluación (Common Assessment Framework)

Metodología para la evaluación de la calidad: El modelo EFQM

I Plan Nacional de Evaluación de la calidad en las Universidades (1996-2001)

II Plan Nacional de Evaluación de la calidad en las Universidades 2001-2006

Agencia Nacional de la Evaluación de la Calidad y Acreditación (ANECA)

Marco Geopolítico

I Plan Nacional de Evaluación de la calidad en las Universidades

Objetivos

Promover la Evaluación institucional de la Calidad en las universidades

Elaborar metodologías homogéneas para la evaluación de la calidad integradas en la práctica vigente en la Comunidad Europea

Preparar información objetiva que sirva de base a la adopción de decisiones

II Plan Nacional de Evaluación de la calidad en las Universidades

Objetivos

Continuar con la evaluación Institucional

Desarrollar metodologías homogéneas con las existentes en la unión Europea

Implantar un sistema de información basado en la evaluación de los resultados

Establecer un sistema de acreditación que permita garantizar la calidad

Criterios fundamentales del modelo EFQM

1. Liderazgo2. Política y estrategia3. Personas4. Alianzas y recursos5. Procesos6. Resultados en sus clientes7. Resultados en las personas8. Resultados en la sociedad9. Resultados claves

Agentes facilitadores

Resultados

Agentes Facilitadores

Alianzas y recursos

Personas

Resultados

Clientes

Personas

Sociedad

Resultados clave

LiderazgoPolítica

y estrategia

Procesos

Para cada resultado se considerará

Medidas de percepción

Indicadores

Evidencias

IdentificarPuntos fuertes

Puntos débiles

Plan de Mejora

Establecer prioridades

Responsables de las acciones

Calendario de acciones

Innovación

Aprendizaje

Mejora continua

Liderazgo

Equipo Directivo Desarrolla y facilita

•Misión

•Visión

•ValoresAcciones:

Fomento de la Cultura Organizacional

Conoce las necesidades de los clientes

Establece mecanismos de comunicación

Motiva e Implica al personal

Gestiona y facilita el cambio

Política y Estrategia

Organización Materializa

•Misión

•Visión

•ValoresAcciones:

Fundamenta las necesidades de los clientes

Existe información y medición de las mismas

Se desarrollan, revisan y actualizan

Se ponen en práctica a través de procesos

Se comunican al resto de la organización

Gestión del personal

Organización Potencia y desarrolla

RRHH

Acciones:

Se planifican y gestionan los RRHH

Se identifican, desarrollan y mantienen los conocimientos

Se responsabiliza al personal y se le da autoridad

Si la organización dialoga con su personal

Alianzas y recursos

Organización Planifica y gestiona

•Recursos

•Colaboradores

Acciones:

Como elige y gestiona los colaboradores externos

Como gestiona sus finanzas

Como gestiona sus infraestructuras

Como gestiona la tecnología

Como gestiona sus información y conocimientos

Procesos

Organización Diseña y gestiona Procesos

Acciones:

Gestiona y diseña sistemáticamente sus procesos en función de las necesidades de los clientes

Mejora sus procesos para obtener un valor añadido

Como gestiona la producción, distribución y servicio post-venta de productos y servicios.

Resultados en sus clientes

Organización Clientes

Se tendrá en cuenta: Medidas de percepciones: encuestas de satisfacción

Indicadores

Impacto

Resultados en el personal

Organización Personal

Se tendrá en cuenta: Medidas de percepciones: encuestas de

satisfacción laboral

Indicadores

Satisfacción laboral del persona, motivación, formación, y como ello repercute en la consecución de los objetivos marcados.

Impacto

Resultados en la sociedad

Organización Sociedad

Se tendrá en cuenta: Medidas de percepciones

Indicadores

Lo que consigue la organización en relación con su entorno social: local, nacional e internacional

Impacto

Resultados clave

OrganizaciónRendimiento

Se tendrá en cuenta: Medición general del rendimiento y cumplimiento

de las expectativas

Medidas de percepciones

Indicadores

Esquema del Modelo EFQM

1. Liderazgo

(100 p.)

3. Personas(90 p.)

2.Políticay

Estrategia(80 p.)

4. Alianzasy

Recursos(90 p.)

5. Procesos

(140 p.)

7. Resultadosen las

Personas(90 p.)

6. Resultadosen los

Clientes(200 p.)

8. Resultadosen la

Sociedad(60 p.)

9. ResultadosClave

(150 p.)

Procesos facilitadores (500 P) Resultados (500 P)

Innovación y Aprendizaje

Fases Proceso de Evaluación EFQM

CEI Comité de Evaluación Interna Informe de Autoevaluación

1. AUTOEVALUACION

2. EVALUACIÓN EXTERNA

CEE Comité de Evaluación Externa Informe de Eval. Externa

3. EVALUACIÓN FINAL

CEI Comité de Evaluación Interna Informe Final

La Autoevaluación

Objetivo: Redactar un informe de Evaluación Interna

Constitución del CEI. Representación de todos los sectores implicados

Documentación: Guía de Autoevaluación- Datos objetivos de la actividad de la organización- Opiniones de los usuarios de los servicios- Opiniones del personal que presta los servicios

Difusión a la comunidad y recogida de sugerencias

La Evaluación Externa

Objetivo: redactar el informe de evaluación externa

Constitución del CEE: representantes ajenos a la organización expertos en temas de calidad

DocumentaciónAnálisis de la guía de AutoevaluaciónAnálisis del AutoinformeVisita a la institución objeto de evaluaciónFormulación de juicios de valor

Informe final

Elaborado por el Comité de Autoevaluación

Síntesis entre Evaluación Interna y Evaluación Externa

ContenidoPuntos fuertes y débiles de la organizaciónIdentificación de las propuestas de mejoraResponsables de las accionesCalendario de implantación de las acciones a emprenderSeguimiento de la implantación de las acciones

Difusión del informe final

Recomendaciones para la redacción del informe final

Síntesis entre el informe de Evaluación Interna y Evaluación Externa destacando las discrepancias y complementariedades entre ambos informes

Determinar la importancia dada a la evaluación Interna y a la evaluación externa

Relacionar las fortalezas y debilidades detectadas con las propuestas de mejora

Determinar la importancia de las acciones estratégicas de mejora

Las propuestas de mejora

ViablesFundamentadasCoherencia con las fortalezas y debilidadesPriorizar las accionesDirigidas a los órganos de dirección que se comprometan en ejecutarlasRealistasCreativasConsensuadas

Evaluación del Servicio de Archivos y Bibliotecas de la Universidad de

Salamanca

CronologíaAutoevaluación del Servicio de Bibliotecas: Septiembre 1997-Enero 1998Evaluación Externa: Febrero 1998Informe Final: Marzo-Abril 1998

Antecedentes

Cambio del equipo directivo

Constitución y composición del Comité de Autoevaluación

Evaluación de SABUS

Metodología de Trabajo

Recepción de la documentación

⌧Protocolo de autoevaluación (European Fundation for Quality Management EFQM)

⌧Estadísticas trimestrales del servicio de Bibliotecas⌧Encuesta sobre satisfacción de usuarios

Composición de subcomisionesReuniones internas y conjuntas

Introducción

⌧Contexto del Servicio⌧Liderazgo⌧Política y Estrategia⌧Gestión de Personal⌧Recursos⌧Procesos⌧Satisfacción del Cliente/usuarios⌧Satisfacción del Personal⌧Valoración global⌧Áreas de mejora

Informe de Autoevaluación

Cambio moderado en los últimos añosCrecimiento de las inversiones en todos los parámetros:

Personal: 299 millones en 1991- 599 en 1996Adquisición de libros: : 100 millones en 1991- 163 en 1996Adquisición de Revistas : 45 millones en 1991- 131 en 1996Equipamiento : 45 millones en 1991- 122 en 1996Infraestructuras : 12.600 millones en 1991- 18700 en 1996

ColeccionesOrientación hacia una mayor accesibilidadLa colección de monografías se ha duplicadoLa colección de publicaciones periódicas también.

Contexto del Servicio (1)

PersonalEstancamiento en el crecimiento del personal en los niveles A,B I y IIEl incremento del nº de alumnos (7000 en los últimos años) no ha ido parejo con el incremento del personal.Inexistencia de cursos de formación especializada

ServiciosDatos de consulta en sala poco significativos al carecer de instrumentos de medición efectivosBuen funcionamiento del préstamo con un crecimiento espectacular Débil préstamo interbibliotecarioEscaso crecimiento de las bases de datos y revistas electrónicas

Contexto del Servicio (2)

23/2/99 32

Existencia de un Reglamento de Bibliotecas que implica un compromiso y un marco normativo para valorar objetivos y metas

Compromiso con el desarrollo del Programa de Calidad Institucional.

Escasa comunicación de los directivos con las personas implicadas en las acciones de mejora

Dejación en la constitución de órganos como la Junta asesora, Comisiones sectoriales etc, importantes para el diseño de la misión y objetivos del servicio

Liderazgo

No existe un documento de planificación estratégica del Servicio

El marco en el que se mueve éste es el definido en el Reglamento aprobado en Junta de Gobierno de 30 de Octubre de 1992.

No existen mecanismos de participación de las personas con funciones directivas en la definición de los objetivos del servicio

Política y estrategia (1)

Escasa o nula participación del personal en la definición de la política del servicio.

No existen normas que articulen sistemas de transmisión de información al personal del servicio

Los datos que se recopilan y que pueden servir de fundamento para el diseño de una política viable son eminentemente cuantitativos. Faltan datos sobre rendimiento de las colecciones, satisfacción de los usuarios, etc.

Política y estrategia (2)

Grave carencia en la política de formación continuada

El rendimiento se mide de manera muy parcial: solo las actividades relativas a catalogación. No se contemplan otros servicios.

Falta de participación del personal en los procesos de introducción de mejoras. No existe ningún sistema organizado para propuesta de las mismas.

Falta una definición claramente establecida de funcionesy una relación entre los distintos niveles de responsabilidad

Gestión del personal

Riqueza del fondo bibliográfico

Creciente equipamiento informático

El gasto efectuado en la Biblioteca por la Universidad sobrepasa el 5% del presupuesto ordinario.

Se observan anomalías en el modelo presupuestario vigente: las previsiones presupuestarias anuales sólo planifican el gasto correspondiente a la Dirección del servicio y a las tres bibliotecas centrales. Las bibliotecas de centro no tienen presupuesto

Imposibilidad de una planificación y previsión de necesidadesAusencia de un política homogénea de desarrollo de las colecciones

Recursos (1)

Carencia de un programa de gestión y desarrollo de la colecciónque cuente con la participación de toda la comunidad universitaria en el que los bibliotecarios tengan un papel activoEscasas colecciones de referencia y básicas.Inexistencia de programas de expurgo, reubicación y preservación de documentosDispersión de puntos de servicioLas dimensiones de los locales no pueden soportar, en algunos casos, el crecimiento de la colección a corto plazoLa falta de espacio imposibilita la existencia de salas de estudio en grupo,salas de consulta o de referencia.En cuanto al personal: heterogeneidad de categorías, pocas posibilidades de promoción profesional, inexistencia de planes de formación.

Recursos (2)

Inexistencia de un manual de procedimientos que recoja tanto las tareas administrativas como técnicas a desarrollar por el personal de bibliotecas.

Adquisicionesel bibliotecario no interviene directamente en la selección de publicaciones periódicas y de libros

Información y ReferenciaNo existe un responsable que coordine los servicios de información y referencia para el conjunto de la biblioteca universitariaLa biblioteca carece de colecciones de referencia especializadaLos criterios para selección de fuentes accesibles en red son los sugeridos por los departamentosNo existen actividades de formación de usuarios.

Procesos (1)

Automatización

Es la única unidad que ha planificado su gestión y coordinado el trabajo con los responsables de los centrosRetraso en la catalogación automatizadaSe ha comenzado la catalogación retrospectiva en varios centros

Bibliotecas de centro

No se pueden evaluar sus procesos dado que han funcionado de forma independiente y sin existir coordinación entre todos los responsables de las mismas.

Procesos (2)

No se mide regularmente la satisfacción de los usuarios sobre los servicios que ofrecen las bibliotecas

El único cuestionario realizado ha sido el elaborado por el Programa Institucional de Calidad.

A través de la encuesta se comprueba:

Una relación directa entre la satisfacción y el uso de los servicios bibliotecariosUna valoración positiva de los horarios y la atención personalSatisfacción respecto a los materiales básicos de apoyoLa atención más personalizada se refleja en una mejor valoración

Satisfacción del Cliente/Usuario (1)

A través de las sugerencias se solicita:

Mejores condiciones físicas, climatización y silencioMejora de las instalaciones en generalAmpliación del horario de apertura de las bibliotecas, tanto a diario, como fines de semana y en época de exámenes.Ampliar los fondos en número de volúmenes y en variedad de los mismos, y actualizar los más utilizados.

Satisfacción del Cliente/Usuario (2)

No existen estudios sobre satisfacción del personal

Concienciación del personal sobre su capacidad técnica

Identificación del personal de bibliotecas con la profesión

Satisfacción del Personal

• Articulación de mecanismos de comunicación fluidamediante el establecimiento de reuniones periódicas entre la dirección del Servicio y los componentes del mismo

⌧Elaboración de un documento de política estratégicaen la que aparezcan claramente definidos los objetivos a corto, medio y largo plazo del Servicio.

⌧Diseño de un procedimiento de recogida de datos más completo que el existente, en el que se introduzcan criterios de satisfacción de los usuarios y rendimiento de las colecciones.

⌧Estructuración adecuada de los niveles de responsabilidad y función

Áreas de mejora: Política y estrategia

Plan de formación continuada en función de los objetivos y la política global del Servicio.

Establecimiento de un sistema equilibrado de reconocimiento de méritos que vaya paralelo al diseño de una carrera profesionalpara el personal de bibliotecas.

Adaptación normativa de la legislación general y estatutaria a lasresponsabilidades y funciones de los puestos de trabajo.

Áreas de mejora: Gestión del personal

Introducir el concepto de biblioteca como una única unidad de gasto.

Establecimiento de un programa de gestión de la colección dotado de los elementos necesarios que permitan que el desarrollo de la misma se ajuste a los objetivos de la Universidad en la que se integra la Biblioteca.

Dotación suficiente de la plantilla en relación al número de usuarios a atender, puntos de servicio, horas de funcionamiento y áreas de trabajo.

Adecuada planificación que contemple el crecimiento futuro de las colecciones, el personal, los servicios y los usuarios.

Participación del bibliotecario en todos los procesos y decisionesque afecten a la biblioteca

Áreas de mejora: Recursos

Establecimiento de un negociado de administración en el que estén centralizadas las tareas administrativas y de suministro.

Establecimiento de un manual de procedimientos que recoja las tareas tanto administrativas como técnicas a desarrollar por el personal bibliotecario, y que permita hacer frente a eventualidades.

Intervención del bibliotecario en la selección de publicaciones periódicas y de libros

Necesidad de implantación del módulo de adquisiciones

Áreas de mejora: Procesos (1)

Establecimiento de una política de donaciones pautada por el Servicio.

Dinamización de la catalogación retrospectiva

Creación de un responsable que coordine los servicios de información y referencia para el conjunto de la Biblioteca Universitaria.

Creación de colecciones de referencia especializada en todas las bibliotecas.

Áreas de mejora:Procesos (2)

Establecimiento de actividades de formación de usuariosen el uso de bases de datos en soporte electrónico y de los servicios y recursos de las bibliotecas en general.

Creación o habilitación de salas de estudio para usuarios con materiales propios

Mejor señalización horizontal y vertical de todos los centros

Aplicación sistemática de un programa de evaluación por parte del Servicio que contribuya a determinar, analizar y mejorar los factores que impliquen la satisfacción de los usuarios.

Áreas de mejora: Satisfacción de Usuarios

Necesidad de establecer una política bibliotecaria institucional

Evaluación del rendimiento de los puestos de trabajo desde dos puntos de vista: tareas rutinarias y labores de gestión.

Establecimiento de perfiles claros en plazas específicas.

Establecimiento de un sistema de reconocimiento al personaly al Servicio por parte de las autoridades académicas

Áreas de mejora:Satisfacción del Personal (1)

Necesidad de crear una plantilla homogénea y equilibrada.

Necesidad de introducir incentivos a tres niveles : económicos, de promoción y de formación, y desarrollo de la carrera profesional.

Necesidad de dotar adecuadamente los recursos materiales y humanos en cantidad y calidad.

Establecimiento de cauces reglamentarios para la participación tanto a nivel de centro (comisiones de bibliotecas) como a nivel general (Junta Asesora prevista en el Reglamento del Servicio).

Áreas de mejora:Satisfacción del Personal (2)

Valoración del proceso

Valoración del proceso de Evaluación Interna⌧Enfoque riguroso y estructurado para la mejora del servicio⌧ Importante instrumento diagnostico⌧Buen método para medir los progresos realizados en el tiempo⌧Herramienta de mejora centrada en áreas críticas

Valoración del Proceso de evaluación externa⌧Aporta juicios de personas no implicadas en la Univ. De Salamanca⌧Garantía de Credibilidad⌧Valida el proceso de autoevaluación

Conclusiones⌧Puntos fuertes y Puntos débiles⌧Acciones estratégicas de mejora⌧Plan de seguimiento

Informe Final

Implicación de la Universidad en la Evaluación y reorganización del Servicio

La colección es muy rica y variada, sobre todo el fondo antiguo, y la partida presupuestaria asignada al servicio es importante

El personal tiene voluntad de mejora, experiencia en el manejo del proceso de automatización y conciencia de su capacidad técnica.

Todas las bibliotecas del servicio están en red, se dispone de un sistema integrado de gestión de bibliotecas. Se está implantando progresivamente la automatización.

Los usuarios están satisfechos con la atención del personal, con los materiales básicos y con los horarios.

Informe Final:Puntos fuertes

No existe un modelo ni procedimiento regulado de recogida de datos e indicadores de eficacia.

Los servicios de información al usuario son poco conocidos.

No existe un documento que recoja la política estratégica del servicio.

No están definidos los canales de comunicación entre la dirección y el personal del servicio, por un lado, y entre los usuarios y los gestores del servicio, por otro.

El personal del servicio es insuficiente.

Falta una política de formación continuada

Escasa participación en la definición de la política del servicio.

No están definidas las funciones y responsabilidades de los puestos de trabajo.

Informe Final:Puntos débiles (1)

En el modelo presupuestario no figuran previsiones para las bibliotecas de centro y unidades centrales.

La colección está infrautilizada. Carece de un desarrollo coherente.

Los edificios e instalaciones carecen de planes de emergencia y seguridad, no están adaptados para facilitar el acceso a minusválidos.

En cuanto a los procesos no están implantados todos los módulos de automatización, hay retraso en el proceso de catalogación automatizado

.

Materiales: falta bibliografía recomendada;

Informe Final:Puntos débiles (2)

Elaborar un documento público entre los diferentes agentes del servicio en el que se planifique a corto y medio plazo, el gasto, las colecciones, el personal y los servicios. Y donde se coordinen los Servicios centrales y las Bibliotecas de Centro.

Informe Final: Propuestas de mejora (1)

Activar y fortalecer los mecanismos y órganos de participación y difusión de la Información a todas las categorías del personal y sectores de la comunidad universitaria.

Informe Final: Propuestas de mejora (2)

Elaborar y aplicar, de forma regular, un modelo de recogida de datos del Servicio que sirva de base para su planificación estratégica.

Informe Final: Propuestas de mejora (3)

Establecer planes de formación continua, definir funciones, competencias y responsabilidades de cada puesto de trabajo y medir su rendimiento; potenciar canales de participación del personal a través de la Comisión de Bibliotecas (Centro) y Junta Asesora (Universidad).

Establecer una dependencia administrativa única,aumentar la plantilla y formular un sistema de reconocimiento de méritos (incentivos económicos, de formación y promoción)

Informe Final: Propuestas de mejora (4)

Dotar a los edificios de medida de seguridad y planificar a largo plazo las instalaciones del Servicio de acuerdo con el crecimiento del personal, colecciones, servicios y usuarios;

Crear o habilitar salas de estudio para que los usuarios puedan estudiar con materiales propios,

Disponer en todos los centros de una señalización normalizada y homogénea.

Informe Final: Propuestas de mejora (5)

Elaborar un programa de gestión de la colección homogéneo para todas las bibliotecas y facilitar el acceso directo a todo el fondo bibliográfico.

Informe Final: Propuestas de mejora (6)

Dotar al Servicio de Bibliotecas de un sistema de financiación propio que garantice la planificación y previsión de necesidades del mismo.

Informe Final: Propuestas de mejora (7)

Implantar todos los módulos de automatización y adquisiciones en todas las bibliotecas

Planificar y acelerar la catalogación retrospectiva del fondo; coordinar la elaboración de manuales de procedimiento.

Informe Final: Propuestas de mejora (8)

Establecer canales de comunicación y participaciónpermanente entre los usuarios y los gestores del Servicio.

Diseñar un plan general de formación de usuarios.

Elaborar guías informativas.

Definir criterios de calidad en los servicios prestados.

Informe Final: Propuestas de mejora (9)

La evaluación no debe comenzar sin haberse realizado una adecuada campaña informativa.

La selección adecuada de los miembros de los comités es fundamental.

El proceso debe de ser participativo y transparente

Debe basarse en indicadores de calidad que consideren no solo la producción sino la evolución, el rendimiento y la eficacia.

La calidad debe establecerse por la vía del convencimiento no de la imposición

El comité no puede erigirse en arbitro inapelable y ha de manejar la información con prudencia.

La evaluación y sus consecuencias revisten un carácter paulatino

Conclusiones

Julio Alonso ArévaloUniversidad de SalamancaFacultad de Traducción y Documentación

EVALUACION DE BIBLIOTECAS UNIVERSITARIAS CON EL MODELO EFQM.