curso uimp 2010 herramientas e indicadores bibliometricos para la evaluacion de la investigacion en...

105
Herramientas e indicadores bibliométricos para la evaluación de la investigación en Ciencias de la Salud Emilio Delgado López-Cózar Profesor de Metodología de la Investigación

Upload: emiliodelgado

Post on 04-Jul-2015

4.568 views

Category:

Education


4 download

TRANSCRIPT

Page 1: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Herramientas e indicadores bibliométricos para la evaluación de la investigación en

Ciencias de la Salud

Emilio Delgado López-CózarProfesor de Metodología de la Investigación

Page 2: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

El guión

Propongo que hoy primero pensemos y después actuemos

En evaluación de la ciencia con indicadores bibliométricos lo habitual es

primero actuar y después pensar

• Los territorios de la ciencia: las disciplinas científicas y sus especialidades. Hábitos de comunicación• Las tribus de la ciencia: El tamaño de las comunidades científicas• La calidad en la publicación científica: ¿cómo valorarla? ¿cómo se encara en Biomedicina?• Los indicadores bibliométricos• Las herramientas bibliométricas

Page 3: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Heterogeneidad de la ciencia los campos científicos

La naturaleza del conocimiento científico es muy diferente según

– Áreas: CyT, CCSS, Humanidades• Disciplinas: Física, Química, Economía, Derecho, Psicología

– Especialidades: Psicobiología, Psicología de la educación… Microbiología, Bioquímica, Inmunología,

Nefrología, Neurología…

• Fundamentos de la investigación: qué es una investigación• Prácticas de investigación: cómo se hace • Hábitos de comunicación: publicación e información• Procesos de evaluación: cómo se evalúa

Duras / Básicas

Blandas / Aplicadas

Page 4: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Heterogeneidad de la ciencia los campos científicos

Juicios de valorCitas = ImpactoEvaluación trabajos ex post

CONSENSO COGNITIVO

¿Peer review?Peer ReviewEvaluación trabajos ex ante

Descriptivos / Cualitativos

ExprimentalesMétodos de investigación

CualitativasCuantitativasTécnicas análisis datos

Realidad humana

(Subjetiva / contextual)

Realidad natural

(Objetiva / universal)

Objeto de investigación

Lenguaje naturalMatemáticoLenguaje

IndividuoGrupoOrganización

LibrosRevistasMedio publicación

HumanidadesSocialesCyT

Inglés Lengua vernáculaLenguaje publicación

Page 5: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Los hábitos de comunicación científicaLos medios de publicación

5%10%

85%

10%

50%40%

10%

30%

60%

Experimentales

Revistas Libros Otros

Sociales Humanidades

Page 6: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

RIN 2009. Communicating knowledge: How and why UK researchers publish and disseminate their findings.

Publicación de resultados de investigación por tipo de documento

Científicos británicos (N=944)

Page 7: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

RIN 2009. Communicating knowledge: How and why UK researchers publish and disseminate their findings.

Importancia de la revistas científicas como canales de publicaciónCientíficos británicos

Page 8: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Los hábitos informativosPorcentaje citas a revistas

Bases de datos SCI / SSCI (1993) (600.000 artículos, 10.000.000 referencias)

94,3

92,1

85,2

83,8

64,4

64

62,2

56

48,7

47,6

40,4

34,7

0 10 20 30 40 50 60 70 80 90 100

Inmunología

Medicina

Física de la tierra

Química analítica

Matemáticas

Psicología/Psiquiatría

Ingen. Electrónica

Negocios

Economía

Documentación

Sociología

Hª y Fª de la ciencia

Glänzel, W. and Schoepflin, U. 1999. A bibliometric study of reference literature in the sciences and social sciences. Inf. Process. Manage. 1999; 35(1): 31-44

Page 9: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Biomedicina

Ingenierías

Psicología

Larivière, V., Archambault, É., Gingras, Y., and Vignola-Gagné, É. 2006. The place of serials in referencing practices: Comparing natural sciences and engineering with social sciences and humanities: Research Articles. J. Am. Soc. Inf. Sci. Technol. 2006: 57(8): 997-1004

Page 10: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Los hábitos informativosDistribución edad de las citas en tres disciplinas

Citas en Web of Science)

0.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1.0

1 2 3 4 5 6 7 8 9 10 11 12 13 15 15 16 17 18

AGE

CIT

ES

/PA

PE

R

*EDUCATRES

#HISTORY

#THEATER

Page 11: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Las comunidades científicasel tamaño

Científicos = Publicaciones = Referencias bibliográficas =+ + Citas

Indicadores bibliométricos de mayor tamaño

MayoresImpact Factor, Índice H…

+ +

Page 12: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Efectos en la productividad y la citación

Nº de publicaciones por autor Nº de citas por trabajoWeb of Science

1999-2009Media de citas por artículo y

por especialidades

1EDUCACION

1ECONOMIA

2PSICOLOGIA

4MATEMATICAS

4AGRICULTURA

6BIOMEDICINA

8FISICA

9QUIMICA

Artículos ISI-WOSaño

Producción ISI-WOS anual Investigadores Principales muy

productivos proyectos Plan nacional español 2007

Page 15: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

RecuentosCuantitativos

Evaluación por paresCualitativos

• Nº publicaciones• Nº citas

• Opiniones: juicios de valor

Los métodos de evaluación más objetivos (los cuantitativos) son los menos relevantes

mientras que los menos objetivos (evaluación por pares) son los más relevantes

Métodos para valorarla

Page 16: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

RIN 2009. Communicating knowledge: How and why UK researchers publish and disseminate their findings.

Trabajos de investigación publicados y presentados a evaluación en el RAE

por investigadores biomédicos británicos

Page 17: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

¿Y si le preguntamos a los científicos españoles?

Muestra: 1294 Profesores TU y Catedráticos con 1 o 2 tramosBuela-Casal, G. y Sierra, J. C. (2007). Criterios, indicadores y estándares para la acreditación de Profesores Titulares y Catedráticos de Universidad. Psicothema, 19, 357-369

*

*

*

Opinión científicos españoles

Page 18: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

“Se valorarán preferentemente las aportaciones que sean artículos en revistas de reconocida valía, aceptándose como tales las que ocupen posiciones relevantes en los listados por ámbitos científicos en el «Subject Category Listing» del «Journal Citation Reports» del «Science Citation Index» (Institute for Scientific Information -ISI- Philadelphia, PA, USA). Las revistas electrónicas se considerarán cuando aparezcan en los listados del ISI”

“Con carácter orientador se considera que para obtener una evaluación positiva en las áreas de Ciencias Biomédicas, tanto básicas como clínicas, al menos dos de dichas aportaciones deben ser artículos publicados en revistas de alto impacto entre las recogidas bajo cualquiera de los epígrafes del Science Citation Index”

Las agencias de evaluaciónCriterios evaluación científicos

Page 19: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Se puede considerar un menor número de trabajos si corresponden a publicaciones de elevada calidad

“[Publicar artículos en revistas científicas] es el elemento fundamental de la evaluación y la autoría de un buen número de publicaciones en revistas de calidad permite conseguir casi todos los puntos (…) para obtener la puntuación máxima en este apartado se requiere la aportación por el solicitante de un mínimo de (…) publicaciones científicas recogidas en Science Citation Index, si la mitad de ellas pertenecen al primer tercio de la categoría”

Las agencias de evaluaciónCriterios evaluación científicos

Número de publicaciones para obtener la puntuación máxima

Total primer tercio

Total artículos ISI-JCR

61020

122040

Contratados Dr.TitularesCatedráticos

Page 20: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Los indicadores bibliométricos

Page 21: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Evaluación de la actividad científicaMarcando el territorio

Page 22: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Presupuestos

• Los resultados de investigación se manifiestan fundamentalmente a través de las publicaciones científicas.

• Al contar publicaciones se asume implícitamente que todas ellas portan la misma cantidad de conocimiento científico certificado.

• Todos los firmantes de un trabajo son responsables de la investigación expuesta y han contribuido de igual manera a la misma.

• Las citas son una medida fiable y válida de la repercusión de los trabajos

Page 23: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Unidades de análisis

DeficienteDepartamentos, grupos, investigadores

Micro

BuenaRegiones, Instituciones, áreas temáticas

Meso

MáximaPaísesMacro

Fiabilidad y Validez

AgregadoNivel

Grandes números = estabilidadPequeños números = alta variabilidad

Page 24: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Los métodos de recuento

• Total o completo: A cada coautor se le atribuye el resultado completo.– El más empleado: fácil de aplicar, prima la colaboración,

genera recuentos redundantes• Fraccionado: Se divide por el número de coautores

que hayan producido el trabajo– Se penaliza la colaboración

• Al primer autor: Todo para el primero nada para los restantes.

• Más al primero que al resto• Fracción decreciente según el orden de firma

Page 25: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Instituciones firmantes y factor de impacto de los artículos publicados por autores con filiación española en las revistas Nature, Science, PNAS,

New England Journal of Medicine, Lancet y JAMAdistribuidos según posición firmante (2004-2005)

Jiménez-Contreras, Evaristo; Torres Salinas, Daniel; Ruiz-Pérez, Rafael; Delgado-López-Cózar, Emilio. Investigación de excelencia en España: ¿actores protagonistas o papeles secundarios? Medicina Clinica (Barcelona); 134(2):76-81

Page 26: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

• Contar por contar no sirve del todo para medir la contribución real de un científico, una institución o un país. Hay que pesar: la posición en la firma puede ser una unidad de medida

• Los factores de impacto no se heredan como los rasgos genéticos

• El impacto se mide con citas reales y no atribuyéndose el Impact Factor de la revista

Los métodos de recuento

Page 27: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Fuentes de datos

• La calidad, fiabilidad y validez de los resultados de los estudios bibliométricos son proporcionales a la calidad, fiabilidad y cobertura de las bases de datos en que estos se sustentan

• No son estadísticamente representativas en el sentido literal del término

• Muestran distribuciones sesgadas (campos, temas, países, lenguas…)

• El acceso a los datos es barato: La obtención de los mismos es casi instantánea

• Los datos deben ser previamente tratados: el trabajo de normalización es duro (nombres autores e instituciones, sobre todo)

• Podemos crear muchos indicadores y hacer “experimentos”

Page 28: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Fuentes de datos

• Curriculun Vitae del investigador– SICA (Andalucía), OCU, CIENTIFICA (EC3)

• Bases de datos bibliográficas– Multidisciplinares: Web of Science / SCOPUS

• Filiación institucional todos los autores• Incluye referencias bibliográficas citadas

– Especializadas• PUBMED

– Solo filiación institucional para el primer autor– No incluye referencias bibliográficas citadas

• Google Scholar– Mayor cobertura: total de documentos, tipo de publicaciones (libros,

informes, tesis…), idiomas– Falta de control: selección de fuentes, normalización, dificultades

descarga y tratamiento de la información

NO RECOMENDABLE PARA ESTUDIOS BIBLIOMÉTRICOS DE GRANDES AGREGADOS

Page 29: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Bases de datos nacionales versus

internacionales

0% 20% 40% 60% 80% 100%

2000

2009

2000

2009

2000

2009

BD nacional BD internacional

Sociales / Humanidades

Biomedicina

Ciencia y Tecnología

Page 30: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Web of Science

• Es la base de datos de referencia internacional para estudios bibliométricos

• Cubre las mejores revistas de todas las áreas (10,000) y buena parte de las actas de congresos (100.000)

• La selección de las revistas se basa en la ley de Bradford y laempresa selecciona según un protocolo muy conocido en el que lascitas y el prestigio juegan un papel esencial

• La cobertura de las revistas es cover to cover y recoge las citas detodas las publicaciones indizadas así como los resúmenes de lasmismas aunque no en toda la extensión temporal de la base dedatos que llega hasta 1900.

• Ofrece un variado conjunto de indicadores bibliométricos“precocinados”

Page 31: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

SCOPUS

• Se perfila como la competencia a WoS• Multidisciplinar aunque con menos atención a las Ciencias Sociales

(4%) y humanidades (1%) aunque están ampliándola a marchasforzadas.

• Ofrece información sobre unas 16.000 revistas y otra serie fuentes como páginas web, patentes… aunque la indización parece menos intensiva

• Parte de las revistas están procesadas de forma incompleta • Incluye también citas pero sólo hasta 1996• Excelente software de consulta y navegación que incluye

indicadores de revistas• Excelente localizador de autores• Menos sesgo anglosajón• No se explican los criterios de selección

– Prima la cantidad sobre la calidad

Page 32: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Torres-Salinas, D.; Jiménez-Contreras, E.; Delgado López-Cózar, E. Rankings for departments and researchers within a university using two different databases: Web of Science versus SCOPUS. Scientometrics. 2009, 80(3): 761-774

Comparando WoS y ScopusBiomedicina en la Universidad de Navarra (1999-2005)

Page 33: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Los indicadores

• Producción• Colaboración• Impacto• Nuevos indicadores

Page 34: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Producción

• Producción bruta• Producción desagregada por fuente de información

– JCR / no JCR– Pubmed, IME, WOS

• Por tipología documental:– Citables: Artículos, revisiones, notas / No citables (ISI/JCR)– Artículos, revisiones, notas, cartas, editoriales– Libros, capítulos de libros, congresos …

• Por especialidades o áreas:– Porcentajes: % o peso que representan respecto al marco disciplinar– Índices de actividad y especialización

• Autoría– Productividad:

• Número de trabajos por autor (Lotka)• Índice de transitoriedad de Price: nº de autores con un sólo trabajo

– Orden de firma: primer autor, último, posición intermedia, responsable correspondencia

• Percentil productivo: posición relativa del científico, institución…• Tasas de variación

Page 35: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Producción

Page 36: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Colaboración

• Autores

– Tasa de colaboración: % de documentos firmados por más de un autor

– Índice de coautoría: firmas/trabajo– Redes de coautorías

• Instituciones

– Tasa de colaboración: % de documentos firmados por más de una institución

– Número de instituciones por trabajo– Tipo de colaboración:

• Intrainstitucional: entre departamentos de una misma institución• Local: entre las instituciones de una misma provincia• Regional: entre las instituciones de una CCAA• Nacional: con otras CCAA diferentes a la de la institución• Internacional (países, zonas geográficas)

– Redes de colaboración

Page 37: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Colaboración

Page 38: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Impacto

Aclaración previa

– Impacto esperado (Impact Factor y sucedáneos)

• Es el impacto de la revista: promedio de citas de los trabajos publicados

• Fácil de aplicar: El impacto de un trabajo es el de la revista en que se publica. Asignación automática. El preferido en los estudios bibliométricos

– Impacto observado:

• Número de citas observadas, esto es, recibidas por los trabajos

• Difícil de aplicar : El impacto de un trabajo es el de la revista en que se publica. Asignación automática. El preferido en los estudios bibliométricos

Page 39: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Impacto

• Impacto

– ISI-JCR• Impact Factor• Inmediacy Incdx• Cited Half Life

– Las alternativas: SJR, SNIPP, Eigenfactor, Article influence– Posiciones: TOP 3, Cuartiles…– Factor impacto relativo…

• Citas

– Promedio de citas por trabajo– % de documentos citados– % de documentos muy citados– Caracterización citantes: autocitas, domésticas,

• Índice H

– Une tamaño (producción) e impacto– Los derivados del H: G, E, R, HC, HG, HI, HM, AW, AWCR, AWCRpA, q2, R

Page 40: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Impacto

Page 41: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

M. Amin & M. Mabe. (2000). Impact factors: Use and abuse. Perspectives in publishing

Thomson ISI-JCR

Page 43: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Número de citas recibidas en 2006 por los trabajos publicados en 2004 y 2005

Número de trabajos publicados en 2004 y 2005

Impact Factor = A/B

200620052004

2006 Impact Factor

2003 2007

Tiempo

JCR

La fórmula mágica

Page 51: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

• Miden la utilidad y la influencia intelectual, no la calidad

Cuando un científico cita un trabajo anterior lo que formalmente hace es reconocer la utilidad que ha tenido dicho trabajo en la confección del suyo propio y, por ende, es un indicador de influencia. Si se acepta esta premisa los trabajos más citados tienen una influencia mayor en las actividades investigadoras que los que tienen menos citas

• Mide el impacto de la revista y no el del artículo

• Son un magnífico indicador de competitividad • Si se emplea para evaluar países, instituciones o individuos recordar que entonces es un indicador de impacto esperado y no observado

Los datos de citación deben ser cuidadosamente usados e interpretados y no deben reemplazar el juicio humano (expertos).

Deben ayudar en la toma de decisiones y no ser aplicados mecánicamente

Recomendaciones

Page 52: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Las alternativas al Impact Factor Citas con pesos

Torres-Salinas, Daniel; Jiménez-Contreras, Evaristo. Introducción y estudio comparativo de los nuevos indicadores de citación sobre revistas científicas en Journal Citation Reports y Scopus. El profesional de la información, 2010, v. 19, n. 2, pp. 201-207.

Page 53: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Loet Leydesdorff. How are new citation-based journal indicators adding to the bibliometric toolbox?, Journal of the American Society for Information Science and Technology 60(7) (2009) 1327-1336

Las alternativas al Impact Factor Citas con pesos

Page 54: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Nuevos indicadoresRedes Sociales

Redes basadas en coautorías, cocitas, copalabras o en algún otro tipo de enlace

• Grado: Expresa el porcentaje de lazos que tiene un actor. Cuanto mayor es el grado mayor será el número de personas con las que se conecta un nodo

• Intermediación: Grado en que un punto está situado entre los otrospuntos de la red. Mide la capacidad que tienen los nodos para conectar diversos grupos y hacer de intermediarios

• Cercanía: Vinculación entre nodos. Muestra la capacidad de llegar directamente a muchos de los otros miembros de la red sin apoyarse en intermediarios

Page 55: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

El Índice H

Page 56: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

El Índice H

• Fortalezas– Combina producción e impacto en un solo indicador– Simple y sensillo de calcular y entender

• Debilidades– Valora la carrera de un investigador:

• No existen bases de datos que contengan todos los trabajos y las citas asociadas a las mismas-

• Las que existen se limitan a un número limitado de publicaciones (artículos en revistas indizadas en WoS o SCOPUS; todo tipo de publicaciones en Google Scholar).

– Inadecuado para comparar a investigadores de distintas áreas científicas

– Favorece a los autores senior frente a los noveles– No excluye las autocitas– Penaliza a los autores con estrategias de publicación muy selectivas:

pocos documentos y altamente citados

Page 57: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Nuevos indicadoresRedes Sociales

Page 58: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

• “a number of initiatives have attempted to measure scientific impact from usage log data”• “derivation of metrics to assess the quality and impact of scholarly communication units”

Johan Bollen, Herbert Van de Sompel, Aric Hagberg., Ryan Chute A Principal Component Analysis of 39 Scientific Impact Measures. PLOS One 2009

Los datos de uso tienen diferentes ventajas sobre los de citas• Inmediatos

Consisten en procesar la información derivada de los ficheros log de consulta, donde que recogidos las sesiones de consulta de los usuarios– Fechas/duración– Identificador de la sesión– Identificador de los artículos– Tipo/resultados de la consulta

Los indicadores de uso.• ¿Han venido para quedarse?• ¿Aportan nueva información?• ¿La información es complementaria?, ¿alternativa?, ¿mejor? ¿distinta?• ¿Son una alternativa real a las citas?

Nuevos indicadoresEl uso

Page 59: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

¿Es lo mismo visitar un sitio, descargar un pdf, que citar un trabajo?

• Visitar– ¿Sabemos qué se hace cuando se visita?– Leer sumarios, resúmenes, artículos– ¿Todas las visitas duran lo mismo?

• Descargar– ¿Se leen de forma completa antes y por eso se descargan? ¿se lee un resumen

y se descarga para proceder después a leerlo?– ¿Todos los trabajos que se descargan después se leen?

• Citar– El trabajo se ha leído… supuestamente– Ha sido útil para el lector, por ello se cita. Existe ya un juicio de valor– Ha influido en el trabajo, por ello se cita– Lo que es más difícil es saber en qué sentido se emite un juicio de valor: positivo

o negativo

Nuevos indicadoresEl uso

Page 60: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Johan Bollen, Herbert Van de Sompel, Aric Hagberg., Ryan Chute A Principal Component Analysis of 39 Scientific Impact Measures. PLOS One 2009

Page 61: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Johan Bollen, Herbert Van de Sompel, Aric Hagberg., Ryan Chute A Principal Component Analysis of 39 Scientific Impact Measures. PLOS One 2009

Page 62: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud
Page 63: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud
Page 64: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Nuevos indicadoresEl uso: métrica de PLOS One

Uso real

Prestaciones

Page 65: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud
Page 66: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Las herramientas

Page 67: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

• Productos para análisis automáticos pegados a bases de datos de referencia– Thomson ISI:

• WoS: Analyze results, create citation reports• Essential Science Indicators• Science Watch

– Harzing and Perish (Google Scholar)– SCOPUS

• Citation Tracker • Journal analyzer• Scival (Elsevier)

• Productos cerrados– CIENTIFICA (EC3)

Page 68: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud
Page 69: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud
Page 70: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud
Page 71: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud
Page 72: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud
Page 73: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud
Page 74: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud
Page 75: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud
Page 76: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

PROYECTO científica_ugrPROYECTO científica_ugrEl sistema de información y evaluación científica de El sistema de información y evaluación científica de

la Universidad de Granadala Universidad de Granada

Vicerrectorado de Investigación y Política Científica.Vicerrectorado de Investigación y Política Científica.En colaboración con el grupo EC3En colaboración con el grupo EC3

Page 77: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

CENTRALIZACIÓN DE FUENTES DE INFORMACIÓNCENTRALIZACIÓN DE FUENTES DE INFORMACIÓN

ERIHERIH

JCRJCR

Proyectos vice

Personal UGR Contratos OTRI

Tramos

INTERNASINTERNAS EXTERNASEXTERNAS

- Producción revistas- Libros - Congresos

Otras fuentes

Page 78: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

EJEMPLO: DEPARTAMENTOSEJEMPLO: DEPARTAMENTOS

Niveles de consulta: Niveles de consulta: Univ, Dpt, GI, Ponenca, Univ, Dpt, GI, Ponenca, InvestigadorInvestigador

Page 79: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

EJEMPLO: DEPARTAMENTOSEJEMPLO: DEPARTAMENTOS

1.1.Seleccionamos el nivelSeleccionamos el nivel

2.2.Seleccionamos DPTSeleccionamos DPT

33Menú de opcionesMenú de opciones

Page 80: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

EJEMPLO: DEPARTAMENTOSEJEMPLO: DEPARTAMENTOS

OPCIONES DEL MENÚ OPCIONES DEL MENÚ (para todos los niveles)(para todos los niveles)

TABLEROS (opción de consulta de la información en pantalla).TABLEROS (opción de consulta de la información en pantalla).- Tablero ejecutivo (es un resumen del agregado)

- Producción en revistas científicas y visibilidad (ciencias y sociales/humanidades)- Producción de libros, capítulos y congresos

- Recursos Económicos: Proyectos I+D y contratos- Rankings

INFORMES DE DATOSINFORMES DE DATOS- La misma información que en los tableros pero dispuesta a modo de informe A4 e

imprimible en pdf.

INFORMES DESGLOSADOS.INFORMES DESGLOSADOS.- Son las referencias de artículos, proyectos, etc… (por ejemplo referencias

bibliográficas)

TABLERO EXPORTACIÓNTABLERO EXPORTACIÓN- Permite exportar toda la información en diferentes formatos (.doc, .xls, . Txt, etc…)

Page 81: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

EJEMPLO: DEPARTAMENTOS, TABLERO EJECUTIVOEJEMPLO: DEPARTAMENTOS, TABLERO EJECUTIVO

1.1.Tablero ejecutivo Tablero ejecutivo permita comparativaspermita comparativas

2.2.Los tableros incluyen Los tableros incluyen varias fichasvarias fichas

Page 82: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

EJEMPLO: DPT, TABLERO PRODUCCIÓN CIENTÍFICAEJEMPLO: DPT, TABLERO PRODUCCIÓN CIENTÍFICA-Producción en revistas- Producción en revistas JCR- Publicaciones por profesor

-Publicaciones 1º Cuartil- Publicaciones Top3

- Impact Factor (Sum, Prom)

Page 83: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

EJEMPLO: DPT, TABLERO PRODUCCIÓN CIENTÍFICAEJEMPLO: DPT, TABLERO PRODUCCIÓN CIENTÍFICA

-Producción por categorías

-Producción por revista

Page 84: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

EJEMPLO: DPT, TABLERO PRODUCCIÓN CIENTÍFICAEJEMPLO: DPT, TABLERO PRODUCCIÓN CIENTÍFICA

-Ranking investigadores

-Ranking Investigadores gráfico

Page 85: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

EJEMPLO: RANKING GRUPOS DE INVESTIGACIÓNEJEMPLO: RANKING GRUPOS DE INVESTIGACIÓN

Page 86: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

EJEMPLO: CONSULTA DE PONENCIASEJEMPLO: CONSULTA DE PONENCIAS

Page 87: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

EJEMPLO: DPT, OTRAS OPCIONES: INFORMESEJEMPLO: DPT, OTRAS OPCIONES: INFORMES

Page 88: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud
Page 89: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Un ejemplo

Page 90: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Cuidado con los nombres

Page 91: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud
Page 92: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Autores más productivos instituciones

paises

Tipos documentales

Page 93: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Organismo financiador

Áreas temáticas

Revistas

Page 94: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud
Page 95: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Essential Science Indicators

Page 96: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Essential Science Indicators

Page 97: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

La investigación de más impacto a nivel mundial

Ruiz Pérez, R.; Jiménez Contreras, E.; Delgado López-Cózar, E. Complementos bibliométricos de Thomsom Scientific en la Web: buenos, bonitos y gratuitos. El Profesional de la Información 2008, 17(5): 553-557 ACCESIBLE EN http://ec3.ugr.es/publicaciones

Page 98: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud
Page 99: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud
Page 100: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud
Page 101: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud
Page 102: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud
Page 103: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud
Page 104: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud
Page 105: Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Muchas gracias por su atenciónEmilio Delgado López-Cózar

[email protected]/emilio

Grupo de investigaciónEvaluación de la Ciencia y de la Comunicación

Científicawww.ec3.ugr.es

ec3