a evolução do impacto dos periódicos scielo na produção científica nacional. os criterios...

Rogério Mugnaini Departamento de Informação e CulturaEscola de Comunicações e ArtesUniversidade de São Paulo

A evolução do impacto dos periódicos SciELO na produção científica nacional

Os critérios Qualis reconhecem este impacto? O que o Fator de impacto não revela sobre a

contribuição dos periódicos do Brasil?

Escopo da pesquisa

Temático• Comunicação científica–Política Científica• Avaliação de produção científica

Metodológico– Análise Qualitativa: critérios de classificação de

periódicos científicos– Análise Quantitativa: indicadores bibliométricos

Rogério Mugnaini | V Reunião SciELO, Dezembro 2015

Período: 15 anos de avaliação, desde que se adotaram critérios mais objetivos

Triênio 1: 1998-2000 Triênio 2: 2001-2003 Triênio 3: 2004-2006 Triênio 4: 2007-2009 Triênio 5: 2010-2012

Avaliação trienal da Capes (início em 1976)


Análise dos critérios de avaliação da produção científica nacional Critérios de avaliação do Qualis Periódicos

– Informação qualitativa, derivada das decisões dos comitês de área;

– Rica fonte de informação, fruto de consenso entre os pesquisadores, que oferece os aspectos contextuais do processo de comunicação científica de cada área.

– Análise documental dos documentos de área propostos pelas comissões das 46 Áreas de Avaliação do Qualis (5 triênios, até 2012).

1ª Fase da pesquisa


Grande Área Área de Avaliação A1 A2 B1CIENCIAS BIOLOGICAS ICIENCIAS BIOLOGICAS IICIENCIAS BIOLOGICAS IIIENGENHARIAS IENGENHARIAS IIENGENHARIAS IIIENGENHARIAS IVASTRONOMIA / FISICACIENCIA DA COMPUTACAOMATEMATICA / PROBAB. E ESTATISTICAQUIMICAENFERMAGEMFARMACIAMEDICINA IMEDICINA IIMEDICINA IIIODONTOLOGIASAUDE COLETIVACIENCIAS DE ALIMENTOSMEDICINA VETERINARIAZOOTECNIABIODIVERSIDADEBIOTECNOLOGIAMATERIAIS

BIOLOGICAS (100%)

Indicador

ENGENHARIAS (100%)

EXATAS E DA TERRA (80%)

SAUDE (78%)

AGRARIAS (75%)

MULTIDISCIPLINAR (50%)

Áreas com perfil de avaliação baseado estritamente em indicadoresRogério Mugnaini | V Reunião SciELO,

Dezembro 2015

Tipos de critérios do Qualis Periódicos

Grande Área Área de Avaliação A1 A2 B1EDUCACAO FISICANUTRICAOECONOMIAADM CIENCIAS CONTABEIS E TURISMO

AGRARIAS (25%) CIENCIAS AGRARIAS I Indic. / Caracts. Perióds.MULTIDISCIPLINAR (17%) INTERDISCIPLINAR Indic. / Index. / Caracts. Perióds.MULTIDISCIPLINAR (17%) CIENCIAS AMBIENTAISEXATAS E DA TERRA (20%) GEOCIENCIAS Indicador Indic. / Caracts. Perióds.

GEOGRAFIA Indic. / Caracts. Perióds. IndicadorANTROPOLOGIA / ARQUEOLOGIA Index. / Caracts. Perióds.CIENCIA POLIT. E RELS. INTERNACIONAIS Indic. / Index. / Caracts. Perióds.

MULTIDISCIPLINAR (17%) ENSINO DE CIENCIAS E MATEMATICASOCIAIS APLICADAS (14%) CIENCIAS SOCIAIS APLICADAS I Index. Index. / Caracts. Perióds.

EDUCACAOFILOSOFIA / TEOLOGIAHISTORIASOCIOLOGIA

LINGUIST. LETRAS E ARTES (50%) LETRAS / LINGUISTICAPLANEJ. URBANO E REG. / DEMOGRAFIASERVICO SOCIAL

HUMANAS (12%) PSICOLOGIA Index.SOCIAIS APLICADAS (14%) DIREITO Caracts. Perióds.LINGUISTICA LETRAS E ARTES (50%) ARTES / MUSICA

SOCIAIS APLICADAS (14%) ARQUITETURA E URBANISMO

HUMANAS (50%)

Index. / Caracts. Perióds.

SOCIAIS APLICADAS (29%)

Index. / Caracts. Perióds.

Caracts. Perióds.

Indic. / Caracts. Perióds.

HUMANAS (38%)Indic. / Index. / Caracts. Perióds. Index. / Caracts. Perióds.

Index.Index. / Caracts. Perióds.

SAUDE (22%)

IndicadorIndic. / Index.

SOCIAIS APLICADAS (29%)

Indic. / Index.

Áreas com perfis de avaliação diversificados


Tipos de critérios do Qualis Periódicos

Distribuição dos periódicos SciELO Brasilsegundo estratos do Qualis Periódicos

A1 A2 B1 B2 B3 B4 B5 C % Freq.Ci. Agrárias

2007 8,6% 60,0% 22,9% 5,7% 2,9% 100,0% 352008 18,4% 42,1% 28,9% 10,5% 100,0% 382010 2,6% 35,9% 33,3% 17,9% 7,7% 2,6% 100,0% 39

Ci. Sociais Aplicadas2007 5,9% 29,4% 41,2% 17,6% 2,9% 2,9% 100,0% 342008 8,3% 36,1% 38,9% 11,1% 2,8% 2,8% 100,0% 362010 15,4% 46,2% 33,3% 2,6% 2,6% 100,0% 39

Ci. Biológicas2007 2,9% 8,8% 64,7% 11,8% 2,9% 5,9% 2,9% 100,0% 342008 17,1% 45,7% 22,9% 8,6% 5,7% 100,0% 352010 6,1% 27,3% 39,4% 18,2% 9,1% 100,0% 33

Engenharias2007 33,3% 50,0% 11,1% 5,6% 100,0% 182008 31,6% 42,1% 21,1% 5,3% 100,0% 192010 5,0% 15,0% 65,0% 10,0% 5,0% 100,0% 20

Ci. Exatas / Terra2007 6,3% 25,0% 56,3% 12,5% 100,0% 162008 6,3% 25,0% 43,8% 18,8% 6,3% 100,0% 162010 5,6% 27,8% 44,4% 16,7% 5,6% 100,0% 18

Ci. Saúde2007 3,4% 10,1% 55,1% 15,7% 10,1% 4,5% 1,1% 100,0% 892008 3,2% 13,8% 42,6% 23,4% 9,6% 5,3% 2,1% 100,0% 942010 8,6% 19,4% 52,7% 12,9% 4,3% 2,2% 100,0% 93

Ci. Humanas2007 22,2% 35,8% 32,1% 4,9% 1,2% 1,2% 1,2% 1,2% 100,0% 812008 30,6% 35,3% 24,7% 4,7% 2,4% 1,2% 1,2% 100,0% 852010 46,6% 27,3% 21,6% 2,3% 1,1% 1,1% 100,0% 88

Ling., Letras & Artes2007 57,1% 28,6% 14,3% 100,0% 72008 66,7% 33,3% 100,0% 92010 72,7% 27,3% 100,0% 11

TotalÁrea periódico / Ano Qualis

Melhor estrato de classificação alcançado

Distribuição de periódicos segundo bases de dados, quartil do Fator de Impacto JCR, em 3 atualizações da lista Qualis de todas as áreas.

Ano e Quartil JCR - SciELO-BR SciELO-ORG Total geral2007 12.249 277 295 12.821

- 7.423 248 259 7.930 JCR-1Q 1.275 1 1.276 JCR-2Q 1.335 4 2 1.341 JCR-3Q 1.233 9 8 1.250 JCR-4Q 983 16 25 1.024

2008 15.891 294 405 16.590 - 10.447 265 361 11.073 JCR-1Q 1.435 1 1.436 JCR-2Q 1.466 4 2 1.472 JCR-3Q 1.398 10 10 1.418 JCR-4Q 1.145 15 31 1.191

2010 20.471 303 512 21.286 - 13.912 221 423 14.556 JCR-1Q 1.753 1 1.754 JCR-2Q 1.863 9 2 1.874 JCR-3Q 1.690 21 14 1.725 JCR-4Q 1.253 52 72 1.377

Distribuição dos periódicos classificados no Qualis2007, 2008 e 2010

Distribuição de periódicos não-SciELO segundo número de Quartil do Fator de impacto JCR e melhor estrato de classificação - atualização Qualis 2010.

A1 A2 B1 B2 B3 B4 B5 C1 7,8% 8,6% 12,9% 10,5% 11,0% 12,1% 18,6% 18,6% 100,0% 12.784 2 18,7% 13,9% 18,3% 9,0% 10,0% 11,6% 13,4% 5,1% 100,0% 5.906 3 19,7% 14,7% 14,8% 11,3% 13,4% 15,3% 9,9% 0,8% 100,0% 1.781

Total geral 12,0% 10,6% 14,6% 10,1% 10,9% 12,2% 16,3% 13,2% 100,0% 20.471

A1 A2 B1 B2 B3 B4 B5 CJCR-1Q 73,4% 17,7% 6,4% 1,1% 0,3% 0,3% 0,1% 0,7% 100,0% 1.753 JCR-2Q 32,5% 34,6% 25,1% 4,4% 1,4% 1,1% 0,2% 0,8% 100,0% 1.863 JCR-3Q 10,4% 23,6% 45,0% 14,1% 3,5% 1,5% 0,7% 1,2% 100,0% 1.690 JCR-4Q 3,8% 13,2% 37,2% 23,9% 12,5% 3,9% 3,8% 1,8% 100,0% 1.253

- 2,4% 4,7% 8,6% 10,3% 14,3% 17,3% 23,6% 18,9% 100,0% 13.912 Total geral 12,0% 10,6% 14,6% 10,1% 10,9% 12,2% 16,3% 13,2% 100,0% 20.471

NQuartil do Fator de Impacto

Melhor estrato de classificação Total

Distribuição dos periódicos não-SciELO classificados no Qualis2010

Avaliação de revistas utilizadas pela comunidade científica nacional

Avaliação das revistas segundo critérios

•Interno– Zonas de Bradford de produção científica (artigos)– Zonas de Bradford de consumo de informação

(referências bibliográficas/citações)•Externo– Quartíl do Fator de Impacto – JCR

2ª Fase da pesquisa


Os critérios de avaliação - interno Zonas de Bradford:

Produção: títulos onde publicam os brasileiros e Consumo: títulos consumidos (citados) pelos brasileiros

Fontes de dados Internacionais (Thomson Reuters)

Web of Science (WoS), Journal Citation Reports (JCR), Essential Science Indicators (ESI)

Nacional SciELO ORG


Artigos e respectivas referências bibliográficas dos brasileiros (WoS + SciELO) 1998-2012)

Produção nacional

Artigos :

400 milConsumo nacional

Referências bibliográficas:

10,7 milhõesRogério Mugnaini | V Reunião SciELO,

Dezembro 2015

Introdução: Aspectos metodológicos Áreas temáticas

Cerca de 250 áres da Web of Science são agrupadas segundo áreas do Essential Science Indicators (22) + Ciências Humanas


Zonas (1 e 2) de Produção: área Multidisciplinar


Journal ISSN Region Index T1_P T2_P T3_P T4_P T5_P

AN. ACAD. BRAS. CIENC. 0001-3765 2 SciELO/WoS 1 1 1 1 1 255 255ACTA SCI-TECHNOL 1806-2563 2 WoS - - - 2 2 175P NATL ACAD SCI USA 0027-8424 0 WoS 2 2 2 2 2 80SCIENCE 0036-8075 0 WoS 3 2 3 3 3 31NATURE 0028-0836 0 WoS 2 3 2 3 3 28THESCIENTIFICWORLDJO 1537-744X 0 WoS - - 3 3 3 11NATURWISSENSCHAFTEN 0028-1042 0 WoS 3 3 3 3 3 10J R SOC INTERFACE 1742-5689 0 WoS - - - 3 3 9ADV COMPLEX SYST 0219-5259 0 WoS - - 3 3 3 6REV.UDCA ACTUAL. & DIV. CIENT. 0123-4226 1 SciELO - - - 3 3 5NAT COMMUN 2041-1723 0 WoS - - - - 3 5SYNTHESE 0039-7857 0 WoS 3 3 3 3 3 3ADV SCI LETT 1936-6612 0 SciELO/WoS - - - - 3 3CURR SCI INDIA 0011-3891 0 WoS 3 3 3 3 3 2S. AFR. J. SCI. 0038-2353 0 SciELO/WoS - - - 3 3 2NOTES REC ROY SOC 0035-9149 0 WoS - - - - 3 2B LAT AM RES 0261-3050 0 Nao indexada - - - - 3 2NAT METHODS 1548-7091 0 WoS - - - - 3 2SCI AM 0036-8733 0 WoS 3 - - - 3 1INTERDISCIPL SCI REV 0308-0188 0 WoS 3 3 - - 3 1SCIENCEASIA 1513-1874 0 WoS - - - 3 3 1ANN SCI 0003-3790 0 WoS - - - - 3 1J ZHEJIANG UNIV-SC B 1673-1581 0 Nao indexada - - - - 3 1P EST ACAD SCI 1736-6046 0 WoS - - - - 3 1J SCI IND RES INDIA 0022-4456 0 WoS 3 - 3 3 3 1TEXT TALK 1860-7330 0 Nao indexada - - - - 3 1

255

129

Freq. Artigos (T5)

Zonas (1 e 2) de Consumo: área Multidisciplinar


Journal ISSN Region Index T1_C T2_C T3_C T4_C T5_C Freq. Citações (T5)NATURE 0028-0836 0 WoS 1 1 1 1 1 21.518 SCIENCE 0036-8075 0 WoS 2 2 2 2 2 19.227 P NATL ACAD SCI USA 0027-8424 0 WoS 2 2 2 2 2 18.816 AN. ACAD. BRAS. CIENC. 0001-3765 2 SciELO/WoS 3 3 3 3 3 2.313 J R SOC INTERFACE 1742-5689 0 WoS - - 3 3 3 512 CURR SCI INDIA 0011-3891 0 WoS 3 3 3 3 3 448 AM SCI 0003-0996 0 Nao indexada 3 3 3 3 3 114 S. AFR. J. SCI. 0038-2353 0 SciELO/WoS 3 3 3 3 3 113 CHINESE SCI BULL 1001-6538 0 WoS 3 3 3 3 3 106 J SCI IND RES INDIA 0022-4456 0 WoS 3 3 3 3 3 90 ADV COMPLEX SYST 0219-5259 0 WoS - - 3 3 3 23 B LAT AM RES 0261-3050 0 Nao indexada 3 3 3 3 3 21 ANN SCI 0003-3790 0 WoS 3 3 3 3 3 13 TEXT TALK 1860-7330 0 Nao indexada - - - 3 3 12 NOTES REC ROY SOC 0035-9149 0 WoS - 3 3 3 3 8 INTERDISCIPL SCI REV 0308-0188 0 WoS 3 3 3 3 3 6 P EST ACAD SCI 1736-6046 0 WoS - - - - 3 4 ADV SCI LETT 1936-6612 0 SciELO/WoS - - - - 3 2 NATURWISSENSCHAFTEN 0028-1042 0 WoS - - - - 3 1 NAT COMMUN 2041-1723 0 WoS - - - - 3 1

Zonas (1 e 2) de Consumo: Ciências Agrárias


PESQ. AGROPEC. BRAS. Brasil SciELO/WoS 1 1 1 1 1 S 1 1 1 1 1 9506 SJ AGR FOOD CHEM Outros WoS 3 3 3 3 3 S 2 1 1 1 1 8735 U1FOOD CHEM Outros WoS 3 3 3 3 3 S 3 2 2 1 1 6514 U2CIENC. RURAL Brasil SciELO/WoS 2 1 1 1 1 U1 3 2 2 1 1 5672 U2J DAIRY SCI Outros WoS 3 3 3 3 3 S 1 1 1 1 1 5208 SJ NUTR Outros WoS 3 3 3 3 3 S 2 1 1 1 1 4342 U1CIENC. AGROTEC. Brasil SciELO/WoS - 2 2 1 1 U1* 3 3 3 2 2 4234 U1J FOOD ENG Outros WoS 3 3 3 3 3 S 3 3 2 2 2 3475 U1SCI. AGRIC. (PIRACICABA, BRAZ.) Brasil SciELO/WoS 2 2 2 2 2 S 3 2 2 2 2 3301 U1CROP SCI Outros WoS 3 3 3 3 3 S 1 1 1 2 2 2941 D1J FOOD SCI Outros WoS 3 3 3 3 3 S 1 2 1 2 2 2695 OBRAGANTIA Brasil SciELO/WoS 3 3 2 2 2 U1 2 2 2 2 2 2612 SINT J FOOD MICROBIOL Outros WoS 3 3 3 3 3 S 3 3 2 2 2 2305 U1BRIT J NUTR Outros WoS 3 3 3 3 3 S 2 2 2 2 2 2219 SFOOD CHEM TOXICOL Outros WoS 3 3 3 3 3 S 3 3 2 2 2 2018 U1FOOD SCI. TECHNOL (CAMPINAS) Brasil SciELO/WoS 2 2 2 2 1 U1 3 3 3 2 2 1960 U1SOIL TILL RES Outros WoS 3 3 3 3 3 S 3 3 2 2 2 1947 U1GEODERMA Outros WoS 3 3 3 3 3 S 3 2 2 2 2 1865 U1MEAT SCI Outros WoS 3 3 3 3 3 S 3 3 2 3 2 1794 OJ AM OIL CHEM SOC Outros WoS 3 3 3 3 3 S 2 2 2 2 2 1738 SREV. NUTR. Brasil SciELO/WoS 3 3 3 2 2 U1 3 3 3 2 2 1700 U1ENG. AGRIC. Brasil SciELO - - 2 2 2 S* 3 3 3 3 2 1605 U1AGRON J Outros WoS 3 3 3 3 3 S 2 2 2 2 2 1558 SFOOD RES INT Outros WoS 3 3 3 3 3 S 3 3 3 3 2 1480 U1

T1_C T2_C T3_C T4_C T5_C Cit_5Perfil PROD

Perfil CONS

Periódico País Base T1_P T2_P T3_P T4_P T5_P


Legenda:Perfís de mudmovimento entre Zonas de produção (PROD) e consumo (CONS) de cada periódico, segundo: •U: “up” para qualquer combinação em que tenha ocorrido pelo menos um a ascenção de zona, permitindo que em PROD ou CONS tenha sido “Stable” (U-U, U-S or S-U, respectivamente); •S-S: o periódico foi considerado estável (Stable), permanecendo na mesma zona em todos os triênios (tanto em produção como em consumo); •O: se foi identificada oscilação (subida e descida) em qualquer das dimensões (PROD ou CONS); e finalmente ;•D: para qualquer combinação incluindo rebaixamento nas zonas (em qualquer das dimensões).

Perfil de movimento entre as zonas

Distribuição dos periódicos segundo: indexação e país


Base Outros Demais Am. Lat. Brasil TotalNao indexada 363 28 33 424SciELO 35 129 140 304SciELO/WoS 135 53 98 286WoS 5.416 23 39 5.478

Total 5.949 233 310 6.492

Periódicos SciELO “S_S”estáveis nas zonas de produção e consumo durante os 5 triênios


Zona 1 de PROD e CONSPESQ. AGROPEC. BRAS.REV. INST. MED. TROP. S. PAULOBRAZ J MED BIOL RESMEM. INST. OSWALDO CRUZREV. SOC. BRAS. MED. TROP.CAD. SAUDE PUBLICAREV BRAS ZOOTECN

Zona 2 de CONSEDUC. SOC.REV. BRAS. CI. SOC.

Zona PROD23

Zonas 3 de CONSÁrea 1 2 3 -

Social Sciences, general 1 15 2 18Clinical Medicine 1 14 2 17Engineering 5 1 6Economics & Business 2 2 4Human Sciences 2 2 4Psychiatry/Psychology 2 1 3Plant & Animal Science 2 1 3Materials Science 2 2Neuroscience & Behavior 1 1 2Computer Science 1 1 2Chemistry 1 1Geosciences 1 1Multidisciplinary 1 1Agricultural Sciences 1 1Environment/Ecology 1 1Physics 1 1

Total 13 28 20 6 67

Zona PROD Total

Periódicos SciELO “U”melhor posição nas zonas de produção e/ou consumo durante os 5 triênios

Área perfil 1 2 3 -Clinical Medicine 1 17 8 26

S-U 1 5 6U-S 8 8U-U 12 12

Social Sciences, general 1 7 7 1 16S-U 2 2U-S 1 7 1 9U-U 1 4 5

Plant & Animal Science 7 7 2 16S-U 4 3 7U-S 1 2 3U-U 3 3 6

Psychiatry/Psychology 3 5 2 10S-U 1 1U-S 2 2U-U 2 5 7

Human Sciences 1 5 4 10S-U 1 1 2U-S 1 4 5U-U 3 3

Agricultural Sciences 1 6 1 8S-U 2 2U-S 1 1 2U-U 1 3 4

Economics & Business 4 3 7U-S 1 3 4U-U 3 3

Último triênio em qual Zona CONS? Total

Áreas com pelo menos 5 periódicos melhorando zona

Conclusões• Parte significativa dos periódicos SciELO Brasil

posicionam-se na Zona 1, ou ascendem entre zonas, revelando sua importância para a pesquisa brasileira;

• Os resultados da pesquisa sinalizam que a avaliação da pesquisa nacional deve abarcar fontes de informação representativas, com indicadores sensíveis a evoluções, o que não se observa utilizando o Fator de Impacto da pequena parte dos periódicos nacionais indexados na Web of Science.


Rogério [email protected]

Este estudo é parte da pesquisa desenvolvida no âmbito do Programa Jovens Pesquisadores da FAPESP, intitulada: Link para o projeto: “Avaliação de produção científica no Brasil: estudo da comunicação científica nas diversas áreas e desenvolvimento de infraestrutura institucional”


http://lattes.cnpq.br/6156509933307243

http://www.bv.fapesp.br/pt/auxilios/48066/avaliacao-de-producao-cientifica-no-brasil-estudo-da-comunicacao-cientifica-nas-diversas-areas-e-des/

