CADERNO DE CIÊNCIAS AGRÁRIAS
Agrarian Sciences Journal
Análise do Impacto das Publicações Científicas Qualificadas na Área de Ciências Agrárias I
da Capes
Edilson Messias Gonçalves Júnior
1
*, Eric Batista Ferreira
2
Resumo
No Brasil, alguns dos índices utilizados na avaliação da difusão da ciência são: o índice Qualis, os índices h, g e h
normalizado além do fator de impacto e sua versão proprietária o JCR. Este artigo tem por objetivo avaliar o impacto
e a qualidade dos periódicos da área de Ciências Agrárias I da Coordenação de Aperfeiçoamento de Pessoal de Nível
Superior (CAPES), no período de 2010 a 2016. Essa avaliação se deu a partir de diversos vieses, sendo que para alguns
puderam ser analisadas todas as 3975 revistas (censo) e, para outros, uma amostra de 748 revistas. Foram avaliados
o Qualis, citações por artigo, número de artigos publicados, número de autores por artigo, índice g, índice h, índice h
individual normalizado (hi
norm
), número de citações, número de artigos, fator de impacto (FI) e JCR (Jornal Citation
Reports). Os dados referentes ao Qualis foram obtidos da plataforma Sucupira da Capes, enquanto as demais variáveis
foram coletadas a partir do software Harzing’s Publish or Perish. O tratamento estatístico e a tabulação dos dados
foram feitas no software estatístico R e no software Excel, respectivamente. Os resultados apontam que existe uma
correlação positiva entre todas as métricas de impacto supramencionadas e uma correlação baixa do Qualis com as
outras métricas de avaliação da produção científica.
Palavras-chave: Métricas. Correlação. Qualis. Indicadores.
Impact Analysis of Qualified Scientific Publications in the Area of Agricultural Sciences I of
Capes
Abstract
In Brazil, some of the indices used to evaluate the diffusion of science are: the Qualis index, the normalized h index,
g index and h index, in addition to the impact factor and its proprietary version the JCR. This article aims to evaluate
the impact and quality of journals in the area of Agrarian Sciences I of the Coordination for the Improvement of Higher
Education Personnel (CAPES), from 2010 to 2016. This evaluation was based on several biases, that for some, all
3975 magazines could be analyzed (census) and for others, a sample of 748 magazines. Qualis, citations per article,
number of articles published, number of authors per article, g index, h index, individual normalized h index (hinorm),
number of citations, number of articles, impact factor (FI) and JCR (Journal Citation Reports) were evaluated. Qualis
data were obtained from Capes Sucupira platform, while the other variables were collected using Harzing’s Publish
or Perish software. Statistical treatment and data tabulation were performed using R statistical software and Excel
software, respectively. The results indicate that there is a positive correlation between all the above mentioned impact
metrics and a low Qualis correlation with the other evaluation metrics of scientific production.
Keywords: Metrics. Correlation. Qualis. Indicators.
1
Universidade Federal de Alfenas. Campus Alfenas-MG
https://orcid.org/0000-0003-4295-6150
2
Universidade Federal de Alfenas. Campus Alfenas-MG
https://orcid.org/0000-0003-3361-0908
*Autor para correspondência: edilsonmessiasjunior@gmail.com
Recebido para publicação em 05 de setembro de 2019. Aceito para publicação em 14 de outubro de 2019.
e-ISSN: 2447-6218 / ISSN: 2447-6218 / © 2009, Universidade Federal de Minas Gerais, Todos os direitos reservados.
Gonçalves Junior, E. M.; Ferreira, E. B.
2
Cad. Ciênc. Agrá., v. 11, p. 01–08, 2019. e-ISSN: 2447-6218 / ISSN: 1984-6738
Introdução
A Cienciometria ou Cientometria é um ramo da
sociologia das ciências que estuda as métricas de avalia-
ção da produção científica de maneira geral, buscando
correlações, nuances e vieses (Hayashi, 2012). Conhecer
o impacto da ciência produzida no País, em particular na
área de Ciências Agrárias é fundamental para subsidiar
políticas de aporte de financiamento para pesquisa, traçar
metas de aprimoramento da pesquisa e da pós-graduação
nacionais e classificação do Brasil no cenário científico
mundial. Além disto, devido ao grande volume de conhe-
cimento científico produzido hoje em dia são necessárias
métricas que possam reger e manter a qualidade do que é
produzido no meio científico. Diante deste fato, procura-se
fazer uma análise do impacto das produções científicas
da área de Ciências Agrárias I da CAPES, com o intuito
de responder quais as relações que permeiam todas estas
métricas e como elas se correlacionam. A necessidade
de se responder estas perguntas advém do fato de que,
grande parte das pessoas que trabalham no meio científico
não possuem conhecimento da forma como estas métri-
cas são obtidas, e se sabem, se limitam ao índice Qualis.
Existem estudos no Brasil que trazem um panorama da
situação da produção científica nacional e do impacto que
nossos artigos e periódicos possuem internacionalmente.
Artigos similares a este são importantes para que todos os
engajados com a ciência brasileira possam estar a par do
funcionamento das métricas que regem a qualidade dos
periódicos e artigos no país. A maioria destes trabalhos
trazem a tona disparidade existente entre a produção na-
cional e internacional. De acordo com Packer (2010) em
2010 apenas 148 periódicos brasileiros estão indexados
na plataforma Web of Science (WoS), caindo para 114
em 2015 como diz Rodrigues (2015). Ainda de acordo
com Packer (2010) a área de Ciências Agrárias I, objeto
de estudo deste artigo, não possuí resultado diferente,
apenas 25% dos periódicos que publicam na área estão
cadastrados no WoS.
Segundo Packer (2010), “o desempenho dos
periódicos brasileiros nos rankings internacionais basea-
dos em citações recebidas ainda é muito inferior aos dos
periódicos dos países desenvolvidos, afetando o impacto
da pesquisa brasileira como um todo.” Tal fato parece ser
justificado por Ferreira (2010) pois, segundo a autora a
forma como os periódicos nacionais são avaliados geram
muitas críticas internacionalmente.
De acordo com a CAPES, o índice Qualis avalia
os programas de pós-graduação de forma indireta por
meio dos periódicos no qual publicam seus professores.
Indiretamente, o Qualis avalia a produção científica, po-
rém não é seu objetivo principal. De acordo com Barata
(2016), o Qualis faz uso de diferentes critérios de avalia-
ção, um para cada área do conhecimento, o que justifica
o fato de uma mesma revista possuir diferentes índices.
Toda revista científica que foi citada pelo Programa em
relatório Coleta CAPES, anualmente feito, recebe algum
Qualis. A partir da chegada dessas informações, cada
câmara utiliza seu próprio algoritmo para classificá-las
e categorizá-las nos estratos A1, A2, B1, B2, B3, B4, B5
e C.
Segundo Hirsch (2005) “o índice h é uma métrica
que pretende avaliar diretamente o impacto de um con-
junto de publicações de um autor, de uma revista, uma
universidade etc”. Ele é calculado a partir da organização
do número de citações que cada artigo científico possui
em ordem decrescente. Isso feito, diz-se que o índice h
de um artigo é igual a h se os h primeiros artigos de um
periódico (ou de um autor) possuírem pelo menos h
citações.
De acordo com Harzing et al. (2014) “o índice hi
norm (índice h normalizado) é o índice h para autores”.
Ainda de acordo com os autores, no cálculo deste índice
normaliza-se o número de citações para cada artigo pela
divisão do número de citações pelo número de autores
deste artigo, então é calculado o índice h para estas
citações normalizadas.
Já o índice g, segundo Egghe (2006) “é definido
como o maior número g de trabalhos que juntos recebe-
ram g ao quadrado citações”. Também é necessário que
você leitor entenda as diferenças e semelhanças de duas
métricas estudadas neste artigo, o fator de impacto (FI)
e o JCR.
De acordo com a Capes o JCR (Journal Citation
Reports) é um recurso que permite avaliar e comparar
publicações científicas utilizando dados de citações extraí-
dos de revistas acadêmicas e técnicas e o impacto destas
na comunidade científica. Pinto et al. (1999) dizem que o
JCR é calculado levando-se em consideração os periódicos
indexados na base de dados Science Citation Index (SCI)
3
da plataforma do Institute for Scientific Information (ISI).
Ainda de acordo com Pinto et al. (1999) “o JCR de
uma revista é dado pela razão entre o número de citações
contidas na plataforma do ISI nos últimos dois anos pelo
número de artigos publicados neste mesmo intervalo de
tempo”. O FI é calculado desta mesma forma, porém, ele
retira os dados dos periódicos do Google Escolar.
Diante das discussões apresentadas, objetiva-se
neste artigo avaliar, de 2010 a 2016, indicadores de
qualidade dos periódicos da área de Ciências Agrárias I
da CAPES, que possuam Qualis no ano 2016. E tem por
objetivos específicos analisar de 2010 a 2016 a evolução
temporal do Qualis das revistas, do índice h, do índice g
e do JCR.
3
Segundo Pinto e Andrade (1999) é uma base de dados multidisci-
plinar onde se pode recuperar os resumos, em inglês, de todas as
revistas da literatura científica indexadas à base.
Análise do Impacto das Publicações Científicas Qualificadas na Área de Ciências Agrárias I da Capes
3
Cad. Ciênc. Agrá., v. 11, p. 01–08, 2019. e-ISSN: 2447-6218 / ISSN: 1984-6738
Material e métodos
Por ser a principal linha de pesquisa dos autores,
a área de Ciências Agrárias I foi selecionada para sofrer
uma análise quantitativa e retrospectiva das métricas que
avaliam sua produção científica. A pesquisa foi desenvol-
vida considerando-se dois intervalos de tempo, o triênio
de 2010 a 2012 e o quadriênio de 2013-2016, períodos
esses inspirados nos interstícios praticados pela CAPES.
Para algumas variáveis, o estudo se deu a partir de um
censo das 3975 revistas da área, e para outras,a partir
de uma amostra de 748 revistas.. Foram analisadas mé-
tricas como: Qualis em cada área do conhecimento que
dispunham classificação as revistas que apresentavam
Qualis em Agrarias I, citações por artigo, número de
artigos publicados, número de autores por artigo, índice
g, índice h e h individual normalizado (hi
norm
), número
de citações, número de artigos, fator de impacto (FI), e
JCR (Jornal Citation Reports). Com exceção do JCR, que
foi coletado no portal Web of Knowledge, e do Qualis que
foi coletado na plataforma Sucupira, as demais variáveis
foram consultadas no software Harzing´s Publish or Perish
(Harzing, 2007).
Também foi coletado o ISSN de cada de revista
para evitar confusões com revistas homônimas. A tabu-
lação dos dados e sua análise descritiva foram feitos pelo
softwares Excel e R (R CORE TEAM, 2018) respectiva-
mente. O coeficiente de correlação de Spearman (Siegel,;
Castellan Jr, 2006) foi usado para calcular as correlações
entre as variáveis, considerando-se sempre os dois in-
tervalos de tempo. Para a obtenção do Qualis médio de
cada área do conhecimento foi feita uma transformação
da variável categórica Qualis em postos, a saber: 0=Não
possui, 1=C, 2=B5, 3=B4, 4=B3, 5=B2, 6=B1, 7=A2
e 8=A1. Então, o Qualis médio foi calculado como;
(Eq.1)
Em que o qualis médio da área do conhecimento
j é dado pelo somatório dos produtos entre posto e sua
frequência relativa, ao longo de todos os possíveis Qualis.
Foi ajustado um modelo regressão linear múl-
tipla considerando o fator de impacto como variável
dependente e o JCR como variável independente para
que pudesse ser traçada uma função que relacionasse as
duas variáveis (Drapper; Smith, 1981).
A partir do estudo das variáveis supramenciona-
das foi possível traçar um perfil das métricas de avaliação
de revistas o que contribui para autores e editores de
revistas. Foram feitas as correlações entre as variáveis
para verificar-se a existência de relação entre elas e as-
sim iniciar-se as interpretações a partir do tratamento
estatístico. O desenvolvimento do trabalho seguiu a or-
dem; coleta de dados, tratamento estatístico (cálculo de
correlações entre as métricas), e por fim a interpretação
dos resultados obtidos a partir da análise estatística.
Resultados e discussão
Em uma primeira análise, é possível constatar
que as revistas que publicam na área de Ciências Agrá-
rias I sofreram uma leve evolução qualitativa do triênio
2010-2012 para o quadriênio 2013-2016, que pode ser
explicada pela atualização que os algoritmos de classifi-
cação sofreram nesse entremeio. Como pode-se observar
na Figura 1, no primeiro período de avaliação 10% das
revistas estavam classificadas no estrato A1 e no segundo
período, este percentual subiu para 12%. Aquelas avalia-
das no estrato C sofreram uma queda abrupta, saindo de
17% para apenas 1%. Isto pode representar uma maior
preocupação dos editores e autores em produzir conteúdos
de maior qualidade e impacto na sociedade.
A situação representada na Figura 1 traz à tona
a assimetria existente entre a proporção de periódicos
que possuem Qualis A1 ou A2 versus os demais estratos.
No triênio analisado, apenas 21% das revistas possuíam
os dois estratos mais altos do Qualis, tal fato se repete
no quadriênio, no qual apenas 23% eram identificados
como A1 ou A2.
Talvez seja natural que o leitor se pergunte se
aquelas revistas com maior Qualis tendem a melhores
resultados em outros índices de avaliação. Ao decorrer
deste artigo você leitor perceberá que isto nem sempre
é uma regra.
Como foi supracitado a área de Ciências Agrárias
I obteve um aumento relativo de qualidade, porém, é
interessante saber quais são as outras áreas do conheci-
mento que tendem a ganhar Qualis a reboque, ou seja,
quais são as áreas correlatas à área de Ciências Agrárias I
e tendem a obter boas qualificações quando a área supra-
mencionada também obtém. Para fazer esta investigação,
foram construídos três gráficos, em que o primeiro traz
informações a respeito da distribuição de frequência das
áreas em que as revistas amostradas publicam (Figura
2) e os outros dois trazem uma comparação do Qualis
médio das revistas nos dois intervalos de tempo estudados
(Figura 3).
Os gráficos das Figuras 2 e 3 motivam discussões
acerca da questão de que se as áreas do conhecimento em
que as revistas publicam com maior frequência a despeito
da área de Ciências Agrárias I tendem a obter qualificação
no Qualis desta área. As barras em azul dessas figuras
representam a área de Ciências Agrárias I. Assim como se
esperava, ela é a maior, pois todas as revistas avaliadas
têm ou já tiveram Qualis nesta área. As onze áreas sub-
sequentes em que as revistas são mais bem qualificadas
são, nessa ordem: Interdisciplinar, Biodiversidade, Bio-
tecnologia, Ciências Ambientais, Ciências Biológicas I e
II, Química, Zootecnia\ Recursos Pesqueiros, Farmácia,
Engenharias II e Medicina Veterinária. Destacaram-se
Gonçalves Junior, E. M.; Ferreira, E. B.
4
Cad. Ciênc. Agrá., v. 11, p. 01–08, 2019. e-ISSN: 2447-6218 / ISSN: 1984-6738
onze áreas, pois desejava-se apontar para a posição da que a área de Medicina Veterinária, uma vez que ela é
uma área correlata à área de Ciências Agrárias I.
Figura 1 – Distribuição de frequências dos estratos do Qualis obtidos pelas revistas da área de ciências agrárias I
(A) (B)
Distribuição de frequência no período 2010-2012. B- Distribuição de frequência no período 2013-2016.
Figura 2 – Distribuição de frequência percentual das áreas do conhecimento em que as revistas publicam
Uma das mais plausíveis razões para a verificada
qualificação conjunta nessas áreas é interseção existente
entre os seus algoritmos de avaliação. Por exemplo, o JCR
é fortemente utilizado para a determinação dos estratos
superiores na área de Ciências Agrárias I, como pode ser
visto pelo trecho extraído do relatório Qualis da área,
com algumas adaptações de forma. De acordo com
[...] são identificados os periódicos nacionais e internacionais e os últimos foram identificados
como “subject category” conforme a maneira que eles se encontram agrupados na base ISI Web of
knowledge da Thomson Reuters (I) ou na base Scimago Journal & Country Rank (S). [...] A plataforma
Sucupira trouxe a “subject category” dos periódicos e foi utilizada a primeira indicada na plataforma
como aquela preferencial do periódico. As revistas nacionais com JCR na base I e/ou CPD2 na base
S de 5 anos maior que 1 e JCR e CPD2 (cites per doc dos últimos dois anos) maiores que 0,850 com
publicações exclusivamente em inglês e forte aderência área forma classificadas como A1. Já aquelas
com JCR na base I e/ou CPD2 na base S maiores ou iguais a 0,750 e menores que 1,00 e JCR e CPD2
de 2 anos maiores que 0,600 e menores que 0,850 com aderência a área e publicações exclusivamente
em inglês foram classificadas como A2 [...] (Federizzi et al. 2016).
Análise do Impacto das Publicações Científicas Qualificadas na Área de Ciências Agrárias I da Capes
5
Cad. Ciênc. Agrá., v. 11, p. 01–08, 2019. e-ISSN: 2447-6218 / ISSN: 1984-6738
O JCR também é critério de avaliação presente na
área de Medicina Veterinária. De acordo com Miglino et
al. (2017) “periódicos com JCR 3,029 foram qualificados
em A1. Aqueles com 3,028 >JCR 2,041 foram qualificados
em A2 e por fim, periódicos com 2,039 > JCR ≥ 0,729
foram qualificados em B1 [...]”.
A partir da Figura 3 pode ser feita uma compara-
ção entre a distribuição de frequência percentual (Figura
2) e o Qualis médio de cada área do conhecimento.
Figura 3 – Qualis médio das revistas
(A) (B)
Qualis médio no período 2010-2012. B- Qualis médio no período 2013-2016.
Assim como na Figura 1, a barra em azul repre-
senta a área de Ciências Agrárias I. A partir de sua obser-
vação percebe-se que muitas das áreas que estão entre
as maiores distribuições de frequência também possuem
os maiores Qualis médios. Para fazer esta evidenciação,
foram selecionadas as 11 áreas com os maiores Qualis
médios de cada período de observação. O ranking segue
na Tabela 1.
Tabela 1 – Qualis médio das áreas nos períodos 2010-2012 e 2013-2016
Áreas com maior Qualis médio
(2010-2012)
Áreas com maior Qualis médio
(2013-2016)
Ciências Agrárias I entre B4 e B3 Ciências Agrárias I entre B1 e B2
Interdisciplinar entre B4 e B3 Interdisciplinar entre B3 e B4
Biodiversidade entre B5 e B4 Ciências Ambientais entre B3 e B4
Ciências Biológicas I entre C e B5 Biotecnologia entre B5 e B4
Biotecnologia entre B4 e B3 Biodiversidade entre B5 e B4
Ciências Ambientais entre C e B5 Ciências Biológicas I entre C e B5
Engenharias II entre C e B5 Engenharias II entre C e B5
Ciências Biológicas II entre C e B5 Zootecnia\Recursos Pesqueiros entre C e B5
Medicina II entre C e B5 Medicina Veterinária entre C e B5
Farmácia entre C e B5 Farmácia entre C e B5
Medicina Veterinária entre C e B5 Química entre C e B5
Além de ocupar a vice-liderança entre as frequên-
cias percentuais, a área Interdisciplinar repete o feito entre
os Qualis médios, acompanhando a estratificação da área
de Ciências Agrárias I de um período de avaliação para
o outro, ou seja, enquanto o Qualis da área de Ciências
Agrárias I sobe, o Qualis da área Interdisciplinar vem
à reboque evidenciando a relação entre os algoritmos
de avaliação destas áreas. Tal fato é observável pela
similaridade entre os algoritmos de avaliação das duas
áreas. Caminho similar é seguido pela área de Ciências
Ambientais que também obteve um ganho qualitativo.
Porém, percebe-se que Biotecnologia se encontra
entre as áreas mais publicadas mas, seu Qualis não seguiu
o mesmo sentido da área de Ciências Agrárias I, obtendo
um decréscimo de uma período para o outro. Além disto,
a área de Engenharias II, que não está no ranking das
Gonçalves Junior, E. M.; Ferreira, E. B.
6
Cad. Ciênc. Agrá., v. 11, p. 01–08, 2019. e-ISSN: 2447-6218 / ISSN: 1984-6738
mais publicadas, aparece no ranking dos maiores Qualis
médios implicando que quando algum tema desta área
é publicado ele tende a receber Qualis.
Outras variáveis, além do Qualis são estudadas
neste trabalho, e deseja-se saber quais as correlações
existentes entre elas e o índice Qualis. Dentre estas variá-
veis destacam-se citações por artigo, artigos publicados,
autores por artigo, índices g e h, índice h normalizado,
fator de impacto (2015-2016) e JCR (2015-2016). Foram
calculadas as correlações e os resultados foram colocados
em uma matriz (Figura 4).
Figura 4 – Correlação do Qualis com as demais métricas
(A) (B)
A -
Correlação do Qualis da Área de Ciências Agrárias I com as demais métricas. B-Correlação do Qualis de todas as áreas do conhecimento com
as demais métricas.
Em que : q: Qualis, cpa: citações por artigo, ap: artigos publicados, apa: autores por artigo, g:índice g, h: índice h, hinorm: índice h normalizado,
cit: citações, fi: fator de impacto
Na Figura 4 são apresentadas duas figuras que representam as correlações entre as métricas estudadas neste
trabalho. Nela, os círculos mais escuros representam as correlações mais fortes, enquanto os mais claros, as mais fra-
cas. Além disso, a cor azul representa correlação positiva, branco representa correlação nula e vermelho, correlação
negativa (não observada nesse estudo).
Na figura 4B percebe-se que a correlação entre o Qualis 2010-2012 e o Qualis 2013-2016 é inversa (-3,1%),
o que mostra uma mudança dos algoritmos e políticas de avaliação do Qualis de um período para o outro; tal fato se
repete na Figura 4A.
Além disso, é possível notar que na Figura 4B
existe uma baixa correlação entre o Qualis e os índices h
e g, implicando que para ambos os períodos estudados,
ter Qualis alto não implica diretamente em obter boas
pontuações nos índices internacionais de avaliação. Duas
situações que corroboram para a conclusão acima são as
das revistas, Academie des Sciences Comptes Rendus Biolo-
gies e Current Pharmaceutical Biotechnology. A primeira
obteve no quadriênio 2013-2016 A2 em Ciências Agrárias
I, índices g e h, 30 e 24, respectivamente. A segunda,
neste mesmo período, obteve Qualis B1, índices g e h,
34 e 25 respectivamente. De acordo com Oliveira et al.
(2015), esta situação revela que os critérios utilizados
para a avaliação nacional não são quantitativos ou não
consideram o número de citações dos artigos; o que
é confirmado pelo fato da correlação entre o Qualis e
citações por artigo ser tão baixa. Além disto, conclui-se
até aqui que existe um desalinhamento entre o Qualis e
os demais índices de avaliação.
Já na Figura 4A o cenário tem uma sutil mudança.
Os índices h, g e h normalizado, possuem correlação mais
forte especialmente com o Qualis 2013-2016, dando à
entender que as mudanças da política de avaliação do
Qualis do biênio (2010-2012) para o triênio (2013-2016)
afetaram mais diretamente a área de Ciências Agrárias
I em detrimento das demais. Porém ainda é evidente
que a métrica qualitativa segue caminhos distintos dos
traçados pelas quantitativas.
Outro ponto de discussão que é instigada pela
Figura 4 B e que o leitor deve se interessar, é a pequena
Análise do Impacto das Publicações Científicas Qualificadas na Área de Ciências Agrárias I da Capes
7
Cad. Ciênc. Agrá., v. 11, p. 01–08, 2019. e-ISSN: 2447-6218 / ISSN: 1984-6738
correlação entre o Qualis 2013-2016 e o JCR correspon-
dente a este período (JCR 2015-2016), apenas 23%, o
que é no mínimo curioso já que vários algoritmos de
avaliação do Qualis utilizam o fator de impacto JCR como
um critério de qualificação. Tal fato tende a se repetir na
Figura 4A, porém, com uma correlação um pouco mais
forte (32%).
Na Figura 4A e B evidencia-se a alta correlação
entre o número de citações por artigo no triênio com os
índices g, h e hi
norm
estudados em ambos os períodos; o
que era esperado, já que os índices citados são calculados
a partir do número de citações do artigo. Além disso, o
número de citações de 2015-2016 também é influenciado
por esta métrica. O número de artigos publicados tanto
para o triênio quanto para o quadriênio tem correlação
direta com todos os índices para ambos os períodos; isto
indica que quanto mais artigos uma revista publica maior
a chance de obter boas qualificações em outras métricas
de avaliação.
A partir das discussões feitas até então, pode-se
concluir que autores que publicam em revistas com Qua-
lis alto esperando grande impacto, devem estar atentos
pois, de maneira geral o Qualis possui baixa correlação
com as métricas quantitativas que avaliam a qualidade
da produção científica.
O presente trabalho não tem por intuito focar
exclusivamente nas questões que tangenciam o índice
Qualis, mas também fazer análises acerca do fator de
impacto (FI) e sua versão paga o JCR. Em tese, estas
duas métricas possuem grande similaridade porém, de
acordo com o estudo realizado para a construção deste
trabalho isto nem sempre ocorre.
Para tanto, foi feita uma comparação entre as
variáveis supracitadas com o intuito de inferir sobre as
correlações entre elas. Para isto, foi utilizado o coeficiente
de correlação de Spearman, ideal para o estudo de va-
riáveis contínuas tais quais estas, no qual obteve-se uma
correlação de 53%, indicando uma correlação mediana
entre as variáveis. Porém, esta correlação gera grande
estranheza já que o cálculo utilizado para a obtenção
das duas métricas é o mesmo. Logo, esperava-se uma
correlação mais alta entre estes dois índices. Essa dis-
crepância pode advir do fato do JCR ser calculado utili-
zando-se das informações das revistas que estão contidas
nas bases do ISI. Outra explicação plausível é dada por
Pinto e Andrade (1999), no qual os autores trazem em
seu trabalho discussões sobre o fato de existirem alguns
dados incorretos na base SCI. De acordo com eles, erros
como; nome do autor errado, nome da revista errado e
autores citados fora de ordem.
Dessa forma, revistas que não possuem orça-
mento contratarem o serviço de monitoramento pela
Clarivate Analitycs
®
não conhecem seu impacto via JCR.
Alternativamente, podem estimar seu impacto a partir
de plataformas gratuitas como o Google Acadêmico,
por exemplo. A questão a ser discutida éque índices de
avaliação de programas de pós-graduação como o Qualis,
utilizam o JCR como forte critério para a qualificação
de revistas (como na área de Ciências Agrárias I). Logo,
aquelas que não o possuem tendem a receber Qualis
menor, já que este fato culmina na não atratividade de
autores e trabalhos melhores.
Packer (2010) propõe que “o índice Qualis en-
riqueça sua avaliação com uso de múltiplas medidas de
desempenho”. Isto ataca justamente a questão do Qualis
dar grande importância e relevância para o fator de im-
pacto JCR, desconsiderando outras formas de medir o
impacto das revistas.
Diante deste fato é plausível a discussão do que
é considerada ciência pela Capes. Pelo que parece, a
produção de científica só possui qualidade se for possível
pagar por ela.
A partir destas discussões, foi construído um
modelo de regressão que pudesse relacionar de forma
mais clara o JCR e o fator de impacto (Figura 5).
Figura 5 – Modelos de regressão do JCR em função do fator de impacto
Modelo de grau 1 (preto), de grau 2 (vermelho) e de grau 3 (azul)
Gonçalves Junior, E. M.; Ferreira, E. B.
8
Cad. Ciênc. Agrá., v. 11, p. 01–08, 2019. e-ISSN: 2447-6218 / ISSN: 1984-6738
A nuvem de pontos da Figura contém os fatores
de impacto baseados no Google Acadêmico e os JCR cada
de umas das revistas analisadas neste trabalho. A partir
desses pontos foram ajustados 3 modelos de regressão com
intuito de descobrir aquele que melhor explicasse a relação
entre as variáveis estudadas. O modelo linear explicou
45,02% da relação, enquanto os modelos quadrático e
cúbico explicaram 45,05% e 45,51% respectivamente.
Devido a pequena diferença entre a variância de
modelos encaixados, o teste de razão de verossimilhanças
mostrou não haver vantagem em utilizar os modelos de
segundo e terceiro grau e, por parcimônia, elegeu-se a reta
como melhor modelo. Diante deste fato, pode-se utilizar
a função linear, , em que y é o JCR e x é o fator de im-
pacto do Google Acadêmico, para obter o JCR a partir do
fator de impacto. Este fato é de grande importância, pois
autores e periódicos podem fazer o cálculo aproximado
de uma métrica paga, a partir de uma métrica gratuita.
Conclusão
O desenvolvimento do presente trabalho possi-
bilitou uma análise mais profunda acerca dos algoritmos
de avaliação que regem a produção científica brasileira,
evidenciando relações entre as métricas e descobrindo
vieses entre elas. Com isso foi possível cumprir com os
objetivos traçados no início da pesquisa. Com os resul-
tados apresentados no corpo deste trabalho, acredita-se
que pesquisadores, autores e editores de revistas usu-
fruam do conhecimento científico produzido para gerar
uma ciência que se adapte cada vez mais as normas de
avaliação vigentes.
O presente trabalho produziu como principais
resultados uma correlação mediana entre o fator de im-
pacto geral e o JCR, sendo esta igual a 53%, o que não
era esperado, já que se imaginava uma correlação forte
entre as métricas. Encontrou-se por meio do método de
regressão linear uma função que permite calcular o JCR
por meio do fator de impacto, sendo esta JCR = 1.04283
+ 0.25138·fi. Evidenciou-se também que o índice Qualis
(no geral) não é determinante para se obter JCR, citações,
índice h, índice g, já que as correlações são baixas, ou
seja, ter um bom Qualis não implica ter impacto. Tam-
bém se evidenciou que em 2010-2012, 10% das revistas
possuíam Qualis A1 e que em 2013-2016 12% delas
estavam classificadas neste estrato.
Outra observação interessante foi a queda abrupta
do Qualis C do primeiro para o segundo período, saindo
de 17% para apenas 1%. Existem diversos materiais que
discutem sobre cienciometria porém, materiais que dis-
cutem sobre as relações entre as métricas são escassos,
culminando em uma dificuldade para a discussão dos
resultados.
Alguns materiais encontrados confirmaram a
baixa correlação entre os índices h e g e o Qualis. Com
a execução deste trabalho foi possível obter-se um gran-
dioso acumulo de conhecimento acerca das métricas de
avaliação de revistas e suas relações. Além disto, sugere-se
uma nova visão em relação à avaliação da ciência pro-
duzida no Brasil dando-se mais incentivo aos periódicos
nacionais para que se possa ter um melhor desempenho
internacionalmente. Espera-se que novos trabalhos como
este possam surgir, com novas perspectivas e resultados
importantes para a ciência nacional.
Referências
Barata, R. C. B. 2016. Dez coisas que você deveria saber sobre o Qualis.
Revista Brasileira de Pós-graduação, 13: 13-40. DOI: 10.21713/2358-
2332.2016.v13.947.
Drapper, N. R; Smith, H. 1981. Applied Regression Analysis. 2. ed. New
York. John Wiley & Sons.
Egghe, L. 2006. Theory and practise of the g-index. Scientometrics,
69: 131–152. Disponível em: https://bit.ly/2oJxlWo.
Federizzi, L. C; Vitorino, A. C. T; Lopes, S; Lopes, M. T. G; Chagas, E. A.
2016. Critérios de classificação Qualis: Ciências Agrárias I. Disponível
em: https://goo.gl/C9s6S3.
Ferreira, A. G. C.. 2010. Bibliometria na avaliação de periódicos
científicos. Revista em Ciência da Informação, 11. Disponível em:
https://bit.ly/2lwx7Qq.
Harzing, A.W. Publish or Perish. 2007. Disponível em: http://www.
harzing.com/pop.html.
Harzing, A.W; Alakangas, S.; Adams, D. 2014. HIa: An individual annual
h-index to accommodate disciplinary and career length differences,
Scientometrics, 99: 811-821. DOI: 1007/s11192-013-1208-0.
Hirsch, J. E. 2005. An index to quantify an individual’s scientific
research output. Proceedings of the National Academy of Sciences of
the United States of America (PNAS), 102:16569-16572. DOI: https://
doi.org/10.1073/pnas.0507655102
Hayashi, M.C.P. 2012. Sociologia da ciência, bibliometria e cientometria:
contribuições para a análise da produção científica. Anais do Seminário
de Epistemologia e Teorias de Educação (EPISTED), Campinas, SP,
Brasil, 4. Dísponível em: https://bit.ly/2lAiBqM.
Oliveira, A. B.; Rodrigues, R. S.; Blattmann, U.; Pinto, A. L. 2015.
Comparação entre o qualis/capes e os índices h e g: o caso do portal
de periódicos UFSC. Informação e Informação, 20: 70-91. DOI: https://
bit.ly/2lzRdJO.
Packer, A. 2010. Os Periódicos Brasileiros e a Comunicação da Pesquisa
Nacional. Revista USP, 20: 26-61. Disponível em: https://bit.ly/2lPZRDQ.
Pinto, A. C. ; Andrade, J. D. 1999. Fator de Impacto de Revistas
Científicas: qual o Significado deste Parâmetro? Química Nova, 22:
448-453. DOI: https://bit.ly/2xqqXoT.
Siegel, S.; Castellan Junior, N. J. 2006. Estatística não paramétrica para
as ciências do comportamento. p. 266-276 . In: Métodos de associação
e seus testes de significância. Bookman, São Paulo. Artmed.
