Dos perigos do fator h – como NÃO usá-lo.
Um dos medidores usados na qualificação de pesquisadores é conhecido como fator h. Esse fator é dado pelo número de artigos com citações maiores ou iguais a esse número. Por exemplo, se eu tenho 10 artigos mas cada uma só tem 1 citação, meu fator h=1. Se eu tenho 3 artigos, um deles tem 1 citação e os outros dois tem 2 citações então meu fator h=2. Ou seja, ele tenta equilibrar número de artigos com a importância/impacto olhando para as citações. Dessa forma, não adianta você ter vários artigos inúteis que ninguém vai ler e nem citar que seu fator h vai continuar baixo. Na teoria tudo é lindo mas a verdade é que na prática o fator h tem muitos problemas, um deles sendo a possibilidade de “forjar” um fator h alto. Uma das maneiras de fazer isso é entrar num grupo em que todas as pessoas se citam entre si (independente se aquela citação é mesmo relevante) e/ou incluir autores em artigos que eles não participaram (e em troca quando essa pessoa faz o mesmo por você).
Para falar mais sobre isso temos como convidado Stefano Finazzo. Além de grande físico é um grande amigo e salvador da minha tese de mestrado em que trabalhamos juntos.
No mundo acadêmico, um dos enganos mais comuns é tentar realizar uma correspondência, pura e simples, entre a qualidade da pesquisa de um dado profissional, com índices bibliométricos, como número de papers, citações ou o fator h. A relevância acadêmica não é uma função direta do número de papers que um sujeito publicou, ou mesmo do número de citações, ou ainda mesmo de fatores como o fator h. Esses números são úteis em determinados contextos, mas não podem nunca servirem como carimbos da “qualidade ou produtividade científica” de alguém. Reduzir a relevância da trajetória de um pesquisador a um número ignora as vicissitudes de como ciência é feita.
Para discutir isso, vou usar um texto recente que vi publicado no blog Universo Racionalista, uma tradução de um um texto do blog Skepticom, tentando (des)qualificar divulgadores de ciência com base em índices bibliométricos.
Devo confessar que fiquei bem preocupado com essa tentativa de qualificação. É algo temerário, ou ao menos ingênuo, querer usar índices bibliométricos para classificar a produção de qualquer pesquisador individual – ou ainda mais querer desqualificar a qualidade de seu trabalho de divulgação científica.
Essa tentativa esbarra em diversos problemas graves, frutos de desentendimentos a respeito de como funcionam esses índices, e das discussões a respeito deles na comunidade científica.
O primeiro, e o maior, problema é equiparar fator h com qualidade de pesquisa ou reconhecimento de um pesquisador. Este problema se estende a todos índices bibliométricos, não só ao fator h. É um problema que pervade toda a academia, e enviesa decisões complexas (como concessão de financiamentos a pesquisa).
As questões relativas a essa tentativa de equiparação são de várias ordens. Vou citar apenas algumas delas (e que se aplicam plenamente ao caso da postagem):
a) O fator h depende de área – e de subárea. Matemáticos, por exemplo, publicam e citam muito menos que quase todas áreas do conhecimento. Áreas de humanidades, muitas das quais não divulgam seu conhecimento por meio de artigos com revisão de pares, mas sim por livros ou capítulos de livros, também têm pesquisadores com fatores h baixos.
Mesmo uma disciplina como Física tem disparidades enormes dentro de sub-áreas (ou mesmo de sub-sub-área). Qualquer físico experimental de altas energias membro de uma colaboração internacional terá um fator h enorme, muito superior a quase todos físicos teóricos de altas energias. Dentre os físicos de altas energias, relativistas e especialistas em gravitação semi-clássica (como o Hawking) têm fatores h mais baixos, e fenomenologistas têm fatores h mais altos. Ainda mais fundo na cadeia de especialização, pesquisadores dentro da mesma linha de pesquisa podem ter fatores h diferentes devido a papéis diferentes que suas pesquisas exercem dentro da linha ou área de pesquisa.
b) O padrão de citação de um artigo depende do tempo. Apenas um exemplo do próprio post: pegar um paper o Michio Kaku de 1978 e comparar com o paper do Maldacena de 1997/98 é algo complicado. Primeiro que em 1978 teoria de cordas (e mesmo supergravidade) era um assunto fora do mainstream da física teórica. Em 1998, o assunto estava no seu auge, pois era logo após a segunda revolução das cordas do começo da década de 90.
Segundo que o paper do Maldacena é absolutamente sui generis em seu padrão de citações – ele basicamente criou a correspondência AdS/CFT que se tornou a motivação e o motor principal de pesquisas em teoria de cordas até hoje. Todo paper na área, mesmo 20 anos depois, ainda cita o paper do Maldacena (e os papers fundamentais correlatos do Witten, Gubser e Klebanov). Essa persistência de citações é muito incomum, mesmo em física. Em geral, após um paper se tornar estabelecido, ele vira conhecimento comum da comunidade e não é mais citado em novas publicações. Comparar qualquer paper com o paper do Maldacena é praticamente impossível.
c) Papers importantes nem sempre são muito citados. Papers nem sempre relevantes podem ser muito citados. Um exemplo simples: o paper do Higgs sobre o bóson de Higgs tem cerca de 1500 citações. O paper do Anderson, que criou o mecanismo de Higgs em si anos antes do Higgs, tem cerca de 300 citações. A razão que o paper do Higgs é mais citado que o Anderson é principalmente por ele fixar um marco temporal claro para o mecanismo de Higgs em física de partículas, não por sua originalidade.
d) Pesquisadores individuais não são definidos por seus fatores h. Cientistas de importância e renome podem ter fatores h muito baixos. Cientistas que apenas fabricam papers irrelevantes, mas de citação obrigatória, (papers “salsichas”) podem ter fatores h muito altos.
Kenneth Wilson foi um dos físicos mais importantes do século XX. Foi um dos criadores do grupo de renormalização, o criador de teorias de calibre em rede, o cara que nos deu a interpretação intuitiva de confinamento e um dos pioneiros da computação científica. Criou a maior relação que temos hoje entre física da matéria condensada, física de partículas e física estatística, e criou a principal interpretação que temos de teoria quântica de campos hoje em dia.
Mas publicou muito pouco. Qualquer cálculo do fator h do Wilson irá dar um valor bem baixo, pois ele simplesmente tem poucos papers.
Outro caso (este patológico) é o de Perelman. Ele resolveu alguns dos problemas de maior relevância na matemática. Mas tem apenas 4 papers, todos muito citados. Seu fator h é 4, e nunca será maior que isso, independentemente da relevância dos resultados de Perelman.
e) Bases de dados diferentes dão resultados diferentes. Em física de altas energias, o índice h usado por toda comunidade é o INSPIRE-HEP. O fator h do Hawking é 81 no INSPIRE, enquanto que o do Kaku é 24, por exemplo. Ninguém na comunidade usa o Web of Science, Google Scholar ou outras bases de dados e citações.
Existem diversos outros problemas com o fator h (e índices bibliométricos de forma geral). Um dos problemas que não mencionei ou discuti, por exemplo, é o fato de que pesquisadores individuais, numa tentativa de aumentar seu próprio fator h, podem abusar do sistema de publicação atual. É uma discussão longa na literatura, e não existe nenhum consenso sobre a real utilidade desses índices para qualquer decisão ou conclusão práticas. Talvez a única coisa que pode ser extraída são conclusões estatísticas, relativas a um agregado de cientistas, mas ainda assim com os devidos caveats e precauções.
O segundo grande problema é até apontado pelo texto, embora de forma meramente secundária: a capacidade do sujeito como pesquisador não é necessariamente relacionada à capacidade do sujeito como divulgador. Obviamente, um bom divulgador tem de possuir bons conhecimentos técnicos em ciências, e uma experiência comprovada de pesquisa é extremamente útil. Mas as habilidades e competências requeridas de um divulgador são diferentes das de um pesquisador. E um pesquisador que se torna divulgador, para fazer divulgação de qualidade, tem de dedicar muito tempo e recursos a essa atividade. De forma geral, a atividade de pesquisa é reduzida ou mesmo eliminada para que se possa fazer divulgação de qualidade.
Criticar a qualidade da divulgação realizada por pesquisadores como o Hawking ou Kaku, por exemplo, é algo plenamente válido. Como é válido criticar a exposição selecionada de alguns poucos divulgadores, independentemente de sua pesquisa ou formação (ou da falta de formação dos mesmos, como infelizmente é recorrente no Brasil). Mas essa crítica tem de ser feita em seus próprios termos.
Stefano Ivo Finazzo
Bacharel em Física pela Universidade de São Paulo (2009). Mestre em Física pela Universidade de São Paulo (2012), sob orientação da Prof. Dra. Marina Nielsen. Doutor em Física pela Universidade de São Paulo, sob orientação do Prof. Dr. Jorge Noronha. Atualmente realiza projeto de pós-doutorado no Instituto de Física Teórica/Unesp. Possui experiência na área de Física, atuando nos temas de métodos não-pertubativos da QCD, aplicações da correspondência AdS/CFT, teorias quânticas de campo a temperatura finita, teorias quânticas de campo com campos externos, regras de soma da QCD e estados hadrônicos exóticos.