Ciência aberta e a transparência na revisão por pares

ABEC Meeting 2024

Henrique C. Martins

2024-10-17

Important

Todos os comentários são opiniões minhas, não representam a opinião das instituições de que faço parte.

Open Science (OS)

“Open science encompasses unhindered access to scientific articles, access to data from public research, and collaborative research enabled by ICT tools and incentives. Broadening access to scientific publications and data is at the heart of open science, so that research outputs are in the hands of as many as possible, and potential benefits are spread as widely as possible” (OCDE).

É um movimento internacional, já presente em vários campos de pesquisa, com o objetivo de tornar a pesquisa acadêmica mais transparente, acessível e relevante.

Example: COVID data
Example: Békes & Kézdi’s “Data Analysis for Business, Economics, and Policy” data (link)

Important

No fim do dia, os objetivos da CA são: 1) Acessibilidade (Democracia & SDGs) da pesquisa, 2) replicabilidade/transparência, 3) melhorar qualidade e impacto da pesquisa acadêmica.

Open Science (OS)

Acesso Aberto (Open Access)
Dados abertos (Open Data)
Código e Materiais abertos (Open Materials)
Artigos depositados como preprints podem ser submetidos (Open Pre-review)
Preregistro de pesquisa
Revisão pelos pares aberta (Open Peer Review - OPR)
- Open Participation

Open Science (OS)

Importância e Incentivos

Open Science (OS)

Importância e Incentivos Source.

Open Science (OS)

Importância e Incentivos Source.

Open Science (OS)

Importância e Incentivos Source.

Open Science (OS)

Importância e Incentivos (COS).

Como a RAE faz Ciência Aberta?

A RAE-Revista de Administração de Empresas foi lançada em 1961.
Faz parte da lista ABS (ABS1).
Taxa de Aprovação média em 2023: 12%.
Aderiu à Ciência Aberta em 2021.

Editoriais recentes:
- Mendes-da-Silva (2024): Discute o tema dentro da comunidade de negócios.
- Martins e Mendes-da-Silva (2024): Define as diretrizes (graduais).

Renovação do corpo editorial (2024)
- Esclarecimentos e treinamentos sobre o tema.
- Existe Editoria de Ciência Aberta.

Como a RAE faz Ciência Aberta?

Formulário sobre Conformidade com a Ciência Aberta.

Open Peer Review (OPR)

Não existe uma definição clara e única sobre OPR, mas pode-se dizer:

Open peer review (OPR) is an umbrella term for a number of overlapping ways that peer review models can be adapted in line with the ethos of Open Science, including making reviewer and author identities open, publishing review reports and enabling greater participation in the peer review process. (Ross-Hellauer et al., 2017)

Open Peer Review (OPR)

Note

É um processo de avaliação por pares que, ao contrário do processo tradicional, objetiva dar transparência a: 1) conteúdo de pareceres feitos para artigos submetidos a revistas acadêmicas, 2) identidade de pareceristas, e 3) respostas escritas pelos autores.

Tipicamente, é um processo voluntário para pareceristas.
Para autores, é mandatório, caso pareceristas aceitem.
Continua sendo feito às cegas, a transparência é feita após a aceitação do artigo.

Na prática, três “níveis”:

Sem compartilhamento de identidade e conteúdo.
Compartilhamento de conteúdo.
Compartilhamento de conteúdo e de identidade.

Open Peer Review (OPR)

Autores precisam aderir à OPR no momento da submissão.
Após o artigo ser aceito, pareceristas são convidados/as a aderir um dos níveis.
A RAE não altera o conteúdo dos pareceres em nenhuma situação (erros de digitação, por exemplo, são mantidos)
- Somente comentários que violem a ética (comentários depreciativos ou difamatórios) serão possivelmente editados (omitidos) do relatório.
- Nesses casos, será declarado que partes do relatório foram editadas.
- Ainda não houve casos desse tipo.
Estamos em processo de criação de dois junto ao Scielo.
- Zenodo e Dataverse são alternativas.
- Idealmente, existiria um doi para artigo + pareceres
  - Dessa forma, pareceristas teriam acesso a um doi “pessoal” (na prática, em coautoria com outros pareceristas)

Open Peer Review (OPR)

Oportunidades da OPR

Oportunidades da OPR para pareceristas

Para pareceristas:

Important

A OPR vira um arquivo (com doi) que pode ser citado. Esse é talvez o maior benefício: desoculta todo o trabalho duro feito por pareceristas (i.e., pareceristas são reconhecidos pelo seu trabalho).

Eventualmente, poderá se tornar padrão incluir OPR no lattes.
- Diminui “pareceres pro forma” ou pareceres “de má vontade”.
- Estudantes e pesquisadores juniores podem se beneficiar mais.
  - Maior tempo para acumulo de OPRs próprias.

Oportunidades da OPR para pareceristas

Para pareceristas:

Note

Elimina retrabalho em avaliações.

Há situações de problemas semelhantes em novas submissões.
Comforme se tenha volume de OPRs, pode-se citá-las em pareceres futuros;
- isso aumenta a qualidade e a velocidade do processo de revisão
- melhora significativamente a evolução da primeira submissão para primeira revisão.
Ao se familiarizarem com o debate recente nas OPR, autores podem identificar ex-ante problemas comuns na literatura (maior agilidade, melhores 1as submissões).

Oportunidades da OPR para pareceristas

Para pareceristas:

Warning

Oportunidade de aprender com pareceres de colegas.

Reconhecimento do valor pedagógico que OPR cria.
Novamente, tão logo se tenha volume crítico, poderá haver uma literatura de OPRs.
Isso facilitará o treinamento de novos pareceristas (ótima notícia para EIC e revistas, em geral).

Oportunidades da OPR para autores

Para Autores/as:

Important

OPR aumenta o escrutínio da comunidade sobre as diferentes fases do artigo.

Ajuda a refletir (ou “explicar”) sobre as decisões intermediárias que levaram à versão final.
Desoculta eventuais testes adicionais elaborados durante o processo de revisão mas que, por questões de tamanho, não aparecem na versão final do artigo.
Aumenta a liberdade acadêmica de autores.
- Oportunidade de incluir materiais ou resultados que, eventualmente, pareceristas ou EIC não tenham “gostado”.

Oportunidades da OPR EIC & Revistas

Para EICs & Revistas:

Warning

Melhora da qualidade média de pareceres e evolução rodada a rodada.

Transparência e acesso por parte da comunidade a OPRs anteriores facilitam o trabalho do EIC.

Melhora a evolução entre rodadas de revisão.
- Maior histórico e melhores oportunidades para autores entender e implementar as solicitações dos pareceristas.
- Melhora na comunicação EIC-autores

Facilita o treinamento de novos pareceristas, mesmo aqueles menos familiarizados com a linha editorial da revista

Desafios da OPR

O que Não é um desafio

Tecnologia para publicar materiais, maioria gratuito.

Conforme mencionado antes, reconhecimento da comunidade.

Desafios da OPR

Quatro agentes:

Pareceristas
EIC
Autores/as
Revista (operacional)

Desafios da OPR

1) Pareceristas

Desconhecimento sobre o processo e sobre adesão voluntária.

Crença de que fere o princípio da imparcialidade (“mais difícil avaliar se colega saberá que fui eu”).
Medo de que fere “liberdade acadêmica”

Medo da exposição do conteúdo, de suas ideias.
Medo de comentários serem tirado de contexto, etc.
Podem entender que é trabalho extra:
- Além do trabalho intelectual empregado na própria avaliação, ainda preciso escrever o parecer apto para publicação.

Desafios da OPR

2) Editores

Uso de AI na revisão por pares (válido para aberta e para tradicional).
- Exemplo: Paper Wizard
OPR pode criar maior incentivo à utilização de IA
- Pareceristas podem querer apresentar mais criatividade ou eloquência, afinal parecer será divulgado a posteriori.

Ferramentas de detecção não são confiáveis.
- E a julgar pelo desenvolvimento atual da IA, nunca serão.
- Teorema do Macaco Infinito: um macaco digitando aleatoriamente em um teclado por tempo infinito quase certamente irá criar a obra completa de Shakespeare

Naturalmente, o uso não-ético de IA (em todos os campos) é um problema de ética, não de processos ou protocolos
- Muito menos é um problema de OPR.

Desafios da OPR

2) Editores

Editorial recente do Journal of Management Studies.
- Resposta para autores: oversight e transparência por parte de autores.
- Para pareceristas: proibição do uso.

Our stance regarding peer review is that the use of generative AI has no place in the review process.

We take this stance, first,because we invite reviews from experts whose opinion and informed judgement we seek.

Desafios da OPR

2) Editores

OPR pode incentivar pareceristas a serem menos críticos.
- Efeito negativo na qualidade da revisão.

Desafios da OPR

3) Autores

Não possuem familiaridade com pareceres escritos para serem divulgados.
- Diversos exemplos de respostas com 1 linha apenas ou ignorando/menosprezando comentários de pareceristas

Podem entender que é trabalho extra, além do trabalho empregado no próprio artigo.

Pode gerar fatiga ou excesso de inputs solicitados por pareceristas (caso OPRs sejam citadas em excesso)
- Naturalmente, cabe a autores e EIC impor limites.

Desafios da OPR

4) Revista (staff operacional)

Naturalmente, a OPR cria necessidades operacionais adicionais:

Necessidade de criar um documento a mais.
Necessidade de definir processo de coleta e processamento dos pareceres
Necessidade de criação de doi, seja via Scielo ou via demais plataformas.
- No Zenodo, é necessário fazer o upload do documento para gerar o doi.

Ross-Hellauer et al. (2017)

THANK YOU!

QUESTIONS?

Henrique C. Martins