Publicación científica para enfrentar un problema cada vez más provocativo: ¿qué hace con la IA en la revisión por pares?
El ecologista Timothée Poisot recibió recientemente una revisión que fue claramente generada por ChatGPT. El documento tenía la siguiente cadena reveladora de palabras adjuntas: “Aquí hay una versión revisada de su revisión con mejor claridad y estructura”.
Poisot estaba indignado. “Envío un manuscrito para su revisión con la esperanza de recibir comentarios de mis compañeros”, se enfureció en una publicación de blog. “Si no se cumple esta suposición, todo el contrato social de revisión por pares se ha ido”.
La experiencia de Poisot no es un incidente aislado. A estudio reciente Publicado en Nature encontró que hasta el 17% de las revisiones para los documentos de la conferencia de IA en 2023-24 mostraron signos de modificación sustancial por modelos de idiomas.
Y en un separado Encuesta de la naturalezacasi uno de cada cinco investigadores admitió haber usado AI para acelerar y aliviar el proceso de revisión por pares.
También hemos visto algunos casos absurdos de lo que sucede cuando el contenido generado por IA se desliza a través del proceso de revisión por pares, que está diseñado para mantener la calidad de la investigación.
En 2024, un Documento publicado en las fronteras Se encontró que el diario, que exploró algunas vías de señalización celular altamente complejas, contenía diagramas extraños y sin sentido generados por la herramienta de arte de IA MidJourney.
Una imagen representaba una rata deformada, mientras que otras eran solo remolinos y pelares aleatorios, llenos de texto de galimatías.
Los comentaristas en Twitter estaban horrorizados de que tales figuras obviamente defectuosas llegaron a través de la revisión por pares. “Erm, ¿cómo superó la Figura 1 un revisor de pares?” Uno preguntó.
En esencia, hay dos riesgos: a) revisores de pares que usan IA para revisar el contenido, y b) el contenido generado por IA se desliza a través de todo el proceso de revisión por pares.
Los editores están respondiendo a los problemas. Elsevier ha prohibido la IA generativa en la revisión por pares. Wiley y Springer Nature permiten el “uso limitado” con divulgación. Algunos, como el Instituto Americano de Física, están probando con cautela las herramientas de IA para complementar, pero no suplantar, la retroalimentación humana.
Sin embargo, el encanto de la generación AI es fuerte, y algunos ven los beneficios si se aplican juiciosamente. Un estudio de Stanford encontró que el 40% de los científicos sintieron que las revisiones de Chatgpt de su trabajo podrían ser tan útiles como las humanas, y un 20% más útil.
Sin embargo, la academia ha girado en torno a los aportes humanos para un milenia, por lo que la resistencia es fuerte. “No combatir las revisiones automatizadas significa que hemos rendido”, escribió Poisot.
El objetivo de la revisión por pares, muchos argumentan, se considera los comentarios de otros expertos, no un sello de goma algorítmico.
