Hacer la ciencia más abierta es bueno para la investigación, pero malo para la seguridad

Hacer la ciencia más abierta es bueno para la investigación, pero malo para la seguridad

El movimiento de la ciencia abierta aboga por hacer que el conocimiento
científico sea rápidamente accesible para todos. Pero un nuevo artículo
advierte que la rapidez puede tener un coste.
DURANTE DÉCADAS, el conocimiento científico ha estado firmemente encerrado
tras la cerradura y la llave de los muros de pago de las revistas, que
resultan tremendamente caros. Sin embargo, en los últimos años se ha
producido un cambio de tendencia contra las rígidas y anticuadas barreras
de la publicación académica tradicional. El movimiento de la ciencia
abierta ha cobrado impulso para hacer que la ciencia sea accesible y
transparente para todos.
Cada vez son más las revistas que publican investigaciones que pueden ser
leídas por cualquiera, y los científicos comparten sus datos entre sí. El
movimiento de la ciencia abierta también ha supuesto el auge de los
servidores de preprint: repositorios en los que los científicos pueden
publicar sus manuscritos antes de que pasen por una rigurosa revisión por
parte de otros investigadores y se publiquen en las revistas. Los
científicos ya no tienen que pasar por el proceso de revisión por pares
antes de que su investigación esté ampliamente disponible: Pueden enviar un
artículo a bioRxiv y publicarlo en línea al día siguiente.
Sin embargo, un nuevo artículo publicado en la revista PLoS Biology
sostiene que, aunque el movimiento de la ciencia abierta es en general
positivo, no está exento de riesgos.
Aunque la velocidad de la publicación en acceso abierto significa que la
investigación importante se publica más rápidamente, también significa que
los controles necesarios para garantizar que la ciencia considerada como
arriesgada no se está lanzando en línea son menos meticulosos. En
particular, el campo de la biología sintética -que implica la ingeniería de
nuevos organismos o la reingeniería de organismos existentes para que
tengan nuevas habilidades- se enfrenta a lo que se denomina un dilema de
doble uso: aunque la investigación que se publica rápidamente puede
utilizarse para el bien de la sociedad, también podría ser cooptada por
actores malintencionados para llevar a cabo la guerra biológica o el
bioterrorismo. También podría aumentar la posibilidad de una liberación
accidental de un patógeno peligroso si, por ejemplo, alguien sin
experiencia pudiera hacerse fácilmente con una guía de cómo diseñar un
virus. «Existe el riesgo de que se compartan cosas malas», afirma James
Smith, coautor del artículo e investigador de la Universidad de Oxford. «Y
en realidad, no hay procesos en marcha en este momento para abordarlo».
Aunque el riesgo de la investigación de doble uso es un problema antiguo,
«la ciencia abierta plantea retos nuevos y diferentes», afirma Gigi
Gronvall, experta en bioseguridad e investigadora principal del Centro
Johns Hopkins para la Seguridad Sanitaria. «Estos riesgos siempre han
estado ahí, pero con los avances tecnológicos se magnifican»
Para ser claros, esto todavía no ha ocurrido. Ningún virus peligroso u otro
patógeno se ha replicado o creado a partir de las instrucciones de un
preprint. Pero dado que las consecuencias potenciales de que esto ocurra
son tan catastróficas -como el desencadenamiento de otra pandemia-, los
autores del artículo sostienen que no merece la pena asumir ni siquiera un
pequeño aumento del riesgo. Y el momento de reflexionar profundamente sobre
estos riesgos son ahora.
Durante la pandemia, la necesidad de los servidores de preprint se puso de
manifiesto: las investigaciones cruciales pudieron difundirse mucho más
rápidamente que la tradicionalmente lenta vía de las revistas. Pero eso
también significa que «ahora hay más gente que nunca que sabe cómo
sintetizar virus en los laboratorios», afirma Jonas Sandbrink, investigador
de bioseguridad del Instituto del Futuro de la Humanidad de la Universidad
de Oxford y otro coautor del artículo.
Por supuesto, el hecho de que la investigación se publique en una revistaen lugar de en un servidor de preprints no significa que esté
intrínsecamente libre de riesgos. Pero sí significa que es más probable que
cualquier peligro evidente sea detectado en el proceso de revisión. «La
diferencia clave, en realidad, entre las revistas y el servidor de
preprint es el nivel de profundidad de la revisión, y el proceso de
publicación de la revista puede ser más propenso a identificar los
riesgos», dice Smith.
Los riesgos de la publicación abierta no se limitan a la investigación
biológica. En el campo de la IA, un movimiento similar hacia el intercambio
abierto de código y datos significa que hay un potencial de mal uso. En
noviembre de 2019, OpenAI anunció que no publicaría abiertamente en su
totalidad su nuevo modelo de lenguaje GPT-2, que puede generar texto y
responder preguntas de forma independiente, por temor a «aplicaciones
maliciosas de la tecnología», es decir, su potencial para difundir noticias
falsas y desinformación. En su lugar, OpenAI publicaría una versión mucho
más reducida del modelo para que los investigadores pudieran probarlo, una
decisión que suscitó críticas en su momento. (Su sucesor, el GPT-3,
publicado en 2020, resultó ser capaz de escribir pornografía infantil.
Dos de los mayores servidores de preimpresión, medRxiv, fundado en 2019
para publicar investigaciones médicas, y bioRxiv, fundado en 2013 para
investigaciones biológicas, declaran públicamente en sus sitios web que
comprueban que no se publique en ellos «investigación de doble uso
preocupante». «Todos los manuscritos se examinan en el momento de su
presentación para comprobar si hay plagio, contenido no científico, tipos
de artículos inapropiados y material que pueda poner en peligro la salud de
pacientes individuales o del público», se lee en una declaración de
medRxiv. «Esto último puede incluir, pero no se limita a, estudios que
describan investigaciones de doble uso y trabajos que desafíen o puedan
comprometer las medidas de salud pública aceptadas y los consejos relativos
a la transmisión de enfermedades infecciosas, la inmunización y la terapia».
Desde el inicio de bioRxiv, los riesgos de bioseguridad fueron siempre una
preocupación, dice Richard Sever, uno de los cofundadores de bioRxiv y
director adjunto de Cold Spring Harbor Laboratory Press. (Sever fue uno de
los revisores del artículo de Smith y Sandbrink). Bromea diciendo que en
los primeros días de arXiv, un servidor de preprints para las ciencias
físicas lanzado en 1991, había preocupaciones por las armas nucleares; con
bioRxiv hoy las preocupaciones son por las armas biológicas.
Sever calcula que bioRxiv y medRxiv reciben unos 200 envíos al día, y cada
uno de ellos es examinado por más de un par de ojos. Reciben «un montón de
basura» que se descarta de inmediato, pero el resto de las propuestas pasan
a un grupo para ser examinadas por científicos en activo. Si alguien en ese
proceso de selección inicial señala un artículo que puede plantear
problemas, se pasa a la cadena para que lo considere el equipo de gestión
antes de que se tome una decisión final. «Siempre intentamos pecar de
precavidos», dice Sever. Hasta ahora no se ha publicado nada que haya
resultado peligroso, considera.
Dos de los mayores servidores de preprints, medRxiv, fundado en 2019 para
publicar investigaciones médicas, y bioRxiv, fundado en 2013 para
investigaciones biológicas, declaran públicamente en sus sitios web que
comprueban que no se publique en ellos «investigación de doble uso
preocupante». «Todos los manuscritos se examinan en el momento de su
presentación para comprobar si hay plagio, contenido no científico, tipos
de artículos inapropiados y material que pueda poner en peligro la salud de
pacientes individuales o del público», se lee en una declaración de
medRxiv. «Esto último puede incluir, pero no se limita a, estudios que
describan investigaciones de doble uso y trabajos que desafíen o puedan
comprometer las medidas de salud pública aceptadas y los consejos relativos
a la transmisión de enfermedades infecciosas, la inmunización y la terapia».

Desde el inicio de bioRxiv, los riesgos de bioseguridad fueron siempre una
preocupación, dice Richard Sever, uno de los cofundadores de bioRxiv y
director adjunto de Cold Spring Harbor Laboratory Press. (Sever fue uno de
los revisores del artículo de Smith y Sandbrink). Bromea diciendo que en
los primeros días de arXiv, un servidor de preimpresión para las ciencias
físicas lanzado en 1991, había preocupaciones por las armas nucleares; con
bioRxiv hoy las preocupaciones son por las armas biológicas.
Sever calcula que bioRxiv y medRxiv reciben unos 200 envíos al día, y cada
uno de ellos es examinado por más de un par de ojos. Reciben «un montón de
basura» que se descarta de inmediato, pero el resto de las propuestas pasan
a un grupo para ser examinadas por científicos en activo. Si alguien en ese
proceso de selección inicial señala un artículo que puede plantear
problemas, se pasa a la cadena para que lo considere el equipo de gestión
antes de que se tome una decisión final. «Siempre intentamos pecar de
precavidos», dice Sever. Hasta ahora no se ha publicado nada que haya
resultado peligroso, considera.
En su artículo, Smith y Sandbrink hacen recomendaciones para protegerse de
posibles riesgos de bioseguridad. Por ejemplo, cuando los investigadores
publiquen datos y códigos en repositorios, se les podría exigir que
declaren que esos datos no son peligrosos, aunque reconocen que esto
requiere un nivel de honestidad que no se esperaría de los
malintencionados. Pero es un paso fácil que podría aplicarse de inmediato.
A más largo plazo, recomiendan seguir el modelo que se ha utilizado para
compartir datos de pacientes, como en los ensayos clínicos. En esa
situación, los datos se almacenan en repositorios que requieren algún tipo
de acuerdo de acceso para poder entrar. Para algunos de estos datos, los
propios investigadores no llegan a verlos, sino que se envían a un servidor
que analiza los datos lejos de los investigadores y luego devuelve los
resultados.
Por último, abogan por el prerregistro de la investigación, que ya es un
pilar de la ciencia abierta. En pocas palabras, el prerregistro significa
escribir lo que se pretende hacer antes de hacerlo, y mantener un registro
de ello para demostrar que realmente se ha hecho. Smith y Sandbrink dicen
que podría ofrecer una oportunidad para que los expertos en bioseguridad
evalúen la investigación potencialmente arriesgada antes de que se lleve a
cabo y den consejos sobre cómo mantenerla segura.
Pero es un acto de equilibrio difícil de lograr, admite Sandbrink, al
evitar la sobreburocratización del proceso. «El reto será decir cómo
podemos hacer las cosas tan abiertas como sea posible y tan cerradas como
sea necesario, garantizando al mismo tiempo la equidad y asegurando que no
sean sólo los investigadores de Oxford y Cambridge los que puedan acceder a
estos materiales». Habrá personas en todo el mundo cuyas credenciales
pueden ser menos claras, dice Sandbrink, pero que siguen siendo
investigadores legítimos y bien intencionados.
Y sería ingenuo pretender que un muro de pago o la suscripción a una
revista es lo que impide a los actores nefastos. «La gente que quiere hacer
daño probablemente lo hará», dice Gabrielle Samuel, una científica social
del King’s College de Londres cuya investigación explora las implicaciones
éticas de los grandes datos y la IA. «Incluso si tenemos procesos de
gobernanza realmente buenos, eso no significa que no se produzca un mal
uso. Lo único que podemos hacer es intentar mitigarlo».
Samuel cree que la mitigación de la ciencia de riesgo no empieza ni termina
en la fase de publicación. El verdadero problema es que no hay incentivos
para que los investigadores lleven a cabo una investigación responsable; el
modo en que las revistas científicas y los organismos de financiación
tienden a favorecer la investigación nueva y emocionante significa que el
material más aburrido y seguro no recibe el mismo apoyo. Y la naturaleza de
rueda de hámster del mundo académico hace que los científicos «simplemente no tengan la capacidad o la posibilidad de disponer de tiempo para pensar
en estas cuestiones».
«No estamos diciendo que queramos que la investigación vuelva a un modelo
de estar detrás de muros de pago, y que sólo sea accesible para muy pocos
individuos que son lo suficientemente privilegiados como para poder
permitirse el acceso a esas cosas», dice Smith. Pero ha llegado el momento
de que la ciencia abierta se haga cargo de sus riesgos, antes de que ocurra
lo peor. «Una vez que algo está disponible públicamente, de forma completa
y abierta, es un estado bastante irreversible».

https://www.wired.com/story/making-science-more-open-good-research-bad-security/