Y más sobre los revisores (3 y final)

En otros posts hablé de ello. Hoy he echado un vistazo a lo que finalmente ha sido aceptado en la convocatoria a donde yo envié mi aportación, finalmente rechazada.

Algunos factores objetivos acerca de los 9 trabajos seleccionados:

• En 8 de los trabajos es autor alguien de la organización.
• Varios de esos autores participan en 1, 2, y hasta 3 trabajos seleccionados.
• En 5 de los trabajos participa algún chair de la organización.
• El chair responsable de la aceptación de esos trabajos participa en uno de los trabajos.
• Dicho chair ni siquiera es doctor, pero coautor habitual con un tercero (¿quizá su director?).
• Este tercero participa en 3 de los 9 trabajos seleccionados.

En este tipo de eventos a veces se publica la cifra de cuántos trabajos fueron enviados en total, pero generalmente en los proceedings y no durante/nada más hacer la selección. Sin embargo, nunca he visto publicado el contenido íntegro de las propuestas rechazadas, cosa que debería ser muy fácil ya que el sistema de envío es completamente automatizado. Eliminando el nombre de los autores, para no causar agravios si se quiere, podría ponerse al menos el abstract de los trabajos rechazados y sus puntuaciones, para aprender qué es lo que no se debe enviar a la conferencia.

Al carecer de estos datos, uno no puede valorar si las apariencias o lo que el sentido común dicta (una endogamia de primer nivel disfrazada de proceso competitivo) es real o no.

Porque caben otras posibilidades más "razonables", que son las que se dan como explicación oficial: que no haya habido muchos trabajos para competir, que hubiera muchos pero los demás fueran peores e, incluso siendo muy buenos, "haya habido que dejarlos fuera".

Una frase que ya hace sospechar, y nos lleva de vuelta al proceso. El proceso de selección es hecho por supuestos expertos (aunque a veces ni siquiera tienen un doctorado), pero sigue siendo subjetivo (opinión de revisores y decisión final de un chair). 

Nótese que la gente de la organización, y por supuesto el chair, tiene acceso a los nombres de los revisores. Es decir, cuando la gente de la organización envía sus propuestas a revisar, puede saber quién se lo ha revisado. Y los revisores lo saben.

¿Se revisa igual a un compañero que a un desconocido? ¿Se revisa igual a alguien que tiene acceso a tu nombre que a quien no? ¿Se utiliza el mismo lenguaje y criterio?

Igual que en las democracias modernas, se oculta información y se disfraza el proceso de justo y equitativo, para diluir la realidad de cómo funcionan las cosas: como han funcionado siempre. Pero así es más difícil rebelarse o protestar porque entonces el loco, el raro y el que no sabe tomárselo deportiva o democrácticamente eres tú. Un discurso que ya aburre.

Nótese que aunque todos los indicios apunten a que sí, insisto, no se puede probar que los trabajos seleccionados lo hayan sido por endogamia. Es posible (y hasta probable) que realmente sean de buena calidad, y que los rechazados sean efectivamente peores.

Pero el método no es digamos muy aceptable. Sigue siendo un proceso oscuro y dudoso, basado en criterios de autoridad. No transparente y no reproducible. Todo lo contrario a la ciencia. Como en el fondo todos sabemos que es así, siempre se acude el siguente argumento cuando alguien se queja: es que el trabajo de revisor es algo que no se paga y deberíamos estar agradecidos de que alguien haya dedicado tiempo a revisarnos nuestro paper. De lo cual se deduce (aunque no se dice así, obviamente) que, como se trata prácticamente de un favor, es excusable que la tarea se haga regular o incluso mal. Y ya hemos entrado en el círculo vicioso de siempre. Tan científicos, racionales y exigentes como somos y lo que hay que escucharse, oiga.

Por eso, igual que ocurre con el Open Source, los movimientos de Open Peer Review y Open Research son tan importantes, y debería ser hacia lo que tender.

Nótense las sospechas que yo tenía y comenté ya en el primer post:

1. Que la aceptación depende mucho del azar y, totalmente a ojo, creo que haciendo un trabajo decente hay un 50% de posibilidades de aceptación.
2. Que los revisores más razonables rara vez se puntúan como súper-expertos en la materia, y que las revisiones más duras y menos razonadas, a veces hasta salidas de tono, suelen provenir de revisores que se han puntúado como muy expertos.

No debía yo de andar muy desencaminado. Aquí dejo dos artículos de interés:

1. En "reproducibility of peer review in clinical neuroscience: is agreement between reviewers any greater than would be expected by chance alone?" concluyen que la diferencia entre que los revisores se pongan de acuerdo para seleccionar un artículo y el puro azar es mínima.
2. En el artículo "Unskilled and unaware of it: how difficulties in recognizing one's own incompetence leads to inflated self-assesments" explican cómo el ser incompetente afecta a la capacidad para evaluar tus propias capacidades y te hace puntuarte muy por encima de la realidad. También concluyen lo contrario: que mejorar tu competencia te hace reconocer tus habilidades y limitaciones de una manera más precisa.

Y esto es lo que dice Richard Horton, editor de The Lancet, una de las revistas científicas con mayor reputación en medicina:

El error es, por supuesto, pensar que la revisión por pares es algo más que un rudimentario método para descubrir la aceptabilidad—no la validez—de un nuevo descubrimiento. Editores y científicos insisten en la importancia crucial de la revisión por pares. Presentamos la revisión por pares al público como un proceso casi sagrado que ayuda a hacer de la ciencia nuestra forma más objetiva de decir la verdad. Pero sabemos que el sistema de revisión por pares es parcial, injusto, inexplicable, incompleto, fácilmente trucable, a menudo insultante, generalmente ignorante, ocasionalmente estúpido y frecuentemente equivocado.

Saludos.