El valor de los revisores (2)

Matizaba algunas cosas Javifields al respecto de mi post anterior. Quizá no me expliqué bien.

Efectivamente, el proceso de peer reviewing, o evaluación por revisores, es el menos malo conseguido hasta ahora. Pero eso no quiere decir que sea bueno. Cierto que depende del nivel de la revista y/o conferencia, y que es una actividad no remunerada donde siempre hay escasez de revisores.

Pero la realidad es que, demasiado frecuentemente, nos encontramos con un revisor "cabrón", que puede llegar a contradecirse incluso con otros dos. Y generalmente un "strong reject" pesa mucho más que un "weak accept" o "accept" que, modestamente ponen los revisores más sensatos. ¿Alguna vez alguien ha visto un "strong accept"?

En mi caso, la figura del "revisor cabrón" aparece cerca de un 50% de las veces (en conferencias). Éste se caracteriza por varias cosas:

1. Siempre se considera a sí mismo un "experto", aunque algunas de las afirmaciones en su revisión no tengan evidencia alguna y ni siquiera se ciña a las preguntas que le hacen en la evaluación.
2. Evalúa muy por debajo TODOS los aspectos de tu contribución, incluso aquellos que son muy fáciles de evaluar y objetivamente buenos (e.g., ¿te has ajustado al formato?).
3. Sus comentarios tienen un tono que roza la falta de educación y, a veces realizan ataques "ad hominem" - a mí han llegado a "acusarme" de ser simplemente un estudiante, y mencionar a la institución a la que pertenezco dentro de la revisión.
4. Te da la impresión de que han dedicado 5 minutos a leer tu propuesta o paper.

Es más, somos incluso capaces de predecir, leyendo unas pocas frases suyas, cómo va a ir el resto de los aspectos de la revisión.

Jamás otorgarán una máxima puntuación en nada, por muy perfecto que esté, pero les costará poco otorgar la mínima, sin mostrar evidencia que les de soporte o dar razones de peso.

Que este tipo de revisores existen, es un hecho. En qué proporción existen, no puedo afirmarlo con seguridad, pero visto lo visto, no parece baja.

El problema principal con este tipo de revisores es que, a parte de que no tiemblan en derrumbar tu trabajo con un "strong reject", sus opiniones no proporcionan ningún valor. Es más, en muchos casos son contraproducentes. Insisto en que, una vez que deciden rechazar un artículo, deberían exponer sus causas de peso, y dejar el resto de apartados de evaluación en blanco.

En otro caso, cuando ves que la cosa empieza con mal pie, y que cosas objetivamente buenas están puntuadas muy por lo bajo (¿el formato?), o el tío se ha ido por los cerros de Úbeda para ver si podía meterte el dedo en la llaga en una pregunta que no tenía nada que ver, acabas ignorando el resto, porque acabas intuyendo que lo que le pasa entre en el terreno de lo personal: o tú no eres suficientemente conocido, o tu tema de investigación entra en conflicto con sus intereses o, como digo, sencillamente ha tenido un mal día y la paga contigo. En la mayoría de los casos, él sabe quién eres y a qué institución perteneces. Pero no a la inversa.

Al fin y al cabo, el revisor también es humano y tiene sus debilidades y fallos. Muchos. Por eso digo que, el valor de los revisores es relativo.

Una cosa es que lo que digan no te guste pero tenga base o fundamento, y sea educado. Otra es que te toque un "revisor cabrón". Y estos, desgraciadamente abundan.

Si el proceso fuera realmente objetivo, riguroso y con muy buen criterio, ¿seguiríamos diciendo eso de... "probemos en esta conferencia, a ver si esta vez hay suerte"?

Saludos.