24 January 2012

El valor de los revisores


La investigación se basa en la publicación en conferencias o revistas de supuesto "prestigio". Los artículos se filtran en base a las opiniones de revisores.

¿Qué significa esto? Que tu trabajo y tu trayectoria dependen de opiniones de terceros. Y no de un amplio consenso, sino de una, dos o tres personas cada vez. Esas personas pueden ser expertos o no, y pueden haber tenido un buen día o no.

Así, la evaluación de tu trabajo acaba mayoritariamente dependiendo del pie con el que se levanten, o de los problemas psicológicos y traumas infantiles de cada uno (generalmente, bastantes). El anonimato en el que se mantienen los revisores no ayuda.

¿Han visto ustedes los comentarios de "menéame"? En muchos casos, los de los revisores no varían mucho.

No  es raro, sino muy habitual, enviar algo a una revista o conferencia y recibir simultáneamente la máxima y la mínima puntuación a la vez: un revisor te dice "aceptar", y otro "rechazar fulminantemente". Un revisor te dice que tu trabajo aporta y está muy bien detallado y estructurado, y otro que cómo has osado enviarlo en ese estado. Generalmente el que rechaza fulminantemente siempre se considera "muy experto" en el tema (algo que los revisores también tienen que puntuarse), mientras que los que aceptan son más modestos. ¿Casualidad? También hay siempre alguien que no sabe del tema y sólo pasaba por allí, pero no había nadie más para revisar y le tocó a él.

Así que el valor de los revisores es prácticamente nulo, especialmente cuando no explican lo que falla en tu artículo ni aportan ninguna sugerencia. Es sólo un reflejo de personas, con sus prejuicios, sus problemas y sus falacias lógicas.

En mi caso, al estar en el estadio todavía inicial de investigador en el que estoy y ser de donde soy (una universidad, un grupo y un país sin prestigio alguno) me ha jugado varias malas pasadas. Algún que otro revisor, en vez de revisar mi trabajo me ha dado un repaso a mí utilizando argumentos ad hominem. Lo que dices no me gusta por ser quien eres. Y daba igual lo que yo dijera o investigara.

Siempre hay un revisor al que le parece todo mal y es fácil de detectar. Da igual lo que hagas, porque puntúa negativamente todas las secciones. No sólo el tema no se ajusta a la conferencia, sino que no es relevante, tu trabajo no está correctamente explicado, y las conclusiones son confusas. Ah, el inglés está fatal. Él es el único que opina así, en contra de dos o tres revisores más, pero al considerarse él el más experto y poner una nota de rechazo fulminante (no de duda, si quiera), su opinión es la que más pesa.

Así que no se tomen las revisiones tan en serio. Todos sabemos que son una lotería y tienen relativamente poco que decir (por desgracia) sobre nuestro trabajo, y mucho acerca de la psicología y los problemas humanos.

Lo malo del asunto es que quienes evalúan se supone que deberían hacer bien su trabajo y ceñirse al contenido, de manera imparcial. Sin embargo, en nuestro trabajo acabamos dependiendo de las opiniones y miserias de terceros. Y de la suerte.

Como en cualquier otro trabajo, vaya. La investigación y la ciencia tampoco se salvan.

Pero no dejen que las miserias de terceros se propaguen a usted.  Usted ya tiene el trabajo hecho e incluso pueden haberle ayudado a mejorar algunos puntos. Y hay conferencias y revistas para aburrir.

Por mi experiencia, la probabilidad de que te toque el gilipollas de turno es de un 50%. Así que, estadísticamente, tras un rechazo viene una aceptación.

2 comments:

Javier Campos said...

Por fin disiento en algo... :)
El sistema puede tener fallos, por supuesto. Pero en el caso de revistas "buenas" (por ejemplo, la mayoría de las Q1 del JCR) o de congresos "de prestigio científico" (distinguible por la lista de los miembros del comité de programa), el trabajo de revisión suele ser riguroso, la selección de revisores se suele hacer con criterio, y los comentarios obtenidos suelen resultar útiles para mejorar el trabajo.
El sistema puede tener sus fallos, pero... no se ha encontrado ninguno mejor (y llevamos años funcionando así, y la ciencia avanzando).

Betawriter said...

Estoy de acuerdo. Especialmente en el caso de los buenos journals sólo me he encontrado muy buenos revisores (acepten o no). Sin embargo disiento en el caso de las conferencias. Hay demasiadas conferencias y demasiados pocos revisores, y muy desganados. ¿La excusa? La de siempre: es trabajo extra que nadie les paga y cuesta esfuerzo. Y parece que entonces puedan evaluar como les venga en gana...

Me parece completamente injusto que se rechace un artículo por criterios semiarbitrarios, falsos o "ad hominem" (han llegado a decirme que siendo estudiante cómo puedo atreverme a "competir" con X, o han dicho que siendo de tal institución, como no he mencionado tal o cual cosa), y para ello se ajuste negativamente la puntuación en el resto de apartados.

Creo que el sistema puede mejorarse: creo que habría que priorizar y cuando se rechaza por una razón de peso, sería mejor anular y dejar en blanco el resto de apartados de la evaluación. ¿Por qué? Ya sabemos cómo son determinados revisores: una vez tomada la decisión fulminante, todo lo demás se puntúa igualmente bajo: organización, claridad, inglés... ¡incluso el formato!

Como autores, y ante un revisor "capullo", casi somos capaces de predecir la puntuación que tendremos en el resto de apartados, vista la primera. ¿O no es así?

Por tanto, la evaluación de esos apartados generalmente carece de valor, por no decir que resulta desesperanzadora y, a veces, ofensiva.