Como ya hemos hablado por aquí en anteriores posts, el proceso de publicación científica es bastante complejo. Para asegurar la calidad científica de los artículos publicados se envían antes a científicos en activo que los evalúen, en el proceso llamado peer review o publicación por pares. Estos otros científicos (referees) deben evaluar si el artículo es consistente, si es o no interesante para la comunidad y otras cuestiones. Lo que no evalúan necesariamente es si es correcto o no, ya que rehacer cálculos o experimentos es muy complicado, pero sí que pueden resaltar inconsistencias o contradicciones en el mismo paper. En los últimos años, debido a la explosión de publicaciones e investigadores, la mayoría de las revistas lo que más piden a los referees es que evalúen el interés de la publicación. Esto es un tema bastante subjetivo, y nos lleva al resultado del experimento que vamos a discutir.
El experimento en cuestión se realizó en una conferencia NIPS (Neural Information Processing Systems Foundation). Esta es una de las conferencias más importantes de su campo, y de las más multitudinarias en todos los campos. La conferencia organiza también unas publicaciones, cosa habitual, y decidieron aprovechar estas publicaciones para analizar la aleatoriedad en el proceso de evaluación.
El experimento se diseñó de la siguiente manera. De todos los artículos recibidos eligieron un 10% (166) al azar para realizar el estudio. Estos artículos no serían evaluados por un comité, como los demás, sino por dos comités diferentes. En realidad dividieron el comité en dos, pero viene a ser lo mismo. El comité tenía instrucciones de aceptar el 22.5% de los artículos, lo que deja aproximadamente 37 ó 38 artículos dentro del conjunto a analizar que serían aceptados. Una vez los referees evaluaron los artículos compararon los resultados de ambos comités. El resultado fue muy interesante. De los 166 papers 43 recibieron evaluaciones diferentes de los dos comités, eso quiere decir que el primer comité aceptó 21 artículos que no aceptó el segundo, mientras que el segundo aceptó 22 que no aceptó el primero. Esto supone un 25.9% de artículos en los que ambos comités difirieron. Es más impresionante aún si calculamos el porcentaje de artículos en la lista de aceptados. Dado que el primer comité tenía instrucciones de aceptar unos 37 artículos, y de los que aceptó 37 no coincidían con el segundo comité concluimos que el 21/37=56.7% de los artículos aceptados por el primer comité no serían aceptados por el segundo. Más de la mitad. En conclusión, con respecto a los artículos aceptados los comités difirieron más que coincidieron.
