Como ya hemos mencionado en entradas anteriores ahora existe una obsesión generalizada sobre cómo medir la calidad científica. Esta obsesión está bastante justificada, sobre todo en países como España donde la selección del personal universitario está muy en entredicho. Claro está, si un país tiene un sistema universitario en el que hay fundamentadas sospechas de enchufismo y las mismas universidades valoran como mérito extra los servicios prestados a la misma universidad, pues es normal que se busquen métodos para evaluar la calidad de la investigación de una manera objetiva.
Anteriormente se basaba mucho la calidad de la investigación mucho en el número total de papers o de citas por investigador. Eso llevaba a potenciar una investigación de baja calidad, y a malas prácticas como publicar la misma investigación varias veces o abusar de las autocitas. También ha dado lugar a la proliferación de pseudorevistas que publican artículos sin mirarlos por un módico precio. Leo también en el Blog de Francis que han descubierto a un tipo que se revisaba a si mismo los artículos mediante identidades falsas.
Como evaluar "al peso" está considerado casi universalmente como una mala medida se han creado otros indicativos más sofisticados. La idea es simple, es preferible que haya pocas publicaciones con alto impacto a publicar como churros cosas menos relevantes. De eso hablamos ya en uno de los primeros posts de este blog.
Medir la calidad es algo siempre muy complicado porque es muy subjetivo. Así lo que se ha decidido es medir el "impacto", viendo cuanta gente cita a cada artículo y suponiendo que un artículo muy citado es un artículo muy importante. A partir de ahí se creó el famoso Índice de Impacto. Os copio lo que escribí sobre él en 2010.
En cuanto a las revistas el método estándar de evaluarlas es el Factor de impacto. Este lo calcula el Institute for Scientific Information de la siguiente manera (según la wikipedia)
A = Número de veces en que los artículos publicados en el periodo 2001-2002 han sido citados por las publicaciones a las que se les da seguimiento a lo largo del año 2003
B = Número de artículos publicados en el periodo 2001-2002.
Factor de impacto 2003 = A/B
de modo que es una manera de contabilizar las citas que tienen los artículos de una revista en las otras revistas. Como índice de calidad tiene bastantes detractores, pero es el más estándar hoy en día. Por otro lado el índice de impacto cambia mucho según el tema de la revista, no teniendo sentido por ejemplo comparar una de física con una de medicina porque las segundas tienen unos índices de impacto mucho más altos. También hay que decir que el índice de impacto no es lineal, es decir revistas de mucho prestigio pueden tener un índice de impacto 20 veces (p. ej.) mayor que otras del mismo sector, pero eso no indica que tengan 20 veces más impacto en la sociedad científica.
A modo de ejemplo de ciencia en general son muy prestigiosas Nature (34.480) o Science (29.747). En física algunas muy buenas son Review of Modern Physics (33.145) o Physical Review Letters (7.328). En medicina, como ya he dicho tienen los índices de impacto más altos como Ca-A Cancer Journal for Clinicians (que con su 87.925 es la revista de mayor índice de impacto) o el New England Journal of Medicine (47.050).
Así se ha extendido mucho el índice de impacto como medida de la calidad de una revista, y a partir de él se mide la calidad de los científicos, a partir del índice de impacto de las revistas donde publican.
Por otra parte, en los últimos años se ha organizado un movimiento en contra del índice de impacto como medida de la calidad científica. Este movimiento redactó la Declaración de San Francisco sobre la Evaluación de la Investigación (DORA). En él se evalúan las siguientes críticas al índice de impacto como medida de la calidad científica.
a) La distribución del índice de impacto está muy desproporcionada.
b) Las propiedades del índice de impacto dependen mucho del campo. Se calcula además a partir de muchos tipos de artículos diferentes, como investigación básica o artículos bibliográficos.
c) El índice de impacto de puede manipular desde las revistas.
d) Los datos usados para calcular el índice de impacto no son transparentes ni están accesibles.
Así el texto incita a evaluar la calidad de las publicaciones de cada persona que solicita a un puesto individualmente, y no dependiendo de la revista en la que publica.
No deja de ser un tema complicado. En mi opinión, no debemos dejar de buscar indicadores objetivos de la calidad científica. Esa es la única manera de conseguir que el acceso a la función pública investigadora sea realmente meritocrática. Pero también es cierto que cada método que se diseña tiene siempre sus pros y sus contras.
¿Qué opináis vosotros?
Medir la calidad es algo siempre muy complicado porque es muy subjetivo. Así lo que se ha decidido es medir el "impacto", viendo cuanta gente cita a cada artículo y suponiendo que un artículo muy citado es un artículo muy importante. A partir de ahí se creó el famoso Índice de Impacto. Os copio lo que escribí sobre él en 2010.
En cuanto a las revistas el método estándar de evaluarlas es el Factor de impacto. Este lo calcula el Institute for Scientific Information de la siguiente manera (según la wikipedia)
A modo de ejemplo de ciencia en general son muy prestigiosas Nature (34.480) o Science (29.747). En física algunas muy buenas son Review of Modern Physics (33.145) o Physical Review Letters (7.328). En medicina, como ya he dicho tienen los índices de impacto más altos como Ca-A Cancer Journal for Clinicians (que con su 87.925 es la revista de mayor índice de impacto) o el New England Journal of Medicine (47.050).
Así se ha extendido mucho el índice de impacto como medida de la calidad de una revista, y a partir de él se mide la calidad de los científicos, a partir del índice de impacto de las revistas donde publican.
Por otra parte, en los últimos años se ha organizado un movimiento en contra del índice de impacto como medida de la calidad científica. Este movimiento redactó la Declaración de San Francisco sobre la Evaluación de la Investigación (DORA). En él se evalúan las siguientes críticas al índice de impacto como medida de la calidad científica.
a) La distribución del índice de impacto está muy desproporcionada.
b) Las propiedades del índice de impacto dependen mucho del campo. Se calcula además a partir de muchos tipos de artículos diferentes, como investigación básica o artículos bibliográficos.
c) El índice de impacto de puede manipular desde las revistas.
d) Los datos usados para calcular el índice de impacto no son transparentes ni están accesibles.
Así el texto incita a evaluar la calidad de las publicaciones de cada persona que solicita a un puesto individualmente, y no dependiendo de la revista en la que publica.
No deja de ser un tema complicado. En mi opinión, no debemos dejar de buscar indicadores objetivos de la calidad científica. Esa es la única manera de conseguir que el acceso a la función pública investigadora sea realmente meritocrática. Pero también es cierto que cada método que se diseña tiene siempre sus pros y sus contras.
¿Qué opináis vosotros?
Hola Daniel, gracias por tu reflexión. Es cierto que publicar en una revista de alto índice de impacto no garantiza que tu artículo vaya a tener mayor repercusión que si publicas en una de un índice menor, y cuando tienes un trabajo que consideras bueno todos queremos publicarlo en la mejor revista posible. Yo a Nature y Science las sacaría del juego, en el sentido de que son revistas muy buenas pero "generalistas" por lo que hay temas que es casi imposible que acaben ahí. Por eso creo que en la actualidad, además de tener 1 Nature que ya es una cosa que se valora por si misma se mira más la posición de las revistas en el ranking de su propia categoría, y al menos en el CSIC lo que quieren es que se publique en el primer cuartil, el 25% de revistas de mayor impacto de su categoría independientemente del índice de impacto que tengan. Esto evidentemente produce una cierta "normalización" de los CVs de distintas áreas. Y por otro lado, para valorar el impacto de los artículos y no de las revistas cada vez se utiliza más el índice H, que se calcula para cada investigador. El índice h será el número de artículos h con más de h citas (siempre el valor más alto que puedas calcular). Lo que pasa es que este índice depende muy significativamente de la duración temporal de la investigación, los "viejos" tenemos siempre un índice h mayor que los más jóvenes. Así que aún es necesario refinar aún más los métodos de determinación de calidad. Un saludo
ResponderEliminarHola, Teresa.
EliminarGracias por expresar tu opinión. El índice H lo conozco, ya escribí sobre él cuando abrí el blog (ojo que el mío ha subido desde entonces XD).
http://entangledapples.blogspot.sg/2010/10/publicaciones-cientificas-y-revision.html
Me parece una buena medida, siempre que no se cuenten las autocitas. Es muy tentador publicar cientos de citas a uno mismo en cada artículo que se publica. El que dependa de la experiencia tampoco me parece demasiado problemático. A fin de cuentas cuando yo solicite un empleo competiré con gente que esté a mi mismo nivel, no con un catedrático.
En cualquier caso, creo que todos los índices son malos en sí. Una vez el método se populariza es normal que la gente se centre en mejorarlos en vez de centrarse en hacer una buena investigación. Por otro lado también pienso que son necesarios, para garantizar la objetividad. Así que estoy hecho un lío.
No sé cómo será en otras disciplinas, pero en la mía (filosofía de la ciencia, y creo que en otras áreas de filosofía aún más) la "vida" de un artículo suele ser mucho más larga que uno o dos años; es más, las citas suelen empezar a venir después. Lo habitual es que en un artículo se citen otras obras de una, dos, tres, cuatro o cinco décadas atrás (por no hablar de los clásicos, claro).
ResponderEliminarEn física también es la vida mucho más larga. También ocurre a veces que un artículo no es citado en dos años y luego se populariza. Sin embargo, eso tampoco es lo más frecuente, al menos en la última década la mayoría de los artículos muy citados lo han sido desde el principio.
EliminarPero sí, el índice de impacto fomenta ir a temas "hot", que estén de moda y reduce las ganas de innovar. si vas a publicar algo donde no trabaja nadie no va a ser muy citado en dos años, y las revistas no lo querrán.
Personalmente yo espero como agua de Mayo tener un poco de estabilidad laboral, y poder centrarme en investigar cosas a largo plazo, y no estar mirando índices y cosas así.
Dices: "Por otro lado el índice de impacto cambia mucho según el tema de la revista, no teniendo sentido por ejemplo comparar una de física con una de medicina porque las segundas tienen unos índices de impacto mucho más altos. ", pero ese problema ocurre incluso entre diversas subdisciplinas de un mismo área. No existe homogeneidad ni siquiera entre diversas áreas de física. Sin embargo despues hay gente que explota esas diferencias, cuando le interesa y le beneficia. Y al final en lugar de valorar la calidad de una buena investigación, se prima el how sexy y por supuesto se priman las modas. Piensa que tal y como está definido no es más que un problema estadístico.
ResponderEliminarYo creo que es difícil cuantificar la calidad. Si se crea un sistema objetivo, siempre habrán listillos que sepan cómo burlarlo para favorecer sus intereses.
ResponderEliminarPero Daniel, como has tocado de refilón un tema muy serio, sí que me gustaría comentar sobre las corruptelas enchufistas en las universidades españolas. El caso que citas es el de Íñigo Errejón: contratado por la Universidad de Málaga y "supervisado" por un camarada de Podemos. Yo no sólo conozco éste caso de la Universidad de Málaga, sino muchos otros más: y no hace falta ser Sherlock Holmes para verlos porque casi todos los enchufables son hijos, camaradas o amigos de algún catedrático o responsable de proyectos. ¿La corrupción en las Universidades españolas tiene solución?, pues resulta que los expertos reunidos dieron ideas para solucionarla: www.mecd.gob.es/prensa-mecd/actualidad/2013/02/20130215-comision-expertos.html , pero estas soluciones nunca llegarán a ejecutarse ya que las universidades españolas parece que son como una mafia donde todos cuidan de todos.
Me parece más útil y más ajustado el índice h. No depende de lo reciente de las obras citadas, con lo que el problema que comenta Zamora no se presenta, y se debe solo a las citas recibidas por tus artículos, no al estatus de la revista en su conjunto. Sería perfectamente posible tener un h alto publicando en revistas de impacto bajo o moderado con lo que la carrera por acceder al primer cuartil no sería tan crítica como ahora. Tiene, además, la ventaja de reducir el efecto de las publicaciones "grises", que no son citadas nunca o, a lo sumo, dos o tres veces. No valdría de nada, por tanto, tener un montón de artículos a menos que estos sean citados con lo que se invertiría esfuerzo en más calidad en vez de en más cantidad. No es que sea un índice perfecto, eso no existe, pero no conozco ni se me ocurre nada que lo mejore.
ResponderEliminarEl índice h tiene su utilidad, naturalmente, aunque lleva a paradojas como la de que Galois tendría un miserable h = 1. Digamos que el h favorece algo así como la verborrea disciplinaria: que en una disciplina se publiquen muchísimos papers por autor, con muchas citas cada uno, aunque el aporte marginal del paper n+1 sobre el paper n sea mínimo.
ResponderEliminarPor cierto, si os interesa el tema de la relación entre el "mercado de citas" y la calidad epistémica de la ciencia, os recomiendo echar un vistazo a este artículo mío (que hasta ahora lleva 0 citas, por cierto ;-)