Indices de producción a todos los niveles y para todos los gustos (Redalyc 2.0, Nature Index, Scopus, Scielo Index) para países e instituciones

En una necesidad de medición y de cuantificación de resultados de múltiples aspectos, generando índices de bibliometría y/o cienciometría han aparecido toda clase de mediciones que han soprepasado los artículos, investigadores y desde hace años se han trasladado a las instituciones y países, generando múltiples mediciones, impactos, y en los casos más avanzados, se han dado resultados de excelencia, liderazgo, entre otras conceptualizaciones más elaboradas (Bornmann et al., 2012).

Imagen 1. Visión de algunos de los índices de producción y citación.

Esta amplia gama de opciones tiene la ventaja de poder cuantificar aspectos antes no tenidos en cuenta y que, por demás, no son tan sensibles a la intención de "torcer" los índices e indicadores. Una de las acusaciones que normalmente reciben las revistas, editores y autores, es la ingeniería constante por influir de forma intencional los indicadores de producción, citación o impacto (un ejemplo de estas críticas aquí). Pero más allá de tener la certeza de poder haber influido o no en estos indicadores, es poco probable que la influencia se pueda dar en los diferentes niveles de los índices. La gran ventaja de poder contar con diversos indicadores radica en tener medidas, a diversos niveles, que contrasten múltiples aspectos. La complejidad en la cual se han inmerso los sistemas de registro, brindan la posibilidad de evaluar autores, instituciones, revistas o países. La normalización, registros de citación en múltiples bases, rastreo de fuentes, índices de todos los tipos y para todos los gustos permiten que hoy por hoy el mapa de la producción ciencia tenga herramientas cada vez más complejas e informativas que constituyen un avance muy importante en el campo. En últimas, quién más se ha beneficiado son los usuarios y analistas de la información.

Pero no son solo herramientas con las cuales tomar una decisión entorno a investigadores, prestigio institucional y demás, son complejas y visualmente muy atractivas las herramientas desarrolladas por los diversos sistemas, desde coloridas e interactivas, hasta con la posibilidad de realizar todo tipo de comparaciones.

El factor de impacto es sólo una medida

La imperiosa necesidad de medir los productos, los procesos, la investigación, los resultados, o el impacto ha generado un creciente número de indicadores, algunos con mayor complejidad, que dan cuenta de una forma de la dinámica de la ciencia, pero además, aumentan la información que supera los viejos y criticados indicadores de medición (Garfield, 2006). Ni siquiera los movimientos que inicialmente se oponían a este tipo de cuantificación, han escapado de ésta. Es el caso del movimiento de acceso abierto (open access) y el intento de los países emergentes por mostrar una parte del trabajo invisible a estos grandes indicadores (McCallum, 2007). Este esfuerzo ha llevado a que los grandes índices giren su interés en poder recoger gran parte de esta información, es el caso del Scielo Citation Index, alojado en la plataforma de la multinacional privada Thompson Reuters. Quién lo hubiera imaginado hace diez años, cuando muchos de los proyectos de América Latina o los que se generaban fuera de estas grandes editoriales fueran a impactar en la atención de la producción científica mundial.

Es tal el impacto del movimiento sobre los sistemas cerrados y tradicionales, que éstos han empezado a captar y atacar lo relacionado con el tema de Open Access, grandes editoriales han tenido que seguir el juego de manejar un doble perfil con el ánimo de no perder un público interesado en intentar salir de los esquemas tradicionales. En este sentido, han cobrado importancia las mediciones en las redes sociales, que si bien, tienen la particularidad de tener que ser interpretados con precaución, también son un indicador de consumo de conocimiento científico (Sugimoto et al., 2013) y que si bien no terminan reflejándose en una cita o en una contribución al factor de impacto, se encuentra en la lógica de poder cuantificar la difusión, utilización, consumo e impacto del conocimiento científico (Priem et al., 2010).

Imagen 2. Ejemplo de mediciones de Almetrics en Scopus. Tomada de: http://editorsupdate.elsevier.com/issue-37-october-2012/the-changing-face-of-journal-metrics/

Nature Index

En esta semana, y es parte de la motivación para este post, la revista Nature ofrece su Nature Index (2013-2014). Se propone como un índicador del impacto de instituciones y países basados en la publicación de artículos en las revistas tanto del Nature Publishing Group junto con otras revistas seleccionadas (http://www.natureindex.com/). Tal como se reporta, el Nature Index pretende ser una herramienta para medir resultados de alta calidad, así como la cuantificación de participación de instituciones y países.

Imagen 3. Nature Index. Tomada de Introducing the Index 2014.

Sobresalen dos aspectos de tan visualmente atractiva herramienta. Por un lado, son ya conocidos los sesgos y problemas de artículos que se publican en revistas de muy alto impacto. No es el tema de esta entrada, pero se conoce que son múltiples los aspectos que se tienen en cuenta en las publicaciones de estas grandes revistas, además del mérito científico. Ésto sumado a la poca representatividad de las investigaciones publicadas, lo que dificulta asumir que por sí mismo, el índice es un buen indicador de la producción a nivel mundial. Revistas como Science, Nature o algunas de las de más alto impacto, están sometidas a presiones de resultados llamativos, gran cantidad de artículos y pocos espacios para publicar, lo que lleva a que lo que se muestra es solo una parte, quizás la más llamativa (no necesariamente la más real), de lo que ocurre en la ciencia (Estupinya 2009; Young et al, 2008). De hecho la credibilidad de investigaciones con el mismo valor metodológico variarán en la percepción de verdad, únicamente por el lugar donde han sido publicadas, de allí el valor del sitio de la publicación. No en vano grandes laboratorios, solo publican sus artículos en un grupo muy reducido de revistas.

Sumado a este problema de representatividad, se encuentra el asociado a la invisibilización de la ciencia de las comunidades emergentes. Que, si bien es cierto que parte de esta invisibilización procede de las mismas prácticas de la comunidad (consumiendo y desacreditando una producción de conocimiento local, el interés por publicar en revistas top desconociendo canales locales y poco uso del conocimiento producido) no se hace justicia en torno a los niveles de producción de conocimiento. Haciendo una búsqueda en este índice sobre Centro y Sur América de la producción científica, se encuentra una participación muy baja de nuestro conocimiento a nivel mundial. Si bien es cierto que tradicionalmente ha sido poco y que sólo algunos ejemplos aislados pueden compararse con la producción mundial, no es posible indicar que no se tiene una producción en aumento y que el no reflejo en los índices indica que no existe.

Imagen 4. Nature Index - Middle & South America. Tomado de: http://www.nature.com/nature/journal/v515/n7526_supp/full/515S91a.html

Sería muy interesante realizar el ejercicio de comparar la producción de estos índices, no solamente el de Nature, sino los diferentes sistemas de medida con la medición de otros indicadores más regionales, Redalyc o Scielo Citation Index, para comparar la representatividad que tienen de la producción regional. Tendría que tomarse en cuenta la forma en como son construidos y los datos utilizados para su construcción, la principal dificultad radicaría en que cada uno de estos indicadores pondera y cuantifica de forma diferente diversos aspectos. En la última imagen se puede observar el reporte de producción en Psicología en las revistas en Redalyc, que si bien, no tienen la misma naturaleza de las incluidas en otros índices, tienen la ventaja de ser más reales a la producción local. Quizás la comparación de estos indices sea estable en instituciones y países donde la mayoría de sus canales pertenezcan de forma equivalente a estas bases/organizaciones/indicadores, pero en países emergentes donde, primero la participación es muy baja y adicionalmente no se refleja el nivel de producción, estos indicadores sólo serán un referente, de alguna forma lejano, de nuestra realidad. Que son necesarios pero deben tenerse en cuenta entendiendo nuestro contexto.

Imagen 5. Tomada de www.redalyc.org

--César Acevedo-Triana--
Twitter: @cesar_acevedot


Referencias

Bornmann, L., de Moya Anegón, F., & Leydesdorff, L. (2012). The new Excellence Indicator in the World Report of the SCImago Institutions Rankings 2011 Journal of Informetrics, 6 (2), 333-335 DOI: 10.1016/j.joi.2011.11.006

Estupinyá, P. (2010). El ladrón de cerebros Editorial Debate

Garfield, E. (2006). The History and Meaning of the Journal Impact Factor JAMA, 295 (1) DOI: 10.1001/jama.295.1.90

MacCallum CJ (2007). When is open access not open access? PLoS Biology, 5 (10) : 10.1371/ journal.pbio.0050285

Priem, J., & Costello, K. (2010). How and why scholars cite on Twitter Proceedings of the American Society for Information Science and Technology, 47 (1), 1-4 DOI: 10.1002/meet.14504701201

Sugimoto, C., Thelwall, M., Larivière, V., Tsou, A., Mongeon, P., & Macaluso, B. (2013). Scientists Popularizing Science: Characteristics and Impact of TED Talk Presenters PLoS ONE, 8 (4) DOI: 10.1371/journal.pone.0062403

Young, N., Ioannidis, J., & Al-Ubaydli, O. (2008). Why Current Publication Practices May Distort Science PLoS Medicine, 5 (10) DOI: 10.1371/journal.pmed.0050201