lunes, 17 de noviembre de 2014

Indices de producción a todos los niveles y para todos los gustos (Redalyc 2.0, Nature Index, Scopus, Scielo Index) para países e instituciones

En una necesidad de medición y de cuantificación de resultados de múltiples aspectos, generando índices de bibliometría y/o cienciometría han aparecido toda clase de mediciones que han soprepasado los artículos, investigadores y desde hace años se han trasladado a las instituciones y países, generando múltiples mediciones, impactos, y en los casos más avanzados, se han dado resultados de excelencia, liderazgo, entre otras conceptualizaciones más elaboradas (Bornmann et al., 2012).

Imagen 1. Visión de algunos de los índices de producción y citación.
Esta amplia gama de opciones tiene la ventaja de poder cuantificar aspectos antes no tenidos en cuenta y que, por demás, no son tan sensibles a la intención de "torcer" los índices e indicadores. Una de las acusaciones que normalmente reciben las revistas, editores y autores, es la ingeniería constante por influir de forma intencional los indicadores de producción, citación o impacto (un ejemplo de estas críticas aquí). Pero más allá de tener la certeza de poder haber influido o no en estos indicadores, es poco probable que la influencia se pueda dar en los diferentes niveles de los índices. La gran ventaja de poder contar con diversos indicadores radica en tener medidas, a diversos niveles, que contrasten múltiples aspectos. La complejidad en la cual se han inmerso los sistemas de registro, brindan la posibilidad de evaluar autores, instituciones, revistas o países. La normalización, registros de citación en múltiples bases, rastreo de fuentes, índices de todos los tipos y para todos los gustos permiten que hoy por hoy el mapa de la producción ciencia tenga herramientas cada vez más complejas e informativas que constituyen un avance muy importante en el campo. En últimas, quién más se ha beneficiado son los usuarios y analistas de la información.

Pero no son solo herramientas con las cuales tomar una decisión entorno a investigadores, prestigio institucional y demás, son complejas y visualmente muy atractivas las herramientas desarrolladas por los diversos sistemas, desde coloridas e interactivas, hasta con la posibilidad de realizar todo tipo de comparaciones.

El factor de impacto es sólo una medida

La imperiosa necesidad de medir los productos, los procesos, la investigación, los resultados, o el impacto ha generado un creciente número de indicadores, algunos con mayor complejidad, que dan cuenta de una forma de la dinámica de la ciencia, pero además, aumentan la información que supera los viejos y criticados indicadores de medición (Garfield, 2006). Ni siquiera los movimientos que inicialmente se oponían a este tipo de cuantificación, han escapado de ésta. Es el caso del movimiento de acceso abierto (open access) y el intento de los países emergentes por mostrar una parte del trabajo invisible a estos grandes indicadores (McCallum, 2007). Este esfuerzo ha llevado a que los grandes índices giren su interés en poder recoger gran parte de esta información, es el caso del Scielo Citation Index, alojado en la plataforma de la multinacional privada Thompson Reuters. Quién lo hubiera imaginado hace diez años, cuando muchos de los proyectos de América Latina o los que se generaban fuera de estas grandes editoriales fueran a impactar en la atención de la producción científica mundial.

Es tal el impacto del movimiento sobre los sistemas cerrados y tradicionales, que éstos han empezado a captar y atacar lo relacionado con el tema de Open Access, grandes editoriales han tenido que seguir el juego de manejar un doble perfil con el ánimo de no perder un público interesado en intentar salir de los esquemas tradicionales. En este sentido, han cobrado importancia las mediciones en las redes sociales, que si bien, tienen la particularidad de tener que ser interpretados con precaución, también son un indicador de consumo de conocimiento científico (Sugimoto et al., 2013) y que si bien no terminan reflejándose en una cita o en una contribución al factor de impacto, se encuentra en la lógica de poder cuantificar la difusión, utilización, consumo e impacto del conocimiento científico (Priem et al., 2010).

Imagen 2. Ejemplo de mediciones de Almetrics en Scopus. Tomada de: http://editorsupdate.elsevier.com/issue-37-october-2012/the-changing-face-of-journal-metrics/

Nature Index

En esta semana, y es parte de la motivación para este post, la revista Nature ofrece su Nature Index (2013-2014). Se propone como un índicador del impacto de instituciones y países basados en la publicación de artículos en las revistas tanto del Nature Publishing Group junto con otras revistas seleccionadas (http://www.natureindex.com/). Tal como se reporta, el Nature Index pretende ser una herramienta para medir resultados de alta calidad, así como la cuantificación de participación de instituciones y países.

Imagen 3. Nature Index. Tomada de Introducing the Index 2014.
Sobresalen dos aspectos de tan visualmente atractiva herramienta. Por un lado, son ya conocidos los sesgos y problemas de artículos que se publican en revistas de muy alto impacto. No es el tema de esta entrada, pero se conoce que son múltiples los aspectos que se tienen en cuenta en las publicaciones de estas grandes revistas, además del mérito científico. Ésto sumado a la poca representatividad de las investigaciones publicadas, lo que dificulta asumir que por sí mismo, el índice es un buen indicador de la producción a nivel mundial. Revistas como Science, Nature o algunas de las de más alto impacto, están sometidas a presiones de resultados llamativos, gran cantidad de artículos y pocos espacios para publicar, lo que lleva a que lo que se muestra es solo una parte, quizás la más llamativa (no necesariamente la más real), de lo que ocurre en la ciencia (Estupinya 2009; Young et al, 2008). De hecho la credibilidad de investigaciones con el mismo valor metodológico variarán en la percepción de verdad, únicamente por el lugar donde han sido publicadas, de allí el valor del sitio de la publicación. No en vano grandes laboratorios, solo publican sus artículos en un grupo muy reducido de revistas.

Sumado a este problema de representatividad, se encuentra el asociado a la invisibilización de la ciencia de las comunidades emergentes. Que, si bien es cierto que parte de esta invisibilización procede de las mismas prácticas de la comunidad (consumiendo y desacreditando una producción de conocimiento local, el interés por publicar en revistas top desconociendo canales locales y poco uso del conocimiento producido) no se hace justicia en torno a los niveles de producción de conocimiento. Haciendo una búsqueda en este índice sobre Centro y Sur América de la producción científica, se encuentra una participación muy baja de nuestro conocimiento a nivel mundial. Si bien es cierto que tradicionalmente ha sido poco y que sólo algunos ejemplos aislados pueden compararse con la producción mundial, no es posible indicar que no se tiene una producción en aumento y que el no reflejo en los índices indica que no existe.

Imagen 4. Nature Index - Middle & South America. Tomado de: http://www.nature.com/nature/journal/v515/n7526_supp/full/515S91a.html
Sería muy interesante realizar el ejercicio de comparar la producción de estos índices, no solamente el de Nature, sino los diferentes sistemas de medida con la medición de otros indicadores más regionales, Redalyc o Scielo Citation Index, para comparar la representatividad que tienen de la producción regional. Tendría que tomarse en cuenta la forma en como son construidos y los datos utilizados para su construcción, la principal dificultad radicaría en que cada uno de estos indicadores pondera y cuantifica de forma diferente diversos aspectos. En la última imagen se puede observar el reporte de producción en Psicología en las revistas en Redalyc, que si bien, no tienen la misma naturaleza de las incluidas en otros índices, tienen la ventaja de ser más reales a la producción local. Quizás la comparación de estos indices sea estable en instituciones y países donde la mayoría de sus canales pertenezcan de forma equivalente a estas bases/organizaciones/indicadores, pero en países emergentes donde, primero la participación es muy baja y adicionalmente no se refleja el nivel de producción, estos indicadores sólo serán un referente, de alguna forma lejano, de nuestra realidad. Que son necesarios pero deben tenerse en cuenta entendiendo nuestro contexto.

Imagen 5. Tomada de www.redalyc.org
--César Acevedo-Triana--
Twitter: @cesar_acevedot


Referencias
ResearchBlogging.org
Bornmann, L., de Moya Anegón, F., & Leydesdorff, L. (2012). The new Excellence Indicator in the World Report of the SCImago Institutions Rankings 2011 Journal of Informetrics, 6 (2), 333-335 DOI: 10.1016/j.joi.2011.11.006

Estupinyá, P. (2010). El ladrón de cerebros Editorial Debate

Garfield, E. (2006). The History and Meaning of the Journal Impact Factor JAMA, 295 (1) DOI: 10.1001/jama.295.1.90

MacCallum CJ (2007). When is open access not open access? PLoS Biology, 5 (10) : 10.1371/ journal.pbio.0050285

Priem, J., & Costello, K. (2010). How and why scholars cite on Twitter Proceedings of the American Society for Information Science and Technology, 47 (1), 1-4 DOI: 10.1002/meet.14504701201

Sugimoto, C., Thelwall, M., Larivière, V., Tsou, A., Mongeon, P., & Macaluso, B. (2013). Scientists Popularizing Science: Characteristics and Impact of TED Talk Presenters PLoS ONE, 8 (4) DOI: 10.1371/journal.pone.0062403

Young, N., Ioannidis, J., & Al-Ubaydli, O. (2008). Why Current Publication Practices May Distort Science PLoS Medicine, 5 (10) DOI: 10.1371/journal.pmed.0050201




lunes, 10 de noviembre de 2014

La "guerra de la memoria" y la imperiosa necesidad de evidencia en la formación en psicología

En los últimos meses han aparecido en la revista "Psychological Science"una serie de artículos, respuestas y meta-respuestas (respuesta a las respuestas) sobre el tema de lo que se conoció en los años 90 la guerra de la memoria (Patihis, et al., 2014). El término enmarca una serie de ideas en torno a dos grupos. Por un lado la posibilidad de "reprimir" recuerdos o memorias que luego persisten a lo largo de la vida y que en la práctica clínica tiene una corriente de pensamiento y un tipo de trabajo terapéutico (regresiones, hipnosis, entre otros) versus el grupo que debate y refuta la idea de dichos mecanismos de represión (Loftus, 1993).

Pero más allá de tomar partido, casi que inevitablemente, por alguna de las dos posiciones, considero que la relevancia y el detalle del mismo sobrepasa los alcances académicos y tiene un implicación, social, judicial y por supuesto ética de los profesionales involucrados en cada uno de los grupos. Como ha sido reportado en múltiples estudios la aparición espontanea de múltiples casos de "recuperación" de memorias relacionadas con delitos fueron en los años 90 una de los hechos que, más allá de la repercusión que tuvo para los involucrados, un evento que despertaba la curiosidad no solo del hecho mismo sino también de la "fortaleza" de la evidencia acerca de hechos ocurridos hace muchos años (Loftus, 1993; Patihis et al., 2014).

Imagen 1. Carátula del libro de Elizabeth Loftus "The Myth of Repressed Memory". Tomada de University of California (ocialecology.uci.edu/faculty/eloftus/) 

Quizás lo que más llama la atención del artículo de Patihis et al., (2014) son los datos sobre los profesionales (clinicos con diversos niveles de formación, i.e, PhD, MA) encuestados que reportan solidez de la evidencia entorno a las memorias reprimidas (71% de Psy.D. y 58% de PhD en Dammeyer et al 1997; 96% de psicoterapeutas en Holanda en Wessel 1998 citados en Patihis, et al., 2010). Estudios de 2012 en Noruega reportan que más del 60% de los psicólogos con licencia tiene ideas similares sobre la solidez del recuerdo (Magnussen & Melinder 2012 citado en Patihis et al., 2014). Realizan entonces dos estudios con el objetivo de medir el impacto de estas ideas en estudiantes de pregrado en Psicología y profesionales en torno a la creencia en estas ideas.

En el primer estudio se toman las respuestas de estudiantes (N = 390) y encuentran que existe un alto porcentaje de estudiantes con ideas relacionadas con conceptos de represión de memoria y técnicas pseudocientíficas para el tratamiento (imagen 2).

Imagen 2. Tomado de Patihis et al., 2014, p. 521
En un segundo estudio les interesa comparar los datos de profesionales, estudiantes y público en general con estudios previos en ideas similares. Encuentran, por fortuna, aunque no del todo que las ideas y dudas sobre la solidez de la memoria reprimida podrían ser falsas. Lo que me gustaría resaltar del segundo estudio es la comparación que realizan con otro tipo de profesionales diferentes a los psicólogos. En la siguiente imagen (imagen 3) se observa el porcentaje de acuerdo de estas ideas con diferentes grupos, se resalta la similaridad entre las ideas sostenidas por las practicas más cercanas al terreno de la pseudociencia y las de estudiantes y público en general. Que, por demás, creo es una invitación a una mejor formación en pregrado, pero, al mismo tiempo un aumento en la difusión de resultados empíricos que permitan a la población general contar con herramientas para la elección de la alternativa con una mayor evidencia, y creo, este es un error en quienes pueden y deben prevenir a la población de lo que Sagan denominaba "traficantes en misterios".

Imagen 3. Tomada de Patihis et al., 2014, p. 528

Finalmente, no es la psicología un campo donde se insertan ideas mágicas y llenas de misterio (aunque si existe una propensión quizás en parte a las malas prácticas de sus profesionales, un post sobre replicabilidad). En un excelente relato sobre el problema de creacionismo versus evolucionismo, Coyne (2012) muestra como el problema de la creencia en teorías científicas se correlaciona negativamente con ideas religiosas (imagen 4), indicando terrenos sensibles para la educación y la sociedad en general, pero más allá de tomar partido en un debate que sobrepasa todo propósito de esta entrada, considero que el compromiso en la educación científicamente sólida (es decir, empíricamente contrastable por métodos rigurosos) es un deber social y moral.

Imagen 4. Tomada de Coyne 2012, p 2657.
--César Acevedo-Triana--
Twitter: @cesar_acevedot

Referencias


ResearchBlogging.org



Coyne, J. (2012). SCIENCE, RELIGION, AND SOCIETY: THE PROBLEM OF EVOLUTION IN AMERICA Evolution, 66 (8), 2654-2663 DOI: 10.1111/j.1558-5646.2012.01664.x

Loftus, E. (1993). The reality of repressed memories. American Psychologist, 48 (5), 518-537 DOI: 10.1037/0003-066X.48.5.518

Patihis, L., Ho, L., Tingen, I., Lilienfeld, S., & Loftus, E. (2013). Are the "Memory Wars" Over? A Scientist-Practitioner Gap in Beliefs About Repressed Memory Psychological Science, 25 (2), 519-530 DOI: 10.1177/0956797613510718

Sagan, C. (1981). Sonámbulos y traficantes en misterios: sentidos y sinsentidos en las fronteras de la ciencia. En El Cerebro de Broca. Barcelona: Grijalbo.