lunes, 21 de septiembre de 2015

El lado oscuro, pero no oculto, de la ciencia

Son múltiples las referencias que particularmente este año han surgido con respecto a la conmemoración de la primera publicación periódica regular, tal como hoy en día la conocemos (veáse por ejemplo 350 years of scientific publishing o 350 years of scientific publication: from the “Journal des Sçavans” and Philosophical Transactions to SciELO), desde hace 350 años. El objetivo de la primera publicación científica fue, creo, bastante sensato en tanto aseguraba la difusión de los resultados de investigadores en un campo determinado, por un lado. Y por otro, se intentaba evitar la duplicación de la información (Larivière et al., 2015). Luego de la creación y el establecimiento formal de una publicación periódica de esta naturaleza se sugiere que son las instituciones que producen el conocimiento (sociedades científicas, laboratorios, universidades) las llamadas a continuar y velar porque este proceso se de de la mejor forma posible. La historia de las publicaciones científicas ha estado marcada por un entramado de múltiples factores entre los que podrían nombrarse a la construcción de conocimiento, difusión de resultados, implicación de los avances a la sociedad, visibilidad de autores, crecimiento de las revistas, beneficios económicos de todos los actores y en el último de los niveles la descripción de "La realidad". La relación que puede existir entre la ciencia y las publicaciones es evidente pero no siempre se corresponde. Esta relación está determinada porque son las publicaciones el medio en que la ciencia puede difundir el conocimiento que produce. Pero, la historia ha mostrado que en las instituciones más tradicionales es la corrupción y las decisiones que esto acarrea lo que asegura el mantenimiento de poder. Es necesario sacar las publicaciones de este círculo.

El propósito de este post es visibilizar y resaltar lo que he denominado "lado oscuro" de la historia de las publicaciones científicas relacionado en muchos casos con conductas antiéticas de los investigadores, autores, instituciones, editores, casas editoriales, entre otros. A pesar de criticar y condenar abiertamente todas estas actuaciones no se sigue que sea ésta la razón para dudar de todo conocimiento científico (ésta es la crítica de quienes consideran que el modelo de producción y difusión de ciencia moderno no es adecuado). Por el contrario, estar alerta e identificar posibles alteraciones será el mecanismo idóneo para tomar medidas al respecto. Considero que la mejor acción para los problemas en los resultados de las investigaciones es aceptarlo y discutirlo pero no ocultarlo y, aun menos, tratar de justificarlo. Es así como el blog de "Retraction Watch" se ha dado a la tarea de visibilizar los artículos retirados o retractaciones debido a estas malas prácticas -casi que cualquier campo presenta varios problemas de retractación áreas como medicina, psicología, física, biología y neurociencias-. Pero más allá de presentar el valioso trabajo reflejado en este blog este post intenta mostrar un problema de la ciencia y es la conducta deshonesta de los actores (científicos) y posibles mecanismos de control. Al respecto de la retractación de artículos, vale la pena mencionar el enorme conjunto de problemas generados cuando un artículo se retira y no es posible corregir los datos de otras investigaciones si realizadas que se apoyan en este tipo de artículos. Es el caso por ejemplo de la fabricación de datos. En este caso cómo controlar el vacio generado por un trabajo que no se ha realizado y que está inmerso en un sistema de citación en cascada. Son varios los casos en donde después de que se han retirado los artículos todavía son citados en otras publicaciones (ver More evidence scientists continue to cite retracted papers o Half of anesthesiology fraudster’s papers continue to be cited years after retractions). Es más, Fang & Casadevall (2011) proponen un índice de retractación que se correlaciona con el factor de impacto de las revistas (imagen 1) y reportan que en un porcentaje mayor al (60%) las publicaciones que se retractan lo hacen por conducta fraudulenta de los autores -una cifra escandalosa- (Fang, Steen, & Casadevall, 2012).

Imagen 1. Tomado de Fang & Casadevall (2011). Correlation between impact factor and retraction index. The 2010 journal impact factor (37) is plotted against the retraction index as a measure of the frequency of retracted articles from 2001 to 2010 (see text for details). Journals analyzed were Cell, EMBO Journal, FEMS Microbiology Letters, Infection and Immunity, Journal of Bacteriology, Journal of Biological Chemistry, Journal of Experimental Medicine, Journal of Immunology, Journal of Infectious Diseases, Journal of Virology, Lancet, Microbial Pathogenesis, Molecular Microbiology, Nature, New England Journal of Medicine, PNAS, and Science.
No es de mi interés caer en una diferencia entre "buenos" y "malos" actores dentro del proceso, una distinción acomodada que considero es relativa, pero si el reconocimiento de errores comunes y de mejores prácticas que benefician a quienes creemos en la ciencia como el único mecanismo sensato de desarrollo social, económico y ojalá político. Estoy de acuerdo con Joaquín Sevilla en la delgada y conveniente división entre lo aceptado como correcto y una conducta abiertamente fraudulenta (ver La difusa frontera de la deshonestidad). Son las acciones de los científicos las que fácilmente pueden considerarse como fraudulentas pero la justificación o reconocimiento de estas malas prácticas como habituales no disminuyen el impacto desafortunado que se genera en el sistema completo.

Imagen 2. Tomado de: Sevilla, J. (2015). La difusa frontera de la deshonestidad.
http://culturacientifica.com/2015/08/18/fraude-cientifico-ii-la-difusa-frontera-de-la-deshonestidad/
Acciones aparentemente sencillas como la publicación de resultados completos o la presentación de ideas antes de la realización en repositorios destinados para tal fin, podrían servir como acciones de control ante conductas fraudulentas en la fabricación de datos (Acevedo-Triana, López-López, & Cardenas, 2014). Herramientas posteriores a la realización de las investigaciones y que intentan controlar procedimientos estadísticos que ayuden a evidenciar errores o muestren impactos reales serían así mismo mecanismos de apoyo para determinar la sensibilidad o alcance de las investigaciones (Acevedo-Triana, et al., 2014; Nieuwenhuis, Forstmann, & Wagenmakers, 2011).

Por otro lado y a propósito del tema de coyuntura en cuanto a la publicación de los resultados del proyecto de reproductibilidad en psicología, he decidido escribir sobre el tema (había escrito un post sobre este tema hace algunos meses Las réplicas podrían contrarrestar malas prácticas al interior de la psicología) (Yong, 2012). Dicho proyecto tiene como objeto proponer la revisión constante de la producción de conocimiento, así como el desarrollo de métodos (estadísticos, de procedimiento, incluso de revisión) que permitan contrastar y discutir en torno al aspecto ético de la investigación (Open Science Collaboration, 2015). Los detalles de la selección de los estudios y quienes los replicaron serán motivo de discusión constante, ya que, si bien no es posible abarcar todos los aspectos puntuales bajo los que se seleccionaron las características es un intento sistemático y con el mejor propósito de evaluar la reproductibilidad de los fenómenos (100 estudios realizados por 270 personas), partiendo de la duda sobre la aparición de los fenómenos. Al intentar resumir los datos se encuentra que no existe un solo indicador suficiente para determinar la reproductibilidad, sino que por el contrario la evaluación de aspectos como valor p, tamaño del efecto, evaluación subjetiva de la replicación y meta-análisis del tamaño del efecto fueron necesarios en el estudio. En términos generales, la media del tamaño del efecto entre los estudios originales (M = 0.403, SD = 0.188) y los replicados (M = 0.197, SD = 0.257) disminuyó. En cuanto al porcentaje de estudios que obtuvo resultados significativos (p < 0,05)  fue de 97% en los originales, versus 36% en los replicados (imagen 3).

Imagen 3. Original study effect size versus replication effect size (correlation coefficients). Diagonal line represents replication effect size equal to original effect size. Dotted line represents replication effect size of 0. Points below the dotted line were effects in the opposite direction of the original. Density plots are separated by significant (blue) and nonsignificant (red) effects. Tomado de: Open Science Collaboration Science 2015;349:aac4716

Estos resultados sugieren varias reflexiones; en primer lugar ¿qué significa no haber obtenido resultados significativos, será que es un problema en la medición o es el tipo de fenómeno a estudiar lo que podría variar?¿serán necesarias nuevas réplicas en aquellos estudios que obtuvieron resultados negativos debido a que hay una evidencia a favor y otra en contra?¿será que una nueva evidencia soluciona el inconveniente?, ¿cómo reaccionar ante los estudios que no tuvieron resultados significativos y tamaños del efecto menor?, esto ¿justifica la duda realmente?. Considero que, como señala el estudio, la estimulación de los resultados novedosos sobre las réplicas generan la percepción errónea de que los trabajos publicados son un reflejo de la realidad. Acá el punto es qué es lo que se considera novedoso, ya que en términos estrictos no encontrar los mismos resultados que previamente han sido publicados debería considerarse novedoso y estimular la generación de nuevas hipótesis que expliquen la falta de replicabilidad. Por lo tanto, tanto los resultados "positivos" como "negativos" son construcción de conocimiento y fuentes de autocorrección. Finalmente señalar que estos resultados se ajustan a los niveles de replicabilidad de la psicología con respecto a otras áreas de la ciencia (física o neurociencia por ejemplo, Button et al, 2013), en donde, los fenómenos no siempre pueden replicarse y no necesariamente significa falsos fenómenos (Ioannidis, 2005) pero si debería generar una mayor discusión académica entre las comunidades revisando teorías, métodos, muestras, poblaciones, resultados e interpretaciones.

A modo de conclusión, considero que los resultados muestran una realidad en psicología que es acorde a otras disciplinas, que promueven el trabajo en comunidad al interior de la disciplina y que deberían generar reflexiones epistemológicas, que no siempre son bienvenidas, los métodos y herramientas deben corresponderse a nivel global y no en pequeños grupos que no favorecen esta replicabilidad, La incorporación de técnicas y conocimiento de otras áreas, aumentará la posibilidad de replicación y no el aislamiento protegiendo intereses distintos a la producción de conocimiento genuino.


ResearchBlogging.org--César Acevedo-Triana--







Referencias

Acevedo-Triana, C, López-López, W., & Cardenas, F. P. (2014). Recomendaciones en el diseño, la ejecución y la publicación de investigaciones en Psicología y ciencias del comportamiento Revista Costarricense de Psicología, 33 (2), 155-177

Button, K., Ioannidis, J., Mokrysz, C., Nosek, B., Flint, J., Robinson, E., & Munafó, M. (2013). Power failure: why small sample size undermines the reliability of neuroscience Nature Reviews Neuroscience, 14 (6), 442-442 DOI: 10.1038/nrn3502

Fang, F. & Casadevall, A. (2011). Retracted Science and the Retraction Index Infection and Immunity, 79 (10), 3855-3859 DOI: 10.1128/IAI.05661-11

Fang, F., Steen, R., & Casadevall, A. (2012). Misconduct accounts for the majority of retracted scientific publications Proceedings of the National Academy of Sciences, 109 (42), 17028-17033 DOI: 10.1073/pnas.1212247109

Ioannidis, J. (2005). Why Most Published Research Findings Are False PLoS Medicine, 2 (8) DOI: 10.1371/journal.pmed.0020124

Larivière, V., Haustein, S., & Mongeon, P. (2015). The Oligopoly of Academic Publishers in the Digital Era PLOS ONE, 10 (6) DOI: 10.1371/journal.pone.0127502

Nieuwenhuis, S., Forstmann, B., & Wagenmakers, E. (2011). Erroneous analyses of interactions in neuroscience: a problem of significance Nature Neuroscience, 14 (9), 1105-1107 DOI: 10.1038/nn.2886

Open Science Collaboration (2015). Estimating the reproducibility of psychological science Science, 349 (6251) DOI: 10.1126/science.aac4716

Yong, E. (2012). Replication studies: Bad copy Nature, 485 (7398), 298-300 DOI: 10.1038/485298a