El propósito de este post es visibilizar y resaltar lo que he denominado "lado oscuro" de la historia de las publicaciones científicas relacionado en muchos casos con conductas antiéticas de los investigadores, autores, instituciones, editores, casas editoriales, entre otros. A pesar de criticar y condenar abiertamente todas estas actuaciones no se sigue que sea ésta la razón para dudar de todo conocimiento científico (ésta es la crítica de quienes consideran que el modelo de producción y difusión de ciencia moderno no es adecuado). Por el contrario, estar alerta e identificar posibles alteraciones será el mecanismo idóneo para tomar medidas al respecto. Considero que la mejor acción para los problemas en los resultados de las investigaciones es aceptarlo y discutirlo pero no ocultarlo y, aun menos, tratar de justificarlo. Es así como el blog de "Retraction Watch" se ha dado a la tarea de visibilizar los artículos retirados o retractaciones debido a estas malas prácticas -casi que cualquier campo presenta varios problemas de retractación áreas como medicina, psicología, física, biología y neurociencias-. Pero más allá de presentar el valioso trabajo reflejado en este blog este post intenta mostrar un problema de la ciencia y es la conducta deshonesta de los actores (científicos) y posibles mecanismos de control. Al respecto de la retractación de artículos, vale la pena mencionar el enorme conjunto de problemas generados cuando un artículo se retira y no es posible corregir los datos de otras investigaciones si realizadas que se apoyan en este tipo de artículos. Es el caso por ejemplo de la fabricación de datos. En este caso cómo controlar el vacio generado por un trabajo que no se ha realizado y que está inmerso en un sistema de citación en cascada. Son varios los casos en donde después de que se han retirado los artículos todavía son citados en otras publicaciones (ver More evidence scientists continue to cite retracted papers o Half of anesthesiology fraudster’s papers continue to be cited years after retractions). Es más, Fang & Casadevall (2011) proponen un índice de retractación que se correlaciona con el factor de impacto de las revistas (imagen 1) y reportan que en un porcentaje mayor al (60%) las publicaciones que se retractan lo hacen por conducta fraudulenta de los autores -una cifra escandalosa- (Fang, Steen, & Casadevall, 2012).
La difusa frontera de la deshonestidad). Son las acciones de los científicos las que fácilmente pueden considerarse como fraudulentas pero la justificación o reconocimiento de estas malas prácticas como habituales no disminuyen el impacto desafortunado que se genera en el sistema completo.
Imagen 2. Tomado de: Sevilla, J. (2015). La difusa frontera de la deshonestidad.
http://culturacientifica.com/2015/08/18/fraude-cientifico-ii-la-difusa-frontera-de-la-deshonestidad/
|
Por otro lado y a propósito del tema de coyuntura en cuanto a la publicación de los resultados del proyecto de reproductibilidad en psicología, he decidido escribir sobre el tema (había escrito un post sobre este tema hace algunos meses Las réplicas podrían contrarrestar malas prácticas al interior de la psicología) (Yong, 2012). Dicho proyecto tiene como objeto proponer la revisión constante de la producción de conocimiento, así como el desarrollo de métodos (estadísticos, de procedimiento, incluso de revisión) que permitan contrastar y discutir en torno al aspecto ético de la investigación (Open Science Collaboration, 2015). Los detalles de la selección de los estudios y quienes los replicaron serán motivo de discusión constante, ya que, si bien no es posible abarcar todos los aspectos puntuales bajo los que se seleccionaron las características es un intento sistemático y con el mejor propósito de evaluar la reproductibilidad de los fenómenos (100 estudios realizados por 270 personas), partiendo de la duda sobre la aparición de los fenómenos. Al intentar resumir los datos se encuentra que no existe un solo indicador suficiente para determinar la reproductibilidad, sino que por el contrario la evaluación de aspectos como valor p, tamaño del efecto, evaluación subjetiva de la replicación y meta-análisis del tamaño del efecto fueron necesarios en el estudio. En términos generales, la media del tamaño del efecto entre los estudios originales (M = 0.403, SD = 0.188) y los replicados (M = 0.197, SD = 0.257) disminuyó. En cuanto al porcentaje de estudios que obtuvo resultados significativos (p < 0,05) fue de 97% en los originales, versus 36% en los replicados (imagen 3).
Estos resultados sugieren varias reflexiones; en primer lugar ¿qué significa no haber obtenido resultados significativos, será que es un problema en la medición o es el tipo de fenómeno a estudiar lo que podría variar?¿serán necesarias nuevas réplicas en aquellos estudios que obtuvieron resultados negativos debido a que hay una evidencia a favor y otra en contra?¿será que una nueva evidencia soluciona el inconveniente?, ¿cómo reaccionar ante los estudios que no tuvieron resultados significativos y tamaños del efecto menor?, esto ¿justifica la duda realmente?. Considero que, como señala el estudio, la estimulación de los resultados novedosos sobre las réplicas generan la percepción errónea de que los trabajos publicados son un reflejo de la realidad. Acá el punto es qué es lo que se considera novedoso, ya que en términos estrictos no encontrar los mismos resultados que previamente han sido publicados debería considerarse novedoso y estimular la generación de nuevas hipótesis que expliquen la falta de replicabilidad. Por lo tanto, tanto los resultados "positivos" como "negativos" son construcción de conocimiento y fuentes de autocorrección. Finalmente señalar que estos resultados se ajustan a los niveles de replicabilidad de la psicología con respecto a otras áreas de la ciencia (física o neurociencia por ejemplo, Button et al, 2013), en donde, los fenómenos no siempre pueden replicarse y no necesariamente significa falsos fenómenos (Ioannidis, 2005) pero si debería generar una mayor discusión académica entre las comunidades revisando teorías, métodos, muestras, poblaciones, resultados e interpretaciones.
A modo de conclusión, considero que los resultados muestran una realidad en psicología que es acorde a otras disciplinas, que promueven el trabajo en comunidad al interior de la disciplina y que deberían generar reflexiones epistemológicas, que no siempre son bienvenidas, los métodos y herramientas deben corresponderse a nivel global y no en pequeños grupos que no favorecen esta replicabilidad, La incorporación de técnicas y conocimiento de otras áreas, aumentará la posibilidad de replicación y no el aislamiento protegiendo intereses distintos a la producción de conocimiento genuino.
--César Acevedo-Triana--
Referencias
Acevedo-Triana, C, López-López, W., & Cardenas, F. P. (2014). Recomendaciones en el diseño, la ejecución y la publicación de investigaciones en Psicología y ciencias del comportamiento Revista Costarricense de Psicología, 33 (2), 155-177
Button, K., Ioannidis, J., Mokrysz, C., Nosek, B., Flint, J., Robinson, E., & Munafó, M. (2013). Power failure: why small sample size undermines the reliability of neuroscience Nature Reviews Neuroscience, 14 (6), 442-442 DOI: 10.1038/nrn3502
Fang, F. & Casadevall, A. (2011). Retracted Science and the Retraction Index Infection and Immunity, 79 (10), 3855-3859 DOI: 10.1128/IAI.05661-11
Fang, F., Steen, R., & Casadevall, A. (2012). Misconduct accounts for the majority of retracted scientific publications Proceedings of the National Academy of Sciences, 109 (42), 17028-17033 DOI: 10.1073/pnas.1212247109
Ioannidis, J. (2005). Why Most Published Research Findings Are False PLoS Medicine, 2 (8) DOI: 10.1371/journal.pmed.0020124
Larivière, V., Haustein, S., & Mongeon, P. (2015). The Oligopoly of Academic Publishers in the Digital Era PLOS ONE, 10 (6) DOI: 10.1371/journal.pone.0127502
Nieuwenhuis, S., Forstmann, B., & Wagenmakers, E. (2011). Erroneous analyses of interactions in neuroscience: a problem of significance Nature Neuroscience, 14 (9), 1105-1107 DOI: 10.1038/nn.2886
Open Science Collaboration (2015). Estimating the reproducibility of psychological science Science, 349 (6251) DOI: 10.1126/science.aac4716
Yong, E. (2012). Replication studies: Bad copy Nature, 485 (7398), 298-300 DOI: 10.1038/485298a