La evidencia empírica es una de las características que diferencia el conocimiento científico de otros tipos de conocimiento (Goldenberg, 2006; Kuhn, 1992). Esta evidencia empírica tiene la propiedad de poder ser confrontada con las teorías, leyes, postulados y casi que con cualquier cuerpo de conocimientos que dé cuenta de algún fenómeno, y aceptarlo o refutarlo, parcial o totalmente (Kuhn, 1992; Suppe, 1979). Esta práctica rutinaria y necesaria en la generación del conocimiento de tipo científico puede prevenir a la ciencia de generar conocimiento denominado “pseudocientífico” que es considerado como un tipo de conocimiento que utiliza lenguaje científico pero que no cumple con los principios de verificación y refutación que si puede tener la ciencia (Bunge, 1991; 2011). Poder mantener una unificidad en el conocimiento científico viene entonces determinado por la rigurosidad en los métodos para la producción del conocimiento y en la contrastación de hipótesis o teorías.
En el caso de los fenómenos psicológicos, entendiendo por estos, un tipo de fenómenos físicos que son medidos o registrados por medio de comportamientos, es necesario señalar que si bien la disciplina psicológica ha sido tildada como científica o no científica, como ciencia natural, social, como una o más ciencias (para una discusión más amplia sobre cada posición ver Caparros, 1991; Giorgi, 1992; Kantor, 1990; Koch, 1976; Lewis, 1879 citado en Giorgi, 1992), existe un acuerdo más o menos claro en los aspectos metodológicos necesarios para que este tipo de conocimiento pueda ser considerado sistemático, confiable y válido (para una discusión de los métodos cuantitativos y cualitativos consultar Westerman, 2006). Estos acuerdos hacen referencia a estandarizar los instrumentos en la medición de los fenómenos psicológicos con el fin de realizar trabajos que verifiquen o rechacen los hallazgos por diferentes investigadores (Clark-Carter, 2002; Hernández, Fernández & Baptista, 2010). Esta característica permite hacer que los estudios que sustentan teorías puedan y, de alguna forma, deban ser replicados. Según el psicólogo matemático Eric-Jan Wagenmakers de la Universidad de Amsterdam (citado por Yong, 2012) una ventaja que tiene la realización de trabajos que han sido publicados por otros investigadores (i.e., réplicas) es que permiten identificar problemas en los reportes científicos. Pero la lógica de las publicaciones científicas se enfoca, tradicional e históricamente, en reportar los hallazgos positivos de los experimentos (Yong, 2012).
Esta práctica habitual y mal fundamentada, probablemente por la dinámica de las publicaciones o por presión de las comunidades académicas, no permite identificar errores en los procedimientos experimentales. Esta práctica metodológica y, en última instancia, teórica es el resultado de la particularidad que tienen los fenómenos psicológicos y los instrumentos que se utilizan para su medición (Bunge, 2007). En este sentido, existen trabajos que muestran que utilizar métodos estadísticos y cuantitativos en el análisis no asegura lo correcto en el procedimiento. Por el contrario, la mala utilización de los métodos estadísticos puede tener errores incluso en artículos que ya han sido publicados (Editorial, 2005; Nieuwenhuis, Forstmann & Wagenmakers, 2011). En cuanto a los fenómenos psicológicos el riesgo de estos errores es alto. Según Chambers (citado en Yong, 2012) una razón por la cual el fenómeno de publicación de resultados positivos, incluso “contraintuitivos” en psicología es por la naturaleza del área ya que las revistas de alto impacto únicamente publican conocimiento “de alto impacto”. El papel que con respecto a este ítem cumple la comunidad académica es bastante elevado. Según varios estudios reportados en Yong (2012) el porcentaje de resultados de investigación denominados positivos en psicología no ha disminuido durante décadas, por el contrario se encuentra cercano al 100%, a pesar que la cantidad de revistas de psicología se ha multiplicado en los últimos 50 años (Ver imagen 1). El intento por poner a la psicología como una disciplina científica que muestra resultados insólitos o poco plausibles han llevado al límite a investigadores y autores de artículos, hasta el punto de falsear resultados (Vogel, 2011) o artículos que no pueden ser replicados por falsos positivos (Simmons, Nelson & Simonsohn, 2011), por poner un ejemplo, el caso de los últimos meses de la hipnosis (Elkins et al., 2008). Al parecer, los procesos de revisión de pares que se supone mejoran la calidad del proceso editorial (Gutierrez, 2012; Martinez, 2012) parecen no ser efectivos a la hora de contrarrestar la práctica de publicar a toda costa por parte de los autores.
Imagen 1. Porcentaje de resultados positivos publicados en diferentes áreas
Fuente: tomado de Yong, (2012)
En los últimos años se han incrementado la cantidad de artículos que intentan evaluar, por ejemplo, los procesos estadísticos que soportan las conclusiones de diferentes estudios (Nieuwenhuis, Forstmann & Wagenmakers, 2011) encontrando errores en la derivación del procedimiento o soportando las conclusiones en discutibles procedimientos. Aunque pueden ayudar a los revisores a estar atentos a estos procedimientos no se puede hacer nada cuando los resultados no son reales o son malos procedimientos dentro de la recolección de datos, que intenta nuevamente dar cuenta de nuevas publicaciones.
Una opción para contrarrestar la publicación excesiva de resultados positivos, con pocos controles formales, es publicar réplicas de los estudios originales. Este proceso podría permitir verificar no solamente procesos sino conclusiones de un estudio. Aunque, como lo señala Yong (2012) no es posible replicar conceptos debido a que hacen parte de la autonomía de los investigadores, si es posible encontrar fallas en el diseño, estadísticos o variables no consideradas desde el inicio. Ahora bien, la publicación de estas réplicas debería, en el mejor de los casos, ser dadas en las mismas revistas de los estudios originales para que quienes consultan la literatura tengan fácil acceso a los resultados iniciales y replicados. Es posible, que la idea resulte poco atractiva para los editores pero quizás disminuya, a largo plazo, la cantidad de estudios con resultados positivos poco fiables. Hal Pasheler de la Universidad de California (citado en Yong, 2012) ha creado un sitio web denominado
PsychFileDrawer que intenta visibilizar réplicas de estudios que no son aceptados en revistas indexadas. Aunque la opción es bastante loable poco o nada puede realizarse con la cantidad de artículos que deberían ser replicados. Ahora bien, publicar artículo inicial y réplica en una misma revista no soluciona que los que consultan un artículo puedan encontrar también los resultados de la réplica. Con respecto a este punto, se han generado en los PDF´s finales marcas (denominadas
CrossMark) que permiten enlazar a artículos de réplica o a posibles anuncios de corrección o de retractación por parte de autores o editores (VanNoorden, 2011). Este punto de las correcciones o retractaciones también ha ido aumentando generando nuevas prácticas en autores o revisores que muestran también lo difícil de controlar el contenido de las publicaciones (Ver imagen 2).
Imagen 2. Retractaciones en publicaciones científicas
Fuente: tomado de VanNoorden, (2011)
Finalmente, no es suficiente con la realización de las réplicas para poder contrarrestar los resultados de una investigación. Una salida a este respecto es la que se deriva de la publicación de los datos en bruto para permitir que otros autores puedan contrastar o realizar nuevos análisis. Buenos ejemplos de estas prácticas lo constituyen el
GenBank de datos públicos y el
Allen Brain Atlas como entidad privada. Quizás en psicología las publicaciones deban publicar no solamente el artículo final con lo que el autor quiere mostrar, sino también los datos que permitirán no solamente contrastar los resultados e hipótesis sino también permitirá desarrollar estudios de meta-análisis más fácilmente. Aunque puede parecer difícil esta práctica un punto importante lo constituye el debate de acceso abierto (
open access) a los artículos derivados de investigaciones financiadas con dineros públicos lo que podría sugerir que también los datos deberían ser de acceso abierto, pero esto será tema de otra reflexión.
--
César Acevedo-Triana
Referencias
Bunge, M. (1991). A skeptic's beliefs and disbeliefs.
New Ideas in Psychology, 9 (2), 131-149.
Bunge, M. (2007). Blushing and the philosophy of mind.
Journal of Physiology-Paris, 101(4-6), 247-256. doi:10.1016/j.jphysparis.2007.11.008
Bunge, M. (2011). Knowledge: Genuine and Bogus.
Science & Education, 20 (5-6), 411-438. doi: 10.1007/s11191-009-9225-3
Caparros, A (1991). “Crisis de la psicología: ¿singular o plural? Aproximación a algo más que un concepto historiográfico.
Anuario de Psicología Universidad de Barcelona, 51, 5-20
Clark-Carter, D. (2002). I
nvestigación cuantitativa en psicología. Del diseño experimental al reporte de investigación. México: Oxford University Press
Editorial (2005). Running the numbers,
Nature Neuroscience, 8(2), 123-123. doi: 10.1038/nn0205-123
Elkins, G., Marcus, J., Stearns, V., Perfect, M., Rajab, H., Ruud, C. et al. (2008). Randomized Trial of a hypnosis Intervention for Treatment of Hot Flashes Among Breast Cancer Survivors.
Journal of Clinical Oncology, 26 (31), 5022-5026.
Giorgi, A. (1992). “Toward the articulation of Psychology as a Coherent Discipline”. En Koch, S., & Leary, D. (Eds.),
A Century of Psychology as Science. Washintong: American Psychological Association
Goldeberg, M. (2006). On evidence and evidence-based medicine: Lessons from the philosophy of science.
Social Science & Medicine, 62 (11), 2621-2632. doi:10.1016/j.socscimed.2011.10.001
Gutierrez, G. (2012). Editorial. Revistas de Psicología en América Latina: Dificultades y Oportunidades.
Revista Colombiana de Psicología, 21(1), 7-12.
Hernandez, R. S., Fernández, C. C. & Baptista, P. L. (2010).
Metodología de la investigación (5ª edición). México: McGraw Hill
Kantor, J.R. (1990).
La evolución de la psicología científica. México: Trillas.
Koch, S. (1976) Language communities, search cells and the psychological studies. In J. F. Cole & W. J. Arnold (Eds.),
Nebraska Symposium on Motivation, 1975: Conceptual foundations of Psychology. Lincoln: University of Nebraska
Kuhn, T. (1992).
La estructura de las revoluciones científicas. México: Fondo de cultura económica.
Martinez, G. (2012). La Revisión por Pares y la Selección de Artículos para Publicación.
Revista Colombiana de Psicología, 21(1), 27-35.
Nieuwenhuis, S., Forstmann, B. U. & Wagenmakers, E-J. (2011). Erroneous analyses of interactions in neuroscience: a problem of significance.
Nature Neuroscience, 14(9), 1105-1107.
Simmons, J. P., Nelson, L. D. & Simonsohn, U. (2011). False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant.
Psychological Science, 1-8. Doi: 10.1177/0956797611417632
Suppe, F. (1979).
La estructura de las teorías científicas. Madrid: Ed. Nacional
VanNoorden, R. (2011). The trouble with retractions.
Nature, 478, 26-28.
Vogel, G. (2011). Report: Dutch 'Lord of the Data' Forged Dozens of Studies (UPDATE).
Science. Recuperado de: http://news.sciencemag.org/scienceinsider/2011/10/report-dutch-lord-of-the-data-fo.html
Westerman, M. A. (2006). Quantitative research as an interpretive enterprise: The mostly unacknowledged role of interpretation in research efforts and suggestions for explicitly interpretive quantitative investigations.
New Ideas in Psychology, 24, 189-211. doi:10.1016/j.newideapsych.2006.09.004
Yong, E. (2012). Replication studies: Bad copy. Nature, 485 (7398), 298-300. doi:10.1038/485298a
