P-hacking: el enemigo silencioso de la investigación

Cuando un resultado significativo engaña

La significancia estadística brinda una sensación de bienestar a los científicos de datos. Esto se debe a que sugiere que los datos respaldan una relación, diferencia o efecto. Pero ¿qué ocurre si los datos también muestran una relación con otra conclusión que los investigadores solo descubrieron después de probar múltiples análisis? ¿Qué ocurre si el único resultado significativo publicado es el que los investigadores esperaban? En ese caso, la investigación puede llegar a una conclusión incompleta y, con frecuencia, incorrecta. Este es un ejemplo de una práctica peligrosa en la investigación conocida como p-hacking.

La exploración de los datos puede ser productiva y conducir a nuevas vías de investigación, pero el p-hacking oculta cómo se analizaron los datos. Las decisiones sobre el análisis suelen ocultarse de varias maneras, entre ellas, observando únicamente un subconjunto de las variables, observaciones o modelos disponibles y revisando los datos en múltiples niveles. Los autores de los artículos de investigación solo presentan el análisis «exitoso» y, por lo tanto, ocultan a los lectores el alcance de los análisis realizados y las numerosas otras formas en que podrían haber llegado a la misma conclusión.

Hallazgos que no se sostienen

La investigación se realiza para proporcionar conocimientos que otras personas puedan evaluar libremente y, si es posible, replicar. El p-hacking socava la capacidad de reproducir los resultados de una investigación. Si otro equipo intenta replicar la investigación y llega a un resultado diferente, puede descubrir que la investigación original fue producto del p-hacking.

Esto tiene diversas implicaciones que van más allá de publicar un artículo incorrecto. Otros investigadores pueden utilizar ese resultado como base, dedicar esfuerzos y fondos a validarlo y desarrollar otras hipótesis sobre una base inestable. Por lo tanto, los resultados poco fiables pueden extenderse por la literatura científica y generar incertidumbre sobre lo que realmente se sabe acerca de un tema determinado.

El costo de esconder las decisiones

El p-hacking también es perjudicial a nivel metodológico. Si se realizan muchos análisis alternativos y el resultado del estudio se presenta como si fuera el producto de un camino predeterminado, las pruebas pueden crear la impresión de un respaldo sólido, aunque podrían haberse probado muchas alternativas posibles. Un valor p bajo no demuestra la presencia del resultado de interés ni prueba que este tenga alguna relevancia práctica.

No basta con responder qué prueba estadística se realizó para comprender la metodología utilizada en un estudio y las decisiones ocultas tras ella. Es esencial saber qué alternativas se consideraron y qué criterios se utilizaron para decidir qué resultados mostrar. La información descrita anteriormente es necesaria para que un investigador evalúe lo que el estudio realmente muestra y lo que no puede afirmarse.

Transparencia para proteger la investigación

Prohibir la exploración o exigir una adhesión inflexible a un plan preregistrado para evitar el p-hacking es poco razonable. Lo importante es distinguir entre los análisis exploratorios y confirmatorios, divulgar las modificaciones e informar honestamente incluso de los resultados triviales.

La preregistración de las hipótesis y los métodos, la justificación del tamaño de la muestra y la explicación de los criterios para incluir o excluir datos son prácticas que aumentan la transparencia de la investigación. Estas prácticas no hacen que la investigación sea infalible, pero permiten que otros evalúen sus resultados y determinen cuánto confiar en ellos.

La credibilidad también está en juego

No solo se pone a prueba la reputación de un estudio individual cuando se presenta un resultado insuficiente como si fuera suficiente; también se pone a prueba la confianza en toda la investigación científica. Esto ocurre cuando se publican hallazgos que no pueden resistir una evaluación crítica ni ser replicados. Si esto sucede, los organismos que financian las investigaciones pueden comenzar a desconfiar de los hallazgos científicos y descartarlos.

No deberíamos utilizar las estadísticas de una manera que nos ayude a buscar un resultado convincente. Más bien, deberíamos utilizarlas para expresar nuestras conclusiones con cierto grado de incertidumbre y explicar el camino que seguimos hasta llegar al resultado. Esto nos lleva a la siguiente reflexión: ¿qué valor tiene un hallazgo significativo si, para obtenerlo, ocultamos el camino que seguimos?