tontoelquelolea

Las publicaciones científicas son ese estándar de excelencia al que aspirar en el conocimiento avalado, esa autoexigencia moral de conocer y con la que respaldar nuestro quehacer y sentirnos cómodos. Suena fácil. Nada más lejos.

Normalmente nos quedamos con el título, a lo sumo el Abstract, de vez en cuando leemos uno entero, rara vez nos detenemos a analizar los detalles. Cuando uno toma el grueso de los estudios sobre algo en concreto y ve que 7 estudios lo apoyan y 8 son desfavorables, se hace necesario una lectura crítica sobre cual tiene más peso, y aquí es donde más patinamos. Podemos analizar el tamaño de la muestra, si es homogénea o heterogénea, criterios de inclusión/exclusión,  la metodología si apuramos mucho, los datos estadísticos ya suelen ser un infierno… pero aunque supiéramos hacer esto de forma efectiva, nos falta criterio para saber si el estudio se sostiene. Hace falta conocer en profundidad el tema del estudio en cuestión para tener un criterio acertado sobre si está bien planteado, bien realizado y bien concluido.

Los investigadores especializados suelen comentar que les cuesta seguir todo lo que se publica de su campo específico y estar al día. La mayoría de nosotros no hacemos investigación, sino clínica, tratamos pacientes, así que, bueno, mejor coger el trabajo de otros para recopilar la información e ir directamente a las revisiones sistemáticas, metanálisis o directamente a las guías de práctica clínica para mayor fiabilidad y así simplificar la tarea. Suena fácil. Nada más lejos.

El método científico es lo mejor que tenemos, conocerlo y exponer el mal uso que hacemos de él no es instigar a la ciencia, en palabras de Pablo Kreimer “los papers no son la ciencia, y mucho menos la verdad, sino que se trata de ejercicios que practican los científicos para convencer a los otros de lo importante que son las cosas que hacen”

Ahora que empezamos a formarnos en metodología de investigación en el grado, que accedemos al doctorado y realizamos investigación empezamos a ser conscientes de la fisioterapia que tenemos.

Cualquiera de esas personas con esos conocimientos podría darnos muchos consejos al respecto, yo humildemente, aportaré mi granito de arena.

5 consejos a tener en cuenta para la lectura crítica de artículos:

 1. Estadísticamente significativo VS Clínicamente significativo. La falacia de P y relevancia clínica.

En primer lugar aclaremos términos:

Estadísticamente significativo: es la famosa P<0,05 siendo P la probabilidad de que la diferencia encontrada en la muestra se deba a un error aleatorio. El  0,05 implica una seguridad del 95% de que la asociación entre hipótesis y resultados no se deba al azar. La significación estadística varía con el tamaño de muestra. La paradoja del tamaño muestral nos dice que cualquier diferencia puede ser estadísticamente significativa si se dispone del suficiente número de pacientes, convirtiendo lo casual en causal.

Clínicamente significativo: Es la diferencia más pequeña entre dos tratamientos determinante para cambiar un tratamiento por otro. La relevancia clínica es más variable: depende del coste, del contexto clínico, de la gravedad del problema y demás elementos a considerar. Por ejemplo para considerar el mejor tratamiento para la plagiocefalia: el casco vs osteopatía craneal, habrá que tener en cuenta los resultados junto al coste y el tiempo empleado.

Algo estadísticamente significativo puede ser clínicamente insignificante o irrelevante. En la sinopsis de un libro que tengo en la bandeja de pendientes, titulado ¿Qué significa estadísticamente significativo? La falacia del criterio del 5% en la investigación científica puede leerse:

“¿Cómo es posible que durante décadas la “regla del 5%” haya ofuscado la mente de los investigadores y amenace con seguir distorsionando por muchos años el proceso de la Inferencia Estadística?. ¿Por qué los tests estadísticos, creados para elaborar conclusiones más razonables y justificadas, son muchas veces mal usados, llevando a conclusiones arbitrarias o erróneas?. Este libro pretende aclarar algunos errores fundamentales y colaborar a evitarlos en el futuro. Ello requiere desmitificar el valor P = 0.05, mostrando que “P < 5%” no implica “resultados válidos” y “P > 5%” no implica “resultados no válidos”. Va dirigido a los investigadores de Ciencias Biomédicas interesados en entender claramente lo que indica el valor P de los tests estadísticos y cómo se usa para elaborar las conclusiones de sus trabajos de investigación. También va dirigido a los estudiantes que deseen aclarar los conceptos implicados en los tests estadísticos que estudian en sus licenciaturas y cursos de doctorado, así como a profesionales que necesiten aclarar estas ideas aplicadas a su campo específico de investigación y entender claramente los comentarios estadísticos de las publicaciones de las revistas científicas. No es un manual en el que se expliquen los distintos métodos de Análisis Estadístico, sino un texto destinado a aclarar, sin utilizar herramienta matemática, los conceptos básicos de la Inferencia comunes a todos los métodos estadísticos. Se explica intuitivamente y apoyándose en numerosos ejemplos de investigación. El libro incluye cuestionarios de autoevaluación para que el lector pueda valorar su nivel de conocimientos tras la lectura de cada uno de los capítulos”.

Ese desamor petulante entre clínica e investigación es el que enfrenta ambas posturas cuando el clínico sostiene que el investigador puro no se acerca a las necesidades del paciente.

Y hablando de cosas clínicamente irrelevantes, cada año se entregan los premios Ig Nobel, (“ignoble” = innoble)  una parodia de los premios Nobel que celebra la revista satírica The Annals of Improbable Research  y que dirige un grupo de investigadores de Harvard.

Un certamen que se celebra cada año para dilucidar la investigación científica más absurda y viendo los nominados verdaderamente se lo ponen difícil a los jueces. Allí podemos ver estudios que demuestran cosas como que las vacas que tienen nombre dan más leche que las que carecen de él, o que escuchar música ambiental en el ascensor estimula la producción de inmunoglobulina A y previene, por tanto, el resfriado, o estudios que  miden la variación de las ondas cerebrales de las personas según los distintos sabores de chicle que mastiquen.

2. Calidad vs cantidad. La palabra de los expertos y el principio de autoridad

Hay dos datos que buscamos en un paper, ¿Quién lo ha publicado? y ¿Dónde se ha publicado? ¿Debería darnos igual esos datos? Pues por una parte Si y por otra NO.

En principio el índice de impacto de la revista nos va a poner en alerta de la calidad del artículo, puesto que los criterios de publicación en las revistas de impacto, en principio son más exigentes. Sin embargo, la historia nos dice que a las revistas de impacto también se la cuelan y han tenido que rectificar en el pasado. Además el factor de impacto está seriamente cuestionado como criterio de evaluación de la calidad de las publicaciones científicas.

Y en cuanto al autor, es necesario meterse en el pellejo del investigador y conocer su idiosincrasia. A veces el fin no es descubrir o investigar, sino publicar, a si que se investiga aquello que se pueda publicar y no lo que pueda ser interesante conocer. Uno de los lemas en investigación es “publica o perece” (“publish or perish”). ¿Es fiable el nombre del autor por lo que haya publicado en el pasado?

Todos tenemos autores preferidos de reconocida reputación, de esos que han publicado mucho y lo han hecho muy bien y de forma constante durante mucho tiempo. Aquí hay que decir que hay carreras sorprendentemente más meteóricas y además autóctonas,  pero apelando a la prudencia, cabe preguntarse, ¿es fiable la cantidad de publicaciones? En realidad no.

El índice h (en honor al apellido del físico que lo inventó: Hirsh) de un investigador es el número coincidente más alto de papers publicados y número de veces que son citados esos papers, es decir, si un investigador ha publicado 100 papers pero solo ha sido referenciado 12 veces, su índice h es 12. Si ha sido referenciado 100 veces y ha publicado 12 papers, su índice h vuelve a ser 12, ¿se entiende? Básicamente es el equilibrio entre calidad y cantidad, ese parámetro que viene a recordarnos que publicar mucho no es sinónimo de ser buen investigador ni de ser fiable para aceptar la revista publicarlo.

Manuel Lozano en su libro El fin de la ciencia nos advierte que cuando un paper se publica con errores y con el tiempo se corrigen, aparecerán papers citando la corrección y eso subirá el índice h del autor, premiando esos fallos cometidos.

Por otro lado es importante saber si el terapeuta que ha realiza el procedimiento lo conocía en profundidad y está bien formado en ello. Una fuente que considero fiable me contó hace poco que el propio Robin McKenzie desacreditó un estudio que se presentaba en un Congreso que daba resultados positivos con el abordaje McKenzie porque de las cuatro personas que elaboraron el estudio dos no tenían formación, uno había hecho solo el nivel A y otro había llegado hasta el B.

3. Placebo

Hay un tipo de investigación cuyo fin es cuantificar la eficacia de los tratamientos, pero en ese camino, como sabemos, existen ciertas interferencias:  efecto placebo, historia natural, remisión espontánea, etc.

Eso es lo que intentan los estudios controlados aleatorizados (ECA) o estudios con grupo control distribuidos de forma aleatoria, normalmente divididos en dos grupos, uno que recibe el tratamiento y otro el grupo control que no recibe ningún tratamiento. Estos lo que miden es la eficacia de un tratamiento respecto a no hacer nada, pero no dice nada del efecto placebo y por tanto no mide la verdadera eficacia del tratamiento.

eca y placebo

Otro tipo de ECA, comparan el grupo de tratamiento con otro grupo que recibe un falso tratamiento, llamado grupo placebo. Estos lo que miden es la verdadera eficacia de un tratamiento, pero en contra de lo que se pueda pensar, no mide tampoco el efecto placebo, tan solo informa sobre si es mejor que un placebo.

Existe un error común que es atribuir los resultados del grupo placebo con el efecto placebo en los estudios. 

Como nos advierte Dylan Evans en su libro Placebo,  para poder dimensionar el efecto placebo hacen falta 3 grupos de estudio: uno que reciba el tratamiento, otro que reciba el placebo o falso tratamiento y otro grupo sin tratamiento que tiene en cuenta los niveles de curación espontánea, fluctuaciones de la enfermedad, en definitiva, historia natural y regresión a la media. Las personas que tomaron el placebo tal vez habrían mejorado igualmente si no lo hubiesen tomado.

La diferencia de los resultados obtenidos entre el grupo de tratamiento y de placebo aporta información de la eficacia real de ese tratamiento.

La diferencia entre el grupo placebo y el grupo sin tratamiento aporta información del nivel de efecto placebo de ese tratamiento.

eca y placebo 2

No existen muchos estudios que hagan esto. Dimensionar el efecto placebo de cada tratamiento es importante porque distintos tratamientos tienen distintos niveles de efecto placebo. Sabemos que el color, la forma o el tamaño de una pastilla influye en la eficacia del placebo. Incluso los placebos pueden superar los beneficios de otros tratamientos convencionales aceptados como el caso de la falsa acupuntura para el dolor lumbar. Las expectativas y creencias pueden ser más fuertes o más débiles en función del contexto. Por tanto, es relevante conocer el nivel de placebo concreto.

Y nuestro contexto, el de los fisioterapeutas, sin duda es especialmente propicio al efecto placebo, especialmente en terapia manual, donde precisamente se hace difícil, por no decir imposible, encontrar un procedimiento placebo convincente. Así que nos resignamos a conocer simplemente si lo que hacemos es mejor que no hacer nada, lo que nos lleva a insufribles, interminables y cíclicas discusiones filosóficas sobre los marcos teóricos de acción de la terapia manual. Como decía Eva Sierra hace unos días en las II Jornadas 2.0 de Marid, no existe la perfección en los estudios, debemos aceptarlos con sus limitaciones.

4. Premisas de las que parte (pseudociencias, plausibilidad y absurdeces)

Partir de premisas absurdas obviamente lleva a conclusiones quijotescas a pesar que el desarrollo y la metodología sean impecables. El libro Demoliendo Papers pone en evidencia este tipo de circunstancias:

“Los principios que determinan de la caída del gato de pie prevalecen sobre la ley de Murphy que determina la caída de la tostada con la mermelada hacia abajo.

En este trabajo hemos comprobado empíricamente que la conservación del momento angular, que determina la caída de los gatos de pie, representa un principio más poderoso que la Ley de Murphy, que determina la caída de la tostada con la mermelada hacia abajo. Para esto fijamos tostadas de diferentes pesos y tamaños a la espalda de distintos tipos de gatos, atándolas o pegándolas, y tras untar entre unas a tres cucharadas de mermelada a la cara exterior de las tostadas se dejó caer al sistema de diferentes alturas que iban desde 1,3 a 3,5 m. En el 99,16€ de las 476 experiencias que se realizaron los gatos cayeron de pie sin ningún tipo de dificultad”

… es irrefutable. Me pregunto porqué para todo el mundo esto es tan evidentemente innecesario de dilucidar mediante investigación y las pseudociencias no.

Las terapias basadas en teorías vitalistas de energías jamás vistas ni medidas tiene más que ver con creencias que con ciencias. La energía no es un concepto abstracto como el amor por tanto ese es un argumento estúpido, y además las emociones y sentimientos se pueden ver en registros cerebrales con RMf

- Bueno, pero puede que funcionen por unos mecanismos distintos a los descritos…

- Si, se llama placebo.

- ¡Qué osadía!. Puede que haya algo más

- Ya, y puede que las tostadas respondan a unas leyes distintas a la de Murphy, se llama física .

Nunca he entendido a esas personas que creen en unas sí y en otras no, siendo la propuesta tan similar. Porque esto de las energías es un argumento más que trillado:

El Qi y sus meridianos energéticos dentro de la La Medicina Tradicional China,

El Prana y los Dhosas (Vatta, Pitta y Kapha) del Ayurveda,

La terapia craneosacra y su movimiento respiratorio primario,

El campo de energía vital del Toque Terapéutico,

La quiropraxia y su inteligencia innata,

El Reiki y su energía vital universal,

La cristaloterapia y sus energías cósmicas…

No pretendo racionalizar lo irracional. Sería como pretender entender porque los que creen en Dios no creen en Buda o en Alá. Son creencias.

La energía, para mí, es un concepto utilizado en física, que apareció mucho tiempo después que esas bioenergías misteriosas que han encajado ad hoc  las milenarias pseudociencias. Una explicación acomodaticia que compara  la energía eléctrica, térmica o nuclear con el Qi o los chacras.

5. Interpretaciones estadísticas, intuiciones y errores de planteamiento.

Y dado que algo estadísticamente significativo puede ser clínicamente irrelevante puede que lo intuitivo pueda guiarnos. Nada más lejos.

Las matemáticas no fallan, los planteamientos si. Un titular rezaba: “Un 47,3% de los conductores muertos en 2012 iban bebidos o drogados”. Alguien lo suficientemente despierto añadió jocosamente: “ lo que significa que el  52,7% iban sobrios, por tanto es más seguro ir drogado”. Esto, aunque aparenta ser cierto, todos somos capaces de ver un razonamiento especioso.

Ese 47,3% que iban bebidos o drogados es sobre el total de accidentados, pero no dice nada sobre el porcentaje de conductores sobrios y ebrios. Necesitaríamos conocer el estado de cada conductor y qué porcentaje de esos ebrios sufren accidentes en comparación con el porcentaje de conductores sobrios que sufren accidentes. Este caso es suficientemente  intuitivo aun no haciendo esta innecesaria reflexión, pero valga el ejemplo para lo que quiero decir.

A veces el problema no está en los datos, sino en el planteamiento de los datos. Seguramente todos hayan escuchado alguna vez el siguiente problema:

3 amigos entran a un bar a tomar algo.  Al terminar el camarero les trae la cuenta, son 25€. Cada amigo pone 10€ y el camarero se lleva los 30€ y les devuelve 5€ en monedas. Uno de los amigos reparte una moneda a cada uno y le dejan dos de propina al camarero. Entonces otro de los amigos dice: Espera!! Si cada uno a puesto 10€ y cogemos 1€, hemos pagado 9€ cada uno ¿no? 3×9 = 27 + 2 de propina = 29€ ¿Dónde está el euro que falta?

Bien, este clásico enigma tontaco, el cual no explicaré por si alguien no lo conocía tiene el mismo problema. El planteamiento es erróneo y por tanto se llegan a conclusiones equivocadas con las sempitérnamente exactas matemáticas.

Toda la estadística me resulta una ciencia compleja, pero la teoría de probabilidad es definitivamente poco intuitiva. Nos encantan las coincidencias y ese misticismo que las rodean, las buscamos y le atribuimos una relevancia misteriosa. La paradoja del cumpleaños nos enseña que la probabilidad de que en una clase con 23 personas 2 de ellas cumplan años el mismo día es del 50%. Una cifra muy superior a lo que la gente opina de forma intuitiva. Si hubiese 56 personas en la clase la probabilidad sería del 99%.

Si después de todo esto a alguien le quedan ganas de leer un paper ya saben lo que siente Serafín Zubiri.

piscina