Dos meta-análisis del growth mindset se contradicen. Por qué

Dos brújulas sobre un mapa desgastado, sus agujas apuntan a direcciones ligeramente distintas

En 2023, Psychological Bulletin publicó dos meta-análisis de intervenciones de growth mindset con juicios distintos. Uno concluyó estudios débiles y sesgo. El otro encontró ventajas modestas para grupos objetivo. La brecha vino de lo que cada uno contó y cómo. Para dirigentes, es una lección de lectura de evidencia.

El review escéptico es el meta-análisis de Brooke Macnamara y Alexander Burgoyne (fuente en inglés). El otro es el de Jeni Burnette y colegas (fuente en inglés), profundizado en intervenciones growth mindset: para quién funcionan, y por qué.

Qué encontraron los dos reviews

Macnamara y Burgoyne encontraron un efecto global pequeño que desaparecía tras corregir el sesgo. Concluyeron: «apparent effects of growth mindset interventions on academic achievement are likely attributable to inadequate study design, reporting flaws, and bias.» Los 63 estudios, 97672 alumnas y alumnos: d = 0.05. Estudios que mostraban un cambio de actitud: d = 0.04. Máxima calidad: d = 0.02. Autoras y autores con incentivo financiero publicaron efectos mayores; en el preprint, 56% de resultados positivos significativos frente a 21%.

Burnette y colegas encontraron efectos pequeños, muy dispersos, mayores con una entrega buena a los grupos esperados: d = 0.14 para rendimiento escolar, d = 0.32 para salud mental, 53 muestras independientes, intervalo de predicción para rendimiento −0.08 a 0.35. El objetivo era «clarifying for whom these interventions work best.» Las cifras de cabeza no están lejos. Ambas son pequeñas. La diferencia está en el significado.

Recuento, calidad y reanálisis

Macnamara y Burgoyne miraron solo a alumnas y alumnos y al rendimiento escolar. Burnette exigió aleatorización y varios outcomes. En su réplica, Macnamara y Burgoyne cuentan en Burnette 32 estudios de rendimiento, aproximadamente la mitad de sus propios 63 (fuente en inglés).

El corazón técnico: unos resumieron los resultados de cada estudio en un efecto. Otros conservaron resultados separados. Elizabeth Tipton y colegas argumentaron (fuente en inglés) que esa elección impulsa la brecha. Su ejemplo: un estudio del World Bank en Perú con efectos de 0.23 to 0.35 en escuelas de alta pobreza y aproximadamente cero en escuelas de baja pobreza. Promediado, el estudio parece no haber hecho nada. David Yeager y colegas informaron en 2019 en Nature que una breve intervención online mejoraba las notas entre alumnas y alumnos de menor rendimiento (fuente en inglés), diseñada exactamente para esa mitad.

Ningún estudio cumplió todos los criterios de calidad de Macnamara. El 70% de las muestras alcanzaba la mitad o menos. Tipton y colegas recalcularon: 122 tamaños de efecto, efecto medio 0.09, 0.15 en grupos de riesgo. Macnamara y Burgoyne replicaron que el reanálisis había cambiado, en 22 de 63 estudios, más que la separación de resultados. Ambas partes informan efectos medios pequeños. Macnamara cita a Burnette: «null and even negative (in the case of academic achievement) effects are to be expected in growth mindset interventions.»

Mi lectura

Este intercambio es una lección mejor de juicio que de mindset. Dos equipos cuidadosos miraron evidencia superpuesta y llegaron a conclusiones distintas y defendibles. Los dirigentes tienen este problema cada semana con sus propios datos.

En consejos europeos que veo, a menudo aterriza en la mesa una sola cifra media, y nadie pregunta qué personas se han movido. Exactamente ese es el conflicto en el centro. Antes de comprar un programa que vende la actitud como palanca, decida de antemano qué resultado cambiaría su opinión.

Esto se sienta en el cluster «Conocerse primero a uno mismo». La siguiente pieza es conciencia de uno mismo y del equipo: la conciencia es un hábito de medición. En el recorrido en 7 pasos, el paso dos —lucidez y conciencia— existe para sustituir conjeturas por evidencia. Ganar es un trabajo interior añade la disciplina de la preparación. Para equipos vuelvo a la actitud: qué diferencia marca: quien vende un taller de mindset como palanca de rendimiento para un equipo senior se adelanta a los datos.

Cuatro preguntas a análisis que se contradicen: ¿Qué se contó? ¿Se promediaron varios resultados o se separaron? ¿Cómo se juzgó la calidad, y se decidió eso antes de los datos? ¿Quién tiene un interés en cada respuesta? Las mismas preguntas funcionan en una evaluación interna. Si su equipo directivo necesita un modo más nítido de discutir evidencia, eso forma parte de mi trabajo en el coaching para equipos directivos, junto a seguridad psicológica en la mesa directiva.

Preguntas que me hacen

¿Qué concluyeron Macnamara y Burgoyne sobre las intervenciones de growth mindset?

Que los efectos aparentes sobre el rendimiento escolar se deben probablemente a un diseño de estudio débil, fallos de reporte y sesgo. En 63 estudios y 97672 alumnas y alumnos, el efecto global era pequeño, d = 0.05, y tras corregir un posible sesgo de publicación no era significativo.

¿Por qué los dos meta-análisis de 2023 llegaron a conclusiones distintas?

Sobre todo porque contaron estudios distintos y analizaron de otro modo. Macnamara y Burgoyne resumieron los resultados de cada estudio en un efecto y los midieron con criterios de calidad estrictos; Burnette y colegas conservaron resultados separados dentro de los estudios y preguntaron qué grupos se beneficiaban.

¿El reanálisis de Tipton y colegas decidió el debate?

No. Tipton y colegas informaron que, aplicadas las métodos de Burnette a los datos de Macnamara y Burgoyne, resulta un efecto significativo para grupos de riesgo. Macnamara y Burgoyne replicaron que el reanálisis también había cambiado tamaños de efecto, codificaciones de riesgo y agrupaciones de estudios en 22 de 63 estudios, a menudo sin explicación.

¿En qué coinciden ambas partes?

En que los efectos medios son pequeños y los resultados varían mucho de un estudio a otro. Ambos reviews codificaron la calidad de los estudios, en lugar de tomar la literatura al pie de la letra. Discuten si los efectos mayores en grupos objetivo son reales.

¿Qué debería extraer un consejo de una disputa de investigación de este tipo?

Preguntar qué se contó, cómo se combinaron varios resultados, cómo se juzgó la calidad y quién tiene un interés en el resultado. Las mismas cuatro preguntas valen para cualquier evaluación interna de un programa de desarrollo.

Fuentes

Fuente en lengua inglesa

  1. Do growth mindset interventions impact students' academic achievement? A systematic review and meta-analysis with recommendations for best practices — Psychological Bulletin (PubMed), 3 de noviembre de 2022
  2. A systematic review and meta-analysis of growth mindset interventions: For whom, how, and why might such interventions work? — Psychological Bulletin (PubMed), 13 de octubre de 2022
  3. Why meta-analyses of growth mindset and other interventions should follow best practices for examining heterogeneity: Commentary on Macnamara and Burgoyne (2023) and Burnette et al. (2023) — Psychological Bulletin (PubMed Central), marzo de 2023
  4. A spotlight on bias in the growth mindset intervention literature: A reply to commentaries that contextualize the discussion (Oyserman, 2023; Yan & Schuetze, 2023) and illustrate the conclusion (Tipton et al., 2023) — PsyArXiv (accepted manuscript for Psychological Bulletin), 23 de julio de 2023
  5. To What Extent and Under Which Circumstances Are Growth Mind-Sets Important to Academic Achievement? Two Meta-Analyses — Psychological Science (PubMed), 5 de marzo de 2018
  6. A national experiment reveals where a growth mindset improves achievement — Nature (PubMed), 7 de agosto de 2019
Retrato de Linus Murphy

Executive coach de alto nivel