两篇growth mindset元分析结论相反。原因在此

旧地图上两只罗盘,指针指向略有不同的方向

2023年,《Psychological Bulletin》发表了两篇关于growth mindset干预的元分析,裁决不同。一篇认为表面效应很可能来自弱研究和偏倚。另一篇发现对目标群体有适度益处。差距来自各自计了什么、怎么计。对领导者来说,这是在行动之前如何阅读任何证据的一课。

持怀疑的综述是Brooke Macnamara与Alexander Burgoyne对growth mindset干预与学生学业成绩的元分析。我读了摘要和作者在PsyArXiv上的完整预印本。另一篇是Jeni Burnette等人的综述,我在growth mindset干预对谁起作用、为何起作用中详细处理。全文在付费墙后,因此这里的数字来自摘要,以及交锋中其他人如何描述它。

Macnamara与Burgoyne发现了什么?

他们发现对学业成绩的总体效应很小,校正可能的发表偏倚后消失;在最高质量研究中没有显著效应。他们的结论是:「apparent effects of growth mindset interventions on academic achievement are likely attributable to inadequate study design, reporting flaws, and bias.」(growth mindset干预对学业成绩的表面效应,很可能归因于研究设计不足、报告缺陷和偏倚。)

他们的问题是双重的。growth mindset干预是否普遍提高学生成绩?若是,改变的心态是原因,还是效应由研究如何设计、报告和发表所产生?

他们做了三次元分析,每一次过滤更严。

分析 研究 学生 效应(d)
符合纳入标准的全部研究 63 97,672 0.05(95% CI 0.02至0.09),校正偏倚后不显著
显示干预改变了心态的研究 13 18,355 0.04(95% CI −0.01至0.10)
最高质量证据 6 13,571 0.02(95% CI −0.06至0.10)

他们还在摘要中报告:「authors with a financial incentive to report positive findings published significantly larger effects than authors without this incentive.」(有财务激励去报告阳性发现的作者,发表的效应显著大于没有这种激励的作者。)在预印本中,至少有一位此类作者的文章,报告显著阳性结果的可能性是两倍半以上:56%对21%。

他们的综述建立在更早一篇之上。2018年,Victoria Sisk——Burgoyne与Macnamara同为共同作者——对43项干预研究、57,155人做了元分析,发现总体效应很弱,对社会经济地位低或学业高风险学生的益处有一些支持。

Burnette等人反过来发现了什么?

他们发现效应小、变异很大;当干预被好好交付给预期会受益的群体时,效应更大。对这些群体,摘要报告学业成绩 d = 0.14,心理健康 d = 0.32。

他们的综述覆盖2002年至2020年底的随机试验,跨越53个独立样本。它看学业成绩、心理健康和社会功能。它报告成绩的95%预测区间为−0.08至0.35:下一次干预可预期的效应范围。

他们框定任务的方式也不同。据Tipton等人引用,Burnette团队主张「heterogeneity in effects is expected for growth mindset interventions」(growth mindset干预的效应异质性是预期之中的),此类领域的元分析「should not try to deliver」(不应试图给出)「simple verdict」(简单裁决)。他们声明的目标是「clarifying for whom these interventions work best」(澄清这些干预对谁最有效)。Macnamara与Burgoyne则首先问干预是否总体上有效。

并排放在一起,开篇数字并不天差地别。两边都小。差别在于每个团队认为这些数字意味着什么。

每篇综述计入了哪些研究?

不同的研究,而且是设计使然。Macnamara与Burgoyne只看学生和学业成绩,并接受任何对照组。Burnette等人要求随机化,并看若干结局,不只是分数。

Macnamara与Burgoyne的预印本列出规则。一项研究要合格:growth mindset处理必须直接给学生、且不与其他干预捆绑;必须有对照组,无论主动、被动或被教固定心态;必须报告成绩、考试或标准化测验结果。他们排除只表扬努力、却不教能力可以改变的研究。检索截至2019年8月7日,找到63项研究、79个独立样本。

Burnette等人覆盖至2020年底发表的文章,但要求随机设计,并允许成绩以外的结局。

在后来的回复中,Macnamara与Burgoyne说两套数据是主要差异。按他们的计数,Burnette等人纳入32项学业成绩研究,大约是他们自己63项的一半。

每篇综述如何处理一项研究里的多个结果?

这是分歧的技术核心。Macnamara与Burgoyne把每项研究内部的结果合成一个效应。Burnette等人保留分开的结果,并对研究内部群体间的变异建模。

许多心态研究报告若干结果:挣扎学生与优秀学生、不同学校、不同测验。合成给出每项研究一个整齐数字。分开保留则让您问哪一群人动了。

Elizabeth Tipton、Christopher Bryan、Jared Murray、Mark McDaniel、Barbara Schneider与David Yeager在同一期的评论中主张,这一选择驱动了大部分差距。他们指出,Macnamara与Burgoyne使用的软件按每项研究一个效应处理,而Burnette等人使用多层模型,保留每一个相关结果。

他们最锋利的例子是世界银行在秘鲁的大型试验。按他们的叙述,它在高贫困学校报告0.23至0.35个标准差的效应,在低贫困学校大致为零。平均成一个数字,这项研究看起来什么也没做。

美国全国研究显示同一问题。David Yeager等人2019年在 Nature 报告,一次简短的在线干预改善了成绩较低学生的分数。Tipton等人指出,它被设计成只在样本那一半里寻找效应。

每篇综述如何评判质量与偏倚?

Macnamara与Burgoyne按预先登记的最佳实践清单给每项研究编码,并使用标准发表偏倚检验。Burnette等人把质量当作连续控制,并使用另一类偏倚模型。每一方都批评对方的选择。

Macnamara与Burgoyne的标准包括:主动对照组、条件之间无其他差异、事先计划的效力分析、对学生个体随机分配、盲法、前后检查心态确实改变、预注册、完整报告、没有有财务利益的作者。没有研究全部满足。在预印本中,70%的样本满足一半或更少。最高质量分析建立在六项研究上:它们显示心态改变,并至少满足60%的标准。

Tipton等人反对其中若干定义。他们主张,要求个体随机分配会惩罚学校层面试验,而这在教育中常见且合适。他们也反对财务利益编码把作者在研究发表后赚到的收入算进去。

在偏倚上,Tipton等人主张,Macnamara与Burgoyne使用的漏斗类检验,在效应确实变异时,可能标出并不存在的发表偏倚。他们报告Burnette等人使用选择模型,未发现发表偏倚的证据。

Macnamara与Burgoyne回答:他们的假设、调节变量和方法是预注册的,Burnette等人的不是。他们引用Burnette等人:「we did not preregister the search protocol or decisions outlined below.」(我们没有预先登记下文列出的检索方案或决定。)

已发表的再分析与回复增加了什么?

它们把分歧写得更利,而不是了结它。Tipton等人用Burnette的方法重跑Macnamara与Burgoyne的数据,发现对高风险群体有效应。Macnamara与Burgoyne回复:再分析改的不只是方法,还有数据。

Tipton等人使用全部122个效应量,而不是每项研究一个。他们报告平均效应0.09个标准差,高风险群体0.15,预测区间−0.22至0.40,接近Burnette。他们说其中几人参与了美国全国研究,并公布了数据与代码。

Macnamara与Burgoyne的回复——我读的是PsyArXiv上的已接受稿——说Tipton等人在63项研究中的22项里,改动了分开结果以外的信息。他们列出被改的效应量、被改的风险编码、被重新分组的研究,往往没有解释。

他们也质疑焦点群体做法。他们写道,在Burnette的综述中,焦点群体是原研究作者自己标出的,而这些群体在研究之间混入了非常不同的特征。那样选出的亚组,可以是事后挑选。

回复还提出利害。它指出Tipton和若干共同作者参与一项在课堂实施growth mindset干预的倡议,Yeager在演讲经纪处登记。

双方同意什么?

比标题所暗示的更多。两边都报告平均效应小、研究之间变异大,两边都对研究质量做了编码,而不是照单全收文献。他们争论的是:针对目标群体的较大效应是真实模式,还是那些群体被选出方式的产物。

Macnamara与Burgoyne的回复引用Burnette等人承认:「null and even negative (in the case of academic achievement) effects are to be expected in growth mindset interventions.」(在growth mindset干预中,零效应甚至负面效应——就学业成绩而言——是可以预期的。)交锋中没有人主张存在大而普遍的效应。

Linus Murphy怎么看?

我的判断是:这场交锋作为判断力课,好过作为心态课。两个仔细的团队看了重叠的证据,得出不同结论,因为他们对计什么、怎么计做了不同但可以辩护的选择。领导者每周都用自己的数据面对这个问题。

它落在高管辅导方法论的「先认识自己」一组,因为风险在内部:我们透过已经相信的东西读证据。这场辩论里每一方都恰好用这一点指责对方,每一方都有值得听的点。

30篇系列里最接近的部分是自我与团队觉察,我在那里主张觉察是测量习惯,不是特质。元分析说明了原因。您如何测量,决定您找到什么。在我的七步辅导流程里,第二步「觉察」存在,是为了用证据替换猜测;而这只有在您对证据如何收集保持诚实时才成立。

取胜是内心的功课补上准备的纪律。事先决定什么样的结果会改变您的想法。Macnamara与Burgoyne对预注册的主张,就是那种习惯的研究版。

对团队,我回到态度究竟有何作用?,我第一次把这两篇综述并排放在那里。那里的结论仍然成立:任何人把心态工作坊当作高层团队的绩效杠杆来卖,都跑在数据前面。

当董事会面对两份可信却相反的分析,我建议四个问题。计了什么,落下了什么?一项研究内部的若干结果是被平均了,还是被分开保留?质量如何评判,是否在数据进来之前就定好?每一方的答案上,谁有利害?

同一组问题也适用于对领导力项目的内部评估。我常见的一种模式是:一个总平均值报到董事会,没有人问究竟哪些人变了。这正是这场交锋中心的论点。

若您的高管团队需要一种更利的方式争论证据,而不把它变成忠诚竞赛,那是我高管团队辅导工作的一部分。它也连到团队如何建立高管桌上的心理安全,好让人可以挑战一个被偏爱的数字而不必为此付出代价。

有人这样问我

Macnamara与Burgoyne对growth mindset干预得出什么结论?

他们认为,对学生学业成绩的表面效应,很可能来自研究设计不足、报告缺陷和偏倚。63项研究、97,672名学生的总体效应很小,d = 0.05,校正可能的发表偏倚后不显著。

为什么两篇2023年元分析得出不同结论?

主要因为他们计入的研究不同、分析方法也不同。Macnamara与Burgoyne把每项研究的结果合成一个效应,并用严格质量标准评判;Burnette等人保留研究内部的分开结果,并问哪些群体受益。

Tipton等人的再分析是否了结了争论?

没有。Tipton等人报告,把Burnette的方法用到Macnamara与Burgoyne的数据上,对高风险群体产生了显著效应。Macnamara与Burgoyne回应:再分析还改了63项研究中22项的效应量、风险编码和研究分组,往往没有解释。

双方同意什么?

平均效应很小,研究结果因研究而异、差异很大。两篇综述都对研究质量做了编码,而不是照单全收文献。他们争论的是:针对特定群体的较大效应是不是真的。

董事会该从这类研究争议中带走什么?

问计了什么、多个结果如何合并、质量如何评判、谁在答案上有利害。同一组四个问题,也适用于对发展项目的任何内部评估。

来源

英文来源

  1. Do growth mindset interventions impact students' academic achievement? A systematic review and meta-analysis with recommendations for best practices — Psychological Bulletin (PubMed), 2022年11月3日
  2. A systematic review and meta-analysis of growth mindset interventions: For whom, how, and why might such interventions work? — Psychological Bulletin (PubMed), 2022年10月13日
  3. Why meta-analyses of growth mindset and other interventions should follow best practices for examining heterogeneity: Commentary on Macnamara and Burgoyne (2023) and Burnette et al. (2023) — Psychological Bulletin (PubMed Central), 2023年3月
  4. A spotlight on bias in the growth mindset intervention literature: A reply to commentaries that contextualize the discussion (Oyserman, 2023; Yan & Schuetze, 2023) and illustrate the conclusion (Tipton et al., 2023) — PsyArXiv (accepted manuscript for Psychological Bulletin), 2023年7月23日
  5. To What Extent and Under Which Circumstances Are Growth Mind-Sets Important to Academic Achievement? Two Meta-Analyses — Psychological Science (PubMed), 2018年3月5日
  6. A national experiment reveals where a growth mindset improves achievement — Nature (PubMed), 2019年8月7日
Linus Murphy 肖像

最高水准的高管教练