详细信息如下:文章来源:Nature自然科研AndrewDOxman携手24名研究人员提出了一系列概念,引导人们如何对各种说法和比较进行批判性思考,从而做出更好的决定。
哪种方法最有用?每个人都有自己的看法。政客认为“拦截搜查”的执法方式能减少暴力犯罪;亲朋好友坚信疫苗会导致自闭症;广告商宣称天然食品很健康。一组科学家称,让某些地区的所有学童服用驱虫药是这个时代最有效的脱贫策略之一;另一组科学家说,这种策略无法改善孩子的健康状况或在校表现。
可惜的是,大多人往往无法批判性地思考这些主张的可信度,包括那些需要权衡科学家各种观点的政策制定者也做不到。学校在培养年轻人批判性思维方面做得还不够1。太多人不知如何评估各种证据。结果呢?他们会做出糟糕的选择。
为了弥补这方面的欠缺,我们在这里提出一组指导原则,用于评估各种主张的可信度,帮助人们做出知情选择(参见“知情选择的关键概念”)。我们欢迎各个领域的科学家和专业人士对这些原则进行评估、使用和评论。这些资源由24名研究人员利用其专业知识,在一个卫生保健框架的基础上总结而来2(见“随机试验”)。
最好的做法是让这些概念通过已被证实有效的学习资源和教学策略,融入到各年龄段的公民教育中。
知情选择的关键概念
主张
任何关于效果的主张应有证据支持,且证据必须来自公平的比较。没有类似证据的主张不一定是错的,但是没有充分的理由去相信它们。
主张不应假定干预是安全、有效或确定的。
?干预会带来好处,也会带来坏处。
?巨大且极其显著的效果是非常少见的。
?对干预效果十分确定的情况即使有,也很罕见。
表面上合乎逻辑的假设不能作为主张成立的充分依据。
?单凭相信干预作用本身不足以作为干预有效的可靠预测指标。
?可以说结果与干预有关,但不能说结果是由干预导致的。
?数据并非越多越好。
?孤立地看待一项研究结果可能具有误导性。
?广泛使用或用了几十年的干预措施不一定就是有益或安全的。
?新出现或技术上很厉害的干预措施不一定比现有方法好。
?盲目扩大干预的规模不一定会带来更多好处,也有可能造成伤害。
只听信一种渠道的消息不构成相信某一主张的充分依据。
?利益冲突会导致具有误导性的主张。
?对大部分主张而言,个人经历或传言都是不可靠的依据。
?专家、权威人士、名人或其他受尊敬人士的观点不能作为主张的可靠依据。
?接受过某个期刊的同行评议或被期刊发表并不代表比较就是公平的。
比较
研究需要开展公平的比较,这种比较能将系统性错误(偏差)和随机性错误(机会概率问题)的风险降到最低。
对干预措施的比较必须公平。
?比较组和比较条件应尽可能相似。
?对不同研究的干预进行间接比较会具有误导性。
?除了被研究的干预措施外,比较的人、群体和条件也应作类似处理。
?在被比较的组或条件中,应以相同的方式评估结果。
?应使用已证明可靠的方法评估结果。
?应对研究中全部(或接近全部)人或对象的结果进行评估。
?当使用随机分配时,应将人们或研究对象的结果计入他们被分配的组中。
研究综述多是可靠的。
?对干预比较的研究进行综述应使用系统性方法。
?未能考虑未经发表的公平比较结果会使效果估计产生偏差。
?对干预的比较可能会受基本假设的影响。
应在描述中列出效果大小以及被偶然误导的风险。
?仅对效果大小进行口头描述可能具有误导性。
?小型研究可能具有误导性。
?应报道估计效果的置信区间。
?称结果“在统计学上显著”或“不显著”也具有误导性。
?缺乏可证明差异的证据不等于证明没有差异的存在。
选择
怎么做选择取决于对问题的判断、现有证据的相关性(适用性或转移性),以及预期的利益、损害和成本之间的平衡。
定义问题、目标和可选措施。
?对问题进行正确分析或描述。
?目标和可选措施应该是能被接受且可行的。
现有证据应当是相关的。
?主要关注干预措施的重要结果,而不是替代结果。
?研究对象和研究结果适用对象之间不应存在重大差异。
?作为比较的干预措施应与被研究的干预措施类似。
?作为比较的干预措施的实施情况应与被研究的情况类似。
预期的受益应大于损害。
?权衡措施实施与否的受益与损害。
?考虑这些价值的评估方式、确定性以及分布情况。
?为减少对干预效果很重要的不确定性,应进一步开展公平的比较。
可信的证据
现代人正在被信息淹没。一味地塞给他们更多的信息没什么用,除非他们能理解这些信息背后的价值。英国2016年开展的一项调查显示,只有约三分之一的公众相信医学研究的证据,约三分之二的人更相信朋友和家人的经验之谈3。
当然,证据也不能一概而论。但问题在于人们不知道应该相信谁的说法;如何比较才能对不同方法进行公平评估;还需要哪些信息才能做出明智的选择。
例如,很多人意识不到,两件事之间有某种关系,并不意味着它们之间具有因果关系。媒体有时候喜欢在还没有事实依据的情况下暗示两者存在因果关系,进一步加剧了这个问题4,比如“喝咖啡会致命”或是“每天一杯啤酒,活得长长久久”之类的说法。更糟的是,一些大学和期刊发布的新闻稿也经常充斥着夸大的因果关系5。
随机试验
2012年至2017年开展的“健康知情选择”(IHC)是由本文部分作者(A.D.O。、A.D。、I.C。和M.O。)与合作者共同发起的一个项目。项目拥有一套自己的关键概念2和学习资源,还有一个多选题数据库评估用户是否知道如何使用这些概念。
2016年,一项针对乌干达120所学校1万多名学童的随机试验表明,这些学习资源提高了10至12岁儿童对12个关键概念的应用能力7,包括认识到个人经验本身不足以作为主张有效果的依据以及小型研究可能具有误导性等等。
这次试验中,研究人员让接受过关键概念教育的学生参与了一次多选题测试,看看他们对健康类主张是否具备批判性思考的能力。最后,69%的人通过了测试,而没有接受过相关教育的儿童只有27%通过了这个测试。
开展公平比较的研究是至关重要的,但人们往往不知道如何评价研究的有效性。相比随机的研究结果,系统性综述文章的可信度更高,因为这些文章一般会集中探讨多个设计良好、以明确定义问题为指导的研究。这类文章较少受到偏倚(系统性错误)和概率机会(随机错误)的影响。不过,单个研究结果依然常被作为事实进行单独报道。因此,新闻标题这周是“多吃巧克力好” ,下周变成“多吃巧克力不好”也就见怪不怪了。
想要做出明智的选择,你还需要其他信息,比如成本和可行性方面的信息。此外,你还需要对研究信息相关性(它的适用性和转移性如何),以及某个药物、某种疗法或监管的潜在正面和负面影响之间的平衡做出判断。
以碳税为例,政策制定者需要考虑此类税收对环境和经济影响的证据,判断当地情况与研究背景的相似度有多高,管理难度有多大。他们还需要模拟税收负担在社会经济群体中的分布情况,评估税收在他们的行政管辖区内是否会被接受。
批判性思维
许多领域的个人和组织都在努力帮助人们做出更明智的决定,包括在系统综述中囊括现有最佳证据;让这些信息被更多人看到,例如用简明易懂的语言总结或是开放阅读权限;以及教会人们如何使用上述资源。这类综述组织包括面向卫生保健领域的Cochrane(原名Cochrane合作联盟)、研究社会政策影响的Campbell 合作联盟、环境证据合作联盟,以及国际循证卫生保健学会。其他机构还有循证管理中心、非洲证据中心、国际影响评估倡议(又名3ie)以及英国的What Works中心。
可惜的是,学者们往往埋头于自己的领域深耕,容易错过互相学习的机会。本文作者的专业知识涵盖了14个领域:农业、经济、教育、环境管理、国际发展、卫生保健、非正式学习、管理、营养、星球健康、警务、语言治疗、社会福利和兽医学。
我们确定了许多在这些领域通用的概念(参见“知情选择的关键概念”和“实践中的关键概念”)。其他概念对特定领域的针对性更强,比如在评估关于疗法和营养的主张时,必须考虑潜在的安慰剂效应,但这与环境领域的干预则关系不大。
实践中的关键概念
主张
单凭对干预措施如何发挥作用的信念,并不能可靠地预测其影响是否存在或是影响的程度。
大部分观点认为,人们很难影响父母对子女的教育方式。一般假设更密集(和更昂贵)的干预更容易见效。但研究显示,从标准化考试成绩来看,密集干预对学生成绩的影响往往没什么效果(见go.nature.com/2gfy8io)。
与此同时,最近开展的一项评估显示,每周向家长发短信通知孩子的在校情况对孩子出勤率、作业完成情况和数学成绩都有积极影响(见go.nature.com/2t7ormy)。这些影响虽然不大,但执行成本却很低。可见,与我们的主观直觉相反,廉价的干预手段也能产生很好的效果,昂贵的干预手段也有可能失败。
比较
比较条件应尽可能相似。
“恐吓从善”(Scared Straight)项目会带不良少年实地探访监狱,假设现场体验和聆听囚犯的监狱生活能阻止少年犯罪。部分研究发现,在这类探监活动后,犯罪行为大大减少了。但考虑到年轻人本来就会随时间发生很多变化,比如年龄变大、思想更成熟。那么,如何才能知道是探监活动让犯罪行为减少了呢?
更公平的实验会把年轻人随机分配到探监组和不探监组,让小组具有可比性。这些小组的比较显示,接触过监狱环境的青少年中,犯罪率反而高于没有接触过监狱环境的青少年8,9。
选择
当干预措施的效果存在重要的不确定性时,应通过公平的比较来减少这些不确定性。
在卫生领域,越来越常见的做法是,只对已采取的具体行动或是已达成的目标给予经济资助。为实现国际发展目标,已有数十亿美元投入中低收入国家推广这些计划10,比如向健康服务提供机构给予现金奖励,让他们增加诊所(而不是在家)的出生率,以此改善产妇和新生儿的健康和存活率。
但是,这种基于表现的资助计划可能会产生意想不到的负面影响,比如怂恿医疗工作者伪造记录或忽略其他工作。在坦桑尼亚,一些卫生机构会用罚款或拒绝为新生儿提供疫苗的方式威胁新妈妈10。对于这些利弊仍有很大不确定性的干预措施,应在干预措施推出前或进行中开展公平比较。
经过合作,我们中的许多人都已为特定领域制定了框架,或是对最初的“知情健康选择”框架提出改进建议2。找出不同领域共同存在的问题很有意义,它有助于形成合力,解决这个问题。
“知情选择的关键概念”不是一张清单,而是一个起点。我们将所有想法分成了三大类(主张、比较、选择),但它们的顺序可以随意打乱,整合成有用的学习资源。对于那些帮助别人进行批判性思考,告诉别人哪些证据可信以及如何做的人,包括那些专门从事批判性思维教育和负责传播研究结果的人,我们希望这些概念能为他们所用。
下一步
如今,许多领域的专业人士都在学习循证实践,这方面的努力必须进一步加强。同样重要的是,让学龄儿童现在就掌握这些关键概念,而不是等到他们成年以后。系统学习过批判性思维的年轻人比没有学过的年轻人能做出更好的判断6。在孩子年轻的时候灌输他们这些理念,将为今后的学习打下重要基础。
鼓励批判性思维的一个重要方面是培养和分享健康的怀疑主义,同时避免非预期的不利后果。这里的不利后果包括诱导“虚无主义”(极端怀疑主义);把不确定性作为拒绝采取行动的狡辩(比如在气候变化问题上);或是鼓吹错误的理念——比如认为所有研究都不可信,因为提倡特定干预措施的各方之间存在利益冲突。
利益冲突在不同领域有着不同的表现形式,但它们所面对的挑战和补救办法是相似的:意识到潜在的冲突、提高透明度和提倡独立评价。要实现这些目标,就必须提高公众对独立评价必要性的认识,提高公众对这方面投入的要求,并以不偏不倚的方式传播结果。
“知情选择的关键概念”的进一步发展和细化需要大家的建议。比如,充分考虑如何将这些概念转化为行动,应对全系统变化,同时认识到复杂动态的相互作用和反馈循环,如全球气候变化减缓或适应策略。
为此,我们创建了一个网站(www.thatsaclaim.org)。在这个网站上,我们的关键概念可针对不同领域和目标用户,被翻译成其他语言,并可链接到多个学习资源。
本文文章转载自新浪新闻