生命科学透明报告中材料设计分析报告(Materials Design Analysis Reporting,MDAR)框架及checklist模板
2023-09-27 Edinburgh CAMARADES group 发表于威斯康星
MDAR (Materials Design Analysis Reporting) Framework for transparent reporting in the life sciences,
生命科学透明报告中材料设计分析报告(Materials Design Analysis Reporting,MDAR)框架及checklist模板
MDAR (Materials Design Analysis Reporting) Framework for transparent reporting in the life sciences
2023-09-27
MDAR (Materials Design Analysis Reporting) Framework for transparent reporting in the life sciences,附件中提供了生命科学透明报告中材料设计分析报告,以及Science杂志投稿时的checklist模板。
Cell Press与Nature Portfolio、John Wiley & Sons等学术出版机构与平台联合美国科学院倡议在生命科学研究中使用MDAR框架(Materials Design Analysis Reporting),以提高学术报告透明度,改善研究实践。
公开、透明的学术报告有利于科学交流。虽然不同学科领域的具体需求和期望各不相同,但研究结果的有效解释和使用都是依赖于有关研究材料、研究设计、数据、实验、分析方法等核心信息。对于临床前研究,学术报告的透明度是在回应结果不可复现问题时的一个关键点。目前已经证实,对实验和分析设计中关键要素报告的不一致、试剂描述不明确、基础数据和代码无法获得等问题,会大大损害研究的可复制性,从而也会引发对结果稳健性的怀疑。为了回应对研究可复制性的担忧,各基金、出版商、和其他利益相关者早已呼吁改善学术报告的透明度,也相继有一系列相关的措施、倡议、报告等问世。所有的相关报告都指出缺乏报告透明度是造成这些系统性问题的一个因素。
美国国家科学院重点关注学术研究的可复制性问题(reproducibility and replicability),并于2019年召开了相关公开研讨会,讨论生物医学学术报告透明度现状,探索协调各期刊与资助机构使用的不同学术指南。本次研讨会提出了一个倡议,那就是“材料、设计、分析、报告”框架(Materials Design Analysis Reporting,MDAR),即从研究材料、研究设计、分析方法、报告规范四方面对学术报告进行一系列的要求。这一研讨会为利益相关群体提供了一次宝贵的机会,让各方都能进行更加广泛的磋商。通过会上形成的相关反馈与意见进行整合,MDAR形成了三个主要成果:
⚫ MDAR框架
⚫ MDAR Checklist
⚫ 相关细化文档
其中,MDAR框架构成了核心政策建议,Checklist和相关的细化文档用以支持框架落地。MDAR项目意在立足实践、求同存异,帮助生命科学期刊抓住机会,促进生命科学研究的透明化。
一个统一框架的诞生
MDAR框架并没有向广泛全面的方向发展,但是这一框架却是基于广泛全面的咨询而形成的,意在充分考虑目前的做法,以及可以在大量期刊上带来最显著改进的要素。MDAR框架针对的是生命科学领域,在这个范围内,MDAR框架非常关注探索性实验研究的相关信息,因此这一框架可能对某些学科而言更加有用。它并不全面,不应取代任何现有的报告标准,但它是一个通用的框架,旨在广泛适用于生命科学研究,并以一种标准化的方式提高最低期望。MDAR框架不仅与现有的专家标准与指南相兼容(如EQUATOR Network、FAIRsharing、ARRIVE),更对这些现有框架加以优化。
MDAR框架组织原则的制定主要基于三种类型的信息:可访问说明(accessibility)、标识信息(identification)和特征描述(characterization)。可访问说明是指描述特定框架元素(材料、数据、代码、协议)等是否可访问,以及怎样访问的说明性内容;标识信息是指对每个元素进行唯一且明确的指定和来源所需的信息(通常包括唯一的持久标识符);特征描述对与解释和复制相关项目的最简要描述。
MDAR框架的每个元素,都有一个基本的最低要求以及一组理想化的“最佳实践”,这些最理想化的实践为未来发展提供了方向性的指导。随着时间的推移,以及学术报告质量的提高,目前被确定为“最佳实践”的要素将是以后的“最低要求”。
实践探索与广泛咨询
共有13家学术机构与出版平台参与了MDAR框架的前期试用,它们是:BMC Microbiology、Ecology and Evolution、eLife、EMBO journals、Epigenetics、F1000R、Molecular Cancer Therapeutics、MicrobiologyOpen、PeerJ、PLOS Biology、PNAS、Science、Scientific Reports。
这13家机构与平台主要测试了MDAR Checklist,它包含了学术报告需要满足的一系列要求,用于确定研究符合了MDAR框架的最低要求。MDAR框架的相关细化文档也作为进一步的指南一并提供给了所有机构与平台。在所有参与的期刊中,共有289份稿件使用了MDAR框架,且共有211名通讯作者与33名编辑人员给出了使用反馈。结果显示80%的作者与84%的编辑认为MDAR Checklist“非常有帮助”或“有帮助”。另有42位专家给出了关于MDAR框架的进一步反馈,这些专家在研究可复制性的各个方面都有经验,包括使用和开发核对表来改进报告标准。
MDAR框架的认可与采用
MDAR框架是一个适应性很强的系统,可以灵活采用以满足特定学科、学术社区规范和资源限制的不同需求。我们设想,未来学术期刊认可MDAR框架,即表示支持MDAR框架概述的透明报告原则,并承诺采取措施将MDAR指南纳入其期刊实践。学术期刊可以从三个有层级的实施方案中进行选择,具有一定的灵活性,允许较低的准入门槛,但仍提供了一条明确的提高标准的途径。
MDAR Checklist是一种可选的资源或工具,可帮助推动框架的实施。但框架本身有意设计为可与其他实施模式兼容的结构,囊括了期刊同行评审系统中的结构化查询、期刊特定指南或核对清单、以及自动或半自动手稿处理系统。
一些期刊目前的实施策略已经超出了最低要求,并且与MDAR框架中描述的理想最佳实践保持一致。我们期望这些期刊在认可该框架的同时,继续实施它们的最佳做法。一些期刊可能希望支持MDAR框架,但可能会担心编辑的负担。在前期试用中,编辑人员使用核对表评估MDAR遵从性的平均时间为24分钟(中位数为15分钟)。也可以在不使用核对表的情况下推荐或要求MDAR框架。一种选择是,作者被要求完成一份清单,作为其提交的一部分,这份清单作为补充材料出版,但不监督合规性。这将只需较少的编辑,但能提高人们对报道期望的认识,增加作者的责任意识、并为读者提供附加值。
MDAR框架的下一步
开放科学中心(Center for Open Science,COS)一直是开发多学科研究报告框架的合作伙伴,COS将维护一个网页来管理Checklist、细化文档和其他任何政策建议。这些数据将存放于Metascience Collection的一个储存库中,由COS开发和维护。Metascience Collection包含与科学界相关的数据、材料和研究成果,并使资源能够使用持久、唯一的标识符在版本控制的文档中进行维护。我们希望看到MDAR框架被广泛采用,当期刊和平台开始使用MDAR框架时,我们要求它们分享这个平台的详细信息。
将MDAR框架作为生命科学论文的共同标准,有望为开发自动化和半自动的评估工具铺平道路。这些工具可以确定研究稿件是否遵守报告标准。由于MDAR框架很有可能会在之后进一步发展,因此非常鼓励感兴趣的开发人员不仅关注最低要求,还关注框架的最佳实践。
虽然期刊是主要的目标受众,但在研究生命周期的不同阶段,MDAR框架可以被多个利益攸关方使用:研究人员可在研究的设计、进行、分析和报告期间使用;研究机构可将其作为教学工具,教授学生学术研究的最佳实践;资助者和其他参与研究评估的人可用其辅助评估拨款申请、预印本或研究论文的严谨性和报告透明度。
提高出版商对学术报告预期的一致性,有可能使作者、研究人员和期刊采用更加透明的做法,并提高已发表论文的报告质量。此外,研究资助者对这些期望的共识可以进一步推动最佳实践的早期采用,并将其纳入研究设计、数据收集和分析。归根结底,学术报告透明性的目标是改善研究实践。