不光生物医学，20%的MOF论文实验结果都无法重复

结果的可重复性是判断一篇学术论文是否可信的重要依据。目前，社会科学和生物医学领域似乎是研究结果可重复性问题的重灾区。今年8月，河北科技大学副教授韩春雨等作者因实验结果无法重复，撤回了他们2016年发表在Nature Biotechnology 上的NgAgo论文（点击阅读相关）。结果不可重复的原因有很多，而且也不仅仅发生在籍籍无名的“普通学者”身上，大佬们的结果可重复性一样可能存在问题。今年10月，2009年诺贝尔生理学或医学奖得主Jack Szostak教授撤回了一篇他们2016年发表在Nature Chemistry上的与“生命的RNA起源假说”有关的论文，^[1] 原因是结果无法重复。同样在10月，2011年诺贝尔生理学或医学奖得主Bruce Beutler教授也因为结果无法重复，撤回了一篇2014年发表在Science 上的论文，^[2] 该论文提出人类基因组中存在起源于病毒的部分，而且病毒还可能与免疫机理有关（点击阅读相关）。在不少人心目中，工程和化学、材料这样的“硬科学”领域的结果可重复性——至少自己重复自己的实验时——要好很多。但事实真的这么乐观吗？

一项最新研究表明，成千上万研究金属有机框架（MOF）的论文，结果可重复性并不乐观。MOF自问世以来，在气体吸附（如CO₂吸附）、催化、能源等领域受到广泛关注，是一种发展迅速的明星材料。美国乔治亚理工学院的David S. Sholl教授等人对多种已报道MOF材料的吸附等温数据进行了回顾性分析，发现其中竟有20%论文的数据出现了明显的偏离，远远超过了正常的误差范围。他们把结果发表在了近期的Chemistry of Materials 杂志上。

不同论文中HKUST-1材料吸附CO₂实验的结果对比。图片来源：Chem. Mater.

Sholl教授说道，“我想很多材料化学界的人都会觉得那些材料论文中的实验结果是可以重复的。但在我们的研究中却发现，如果你随机抽出一些实验，有20%的概率会碰到完全错误的结果——不是稍有偏差，而是根本就不靠谱（原话是：not just slightly off, but not even close）。” ^[3] 不过Sholl教授也表示，这个结论能否从MOF材料推广到其他材料领域，还需要进行更多的研究。

Sholl教授为什么会选择MOF材料下手呢？除了他本人对其感兴趣外，美国国家标准与技术研究所（NIST）和先进能源研究计划署（ARPA-E）已经建立了一个数据库，收集各种MOF材料的性能数据，这为Sholl团队使用Meta分析来比较MOF材料的吸附等温数据提供了便利。研究人员认为，在可比较的条件下，如果某个MOF材料有四项或更多独立研究支持，结论往往是可靠和确定的。

研究中测试的MOF材料不同的可重复水平。图片来源：Chem. Mater.

材料科学研究的重复率可能比其他某些学科要高一些。但是MOF材料这种可重复性问题却一样会带来不好的后果，比如可能让一个公司做出错误的选择，或者带偏一些科研人员的课题方向。因此Sholl教授提醒到，如果遇到根据一个实验就报告说比其他材料要好15-20%，不要着急相信，“应该以极大的怀疑态度来看待，因为大多数情况下这些数据都不太准确。”

那么，为啥那些看似精确的测试会出问题呢？研究者认为有些MOF材料对湿度很敏感，它们很容易吸水，吸附性能就会受到影响。而本文发现的20%数据异常，都可能由材料的“污染”引起。Sholl教授解释道，“我们研究中的一种MOF材料合成很简单，但在环境中不稳定。实验室合成以及随后的测试之间发生了什么，很可能影响最后的测试结果。另外，如果材料对真实环境很敏感，那么它的实际应用会受到很大的阻碍。”^[3]

其他可能影响实验结果的因素包括实验方法描述中无意漏掉的一些细节，或是原始文献的作者根本没意识到这些细节与实验结果相关。比如，MOF材料保存的气氛组成、制备MOF材料所用设备的材质等等。

Sholl希望这篇论文能够提高材料科学领域论文的实验结果可重复率，以便想要使用这些材料的人知道是否真的应该选择它们。

尽管作者们认为重复某种材料的实验能够提高数据的可靠性，但希望归希望，目前的科学出版体系却很难进行这样的实践。就如同大部分学科一样，材料科学也不可避免地会攀比期刊的影响因子。首次发现某种材料并报道其性能的论文往往更受重视，其他人的重复工作几乎不可能发表在高水平的期刊上，也几乎不会有人去引用这些论文。

而像Sholl等人活雷锋一般做了验证工作，发表在高水平杂志上，但也很容易“出力不讨好”。Sholl说：“我们在会议上数次提交了这些研究结果，但参会的科学家都显得很保守，并不愿意多谈这个问题。”

小氘就被不靠谱的文献“坑”过，兴冲冲地买好原料，小心操作，结果根本不反应。想想浪费的时间和钱，也是有点气的。

文献不靠谱、实验无法重复的原因很多，有的纯粹是造假，有的无意中遗漏重要细节，也有故意漏掉细节以防止其他实验室竞争……要想纠正这种风气，除了需要Sholl这样的科学家勇于捅破真相，更需要科学界形成良好的自我纠错机制，让不准确或造假的研究内容无法受到认可。

原文（扫描或长按二维码，识别后直达原文页面，或点此查看原文）：

How Reproducible Are Isotherm Measurements in Metal–Organic Frameworks?

Chem. Mater., 2017, 29, 10487-10495, DOI: 10.1021/acs.chemmater.7b04287

参考资料：

1. https://www.nature.com/articles/nchem.2885

2. http://science.sciencemag.org/content/358/6362/458.1

3. http://www.news.gatech.edu/2017/12/14/one-five-materials-chemistry-papers-may-be-wrong-study-suggests

（本文由氘氘斋供稿）