如何在研究论文中发现伪造的学术结果?
有各种各样的方法可以伪造结果——照片图像、统计结果等——所以第一个问题取决于你正在审查的研究论文的类型。我的个人背景是社会科学研究,这有其自身的一系列挑战——伪造的数据集、“创造性”的数据操纵、伪造的统计结果、精心挑选的定性访谈,……名单(不幸的是)很长。
没有明显的、一成不变的规则可用于从许多社会科学工作中发现伪造的结果。有时,它可能就像怀疑结果太干净、太完美或太确定一样简单。人类受试者是混乱且充满矛盾的,这就是为什么即使是最精心构思的研究也会产生违反直觉或令人困惑的结果。我知道这听起来很愤世嫉俗,但有时怀疑的第一个迹象来自一组非常干净、明确的发现。
发现伪造结果的另一种方法要困难得多,因为它要求您在统计和统计方法方面具有很强的(我的意思是很强的)背景,以便您可以识别报告的表格和结果中的不一致之处。一些作者试图通过使用神秘的测试来模糊图片(例如,为什么对一组具有低多重共线性的变量使用岭回归?为什么在您的数据集适中且线性路径分析更合适时使用 MLE?为什么使用层次回归如果您没有测试所有交互效果?)大多数评论者没有资格质疑。裁判看到 0.05 或更高的 alpha 水平并且很高兴。关键是,大多数裁判对统计结果的评估能力只能中等,这还不够好。它变成了一个自负的问题(“如果我诚实地告诉编辑我没有资格分析这篇论文中的统计数据,他们会怎么看我?”)很多次,他们将其挥之不去并发表了一些大约一年后,该杂志的读者发现统计异常并认识到它们无效或从中得出的结论没有根据。当被问到时,这些作者通常很方便地“丢失了他们的数据”或由于保密协议而无法发布。是BS;他们最不希望有人看得太近。
如今,在越来越多的期刊中,编辑要求作者随论文一起提交完整的数据集,他们可能会请自己的方法专家独立评估研究结果。我认为这是完全公平的。我们还应该在我们的领域实施更严格的测试和复制标准。不幸的是,在许多社会科学研究中,对试图复制结果的论文的需求很少。想一想:硬科学经历了一个需要严格测试和重新测试、复制等的科学进步过程,而在社会科学中则不然。您最后一次看到标题中包含“复制”字样的已发表文章是什么时候?快速回答:几乎从不。
这让我们何去何从?随着对人类行为的非复制性研究几乎完美的风暴掩盖了数据集,有时有问题或使用不当的统计测试,然后由未经训练的裁判进行评估。很多时候,这真的归结于研究人员的原始训练和个性——要么是那些遵循原则行为的人,要么是那些渴望名誉、晋升和臭名昭著的人,并且在忙着摸索着自己的方式时很少考虑违反伦理研究标准的人在学术阶梯上。直到他们被抓住。