最近一项研究推翻了传统观点，称食用饱和脂肪与心脏病之间没有关联，这让许多人感到惊讶。似乎每周都会有一些新结果，尤其是在医学和社会科学领域，这些结果使旧的结果失效。

旧结果不再成立的现象如此普遍，以至于一些记者开始称之为“宇宙习惯化”或“衰退效应”——一种奇怪的理论，认为当你试图重复实验时，宇宙的法则似乎会改变。

解释要简单得多。

研究人员过于频繁地犯下数据挖掘的原罪——过拟合数据。

研究人员在没有适当统计控制的情况下检验了太多假设，直到他们碰巧发现一些有趣的东西并报告出来。毫不奇怪，下一次这种效应（至少部分）由于偶然性，将会小得多或不存在。

我们注意到，过拟合与另一个主要的数据科学错误——“混淆相关性与因果关系”并不相同。区别在于，过拟合是在本不存在事物的地方发现了事物。在“相关性与因果关系”的情况下，研究人员可以发现一个真正的新颖相关性，而只在很久之后才发现原因（参见 Kirk D. Borne 关于天体物理学中的大数据以及相关性与因果关系的访谈中的一个天文学绝佳例子）。

每天我们都通过各种来源了解新研究，并且经常利用这些研究结果来增进对世界的理解并做出更好的决策。如果有人告诉你，大多数已发表（并被大力宣传）的研究都是有偏的、计划不当、仓促执行、测试不足且报告不完整，你会作何感想？结果之所以有趣是出于设计，而不是出于自然？

John P. A. Ioannidis 在其著名论文《为什么大多数已发表的研究结果都是错误的》（PLoS Medicine，2005）中，很好地识别并报告了流行研究实践的固有缺陷。Ioannidis 深入考察了医学中一些最受推崇的研究结果，得出结论：很多时候要么结果被夸大，要么发现无法复现。在他的论文中，他提出了统计证据，表明大多数声称的研究结果确实是错误的。Ioannidis 博士现在领导斯坦福大学一个新的 METRICS 中心，在那里他继续致力于确保研究可复现。

因此，“糟糕的”研究并不新鲜，但其数量随时间增加。对一项研究有多“科学”的最基本检验之一，是在随机选择的多个不同环境（适用的情况下）中执行相同研究时观察其结果。Ioannidis 指出，为了使研究发现可靠，它应该具备：

• 大样本量和大效应

• 更多数量且更少选择的被测试关系

• 设计、定义、结果和分析模式上更大的灵活性

• 由于财务和其他因素（包括该科学领域的流行度）导致的最小偏差

不幸的是，这些规则经常被违反，产生不可重现的结果。

为了说明这一点，这里有一些使用“过度拟合数据”方法报告的更有趣的“发现”：

S&P 500 指数与孟加拉国的黄油产量密切相关（这里是 PDF）

美国小姐的年龄与由蒸汽、热蒸汽和热物体造成的谋杀密切相关

……以及更多有趣的（且完全虚假的）发现，你可以使用 Google correlate 或 Tyler Vigen 的工具自行发现。

人类“魔法思维”的倾向往往使这些不寻常的发现获得更高的恶名（章鱼保罗因在 2010 年“预测”世界杯结果而世界闻名），这并没有增加公众对科学的信任。

可以使用几种方法来避免“过度拟合”数据

• 尝试找到最简单的可能假设

• 正则化（为复杂性添加惩罚）

• 随机化测试（随机化类别变量，在此数据上尝试你的方法——如果它找到相同的强结果，则有问题）

• 嵌套交叉验证（在一个级别上进行特征选择，然后在外层级别上对整个方法进行交叉验证）

• 调整错误发现率

转载声明：本文为转载整理，原文版权归原作者及原站点所有。

原文来源：KDnuggets

原创地址：https://www.kdnuggets.com/2014/06/cardinal-sin-data-mining-data-science.html#comment-184074