人工智能和机器学习预测模型，具有哪些局限性？这篇文章总结很到位！

原创 壹点统计 一点统计 2023-07-03 22:22 发表于福建

https://mp.weixin.qq.com/s?__biz=MjM5NDM3NjczOA==&mid=2247487645&idx=1&sn=7b34e23261ca33084b2bc6d557d3eb22&chksm=a689edd091fe64c6403b14a52b9c1a9746319a39bb1db2ac189a9e81408cf8c160be0ca8fc05&scene=178&cur_album_id=2345717603836788736#rd

人工智能或机器学习发展迅猛，但任何技术都有其局限性。今天分享一篇关于人工智能和机器学习的研究综述，系统阐述了其当下面临的主要困境和难点，总结的还是蛮全面、中肯的。
图片
图片

数据基础设施：要构建模型，必须有数据，且有多来源的大数据。这一切都离不开数据基础设施的建设和发展。

错误数据输入：数据质量是任何分析的基石，如果数据的数据质量很差甚至错误，那么得到的结果也将是不可靠或错误的，正所谓garbage in，garbage out！因此，高质量数据来源是人工智能研究的基础。

数据漂移：这指的是用来决策的数据和模型训练的数据存在很大差异。可想而知，这种情况下模型性能势必不佳。数据飘移包括如下几种，1）协变量漂移，指的是预测因素在两个数据集上分布差异很大；2）先验概率漂移，指的是两个数据集上结局发生率不同；3）概念漂移，指的是协变量和结局之间的关系随时间而变化。因此，要使构建的模型好，一定要解决数据漂移问题，这也是为什么研究论文中，需要开展训练集和测试集比较的原因所在（备注：期望结果是，训练集和测试集不存在差异）。

缺乏外部验证：目前研究文献中所构建的预测模型，绝大多数仅做了内部验证，而缺乏有效的外部验证。原因很简单，数据比较难获取罢了。但是外部验证这个东西，也是一个相对宽泛的概念，其包括了同一个队列非同一时段的时间外部验证，也包括不同队列来源的验证。所以，在数据有限时，不妨试试时间外部验证。

有限的泛化能力：泛化能力指的是模型在应用到新数据集时的表现。尽管现在很多文献，包括顶刊发表的模型，其报告的性能很高，但是泛化能力却不得而知。尤其是模型构建时，受限于研究数据，其仅代表了当时背景下的人群特征，一旦泛化到更一般人群时，其模型预测效果可能大打折扣。

模型黑盒问题：当下算力越来越快，模型越来越复杂。在人工智能研究中，你可能很难找到类似线性回归、决策树这种易于理解的小而简的模型了。事实上正是如此，越来越多研究追求大而复杂的模型，旨在提高预测效果。但是，一个不可避免的问题就是，模型可解释性很差。关于如何解决该问题，也衍生出一门学问，即可解释性机器学习。

除此之外，文中还提到一个问题，即当前构建了这么多人工智能模型，其临床价值何在？到底是否有助于疾病诊断、治疗和预后？要解决这个问题，或获得这个证据，最好的办法是开展预测模型RCT研究。但目前该领域仍十分欠缺，也将是未来可以发力的重要方向。
--
FROM 59.41.66.*