当前位置: X-MOL 学术arXiv.cs.AI › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Did the Model Change? Efficiently Assessing Machine Learning API Shifts
arXiv - CS - Artificial Intelligence Pub Date : 2021-07-29 , DOI: arxiv-2107.14203
Lingjiao Chen, Tracy Cai, Matei Zaharia, James Zou

Machine learning (ML) prediction APIs are increasingly widely used. An ML API can change over time due to model updates or retraining. This presents a key challenge in the usage of the API because it is often not clear to the user if and how the ML model has changed. Model shifts can affect downstream application performance and also create oversight issues (e.g. if consistency is desired). In this paper, we initiate a systematic investigation of ML API shifts. We first quantify the performance shifts from 2020 to 2021 of popular ML APIs from Google, Microsoft, Amazon, and others on a variety of datasets. We identified significant model shifts in 12 out of 36 cases we investigated. Interestingly, we found several datasets where the API's predictions became significantly worse over time. This motivated us to formulate the API shift assessment problem at a more fine-grained level as estimating how the API model's confusion matrix changes over time when the data distribution is constant. Monitoring confusion matrix shifts using standard random sampling can require a large number of samples, which is expensive as each API call costs a fee. We propose a principled adaptive sampling algorithm, MASA, to efficiently estimate confusion matrix shifts. MASA can accurately estimate the confusion matrix shifts in commercial ML APIs using up to 90% fewer samples compared to random sampling. This work establishes ML API shifts as an important problem to study and provides a cost-effective approach to monitor such shifts.

中文翻译:

模型改变了吗?有效评估机器学习 API 转变

机器学习 (ML) 预测 API 的使用越来越广泛。由于模型更新或重新训练,ML API 可能会随着时间的推移而发生变化。这对 API 的使用提出了一个关键挑战,因为用户通常不清楚 ML 模型是否以及如何更改。模型转换会影响下游应用程序的性能,还会产生监督问题(例如,如果需要一致性)。在本文中,我们启动了对 ML API 转变的系统调查。我们首先在各种数据集上量化了来自谷歌、微软、亚马逊和其他公司的流行 ML API 从 2020 年到 2021 年的性能变化。我们在我们调查的 36 个案例中的 12 个中发现了显着的模型转变。有趣的是,我们发现了几个数据集,其中 API 的预测随着时间的推移变得明显更糟。这促使我们在更细粒度的级别上制定 API 转移评估问题,以估计当数据分布恒定时 API 模型的混淆矩阵如何随时间变化。使用标准随机抽样监控混淆矩阵变化可能需要大量样本,这很昂贵,因为每个 API 调用都需要付费。我们提出了一种有原则的自适应采样算法 MASA,以有效地估计混淆矩阵的偏移。与随机抽样相比,MASA 可以使用最多 90% 的样本准确估计商业 ML API 中的混淆矩阵变化。这项工作将 ML API 转变确定为一个重要的研究问题,并提供了一种具有成本效益的方法来监控此类转变。当数据分布恒定时,混淆矩阵随时间变化。使用标准随机抽样监控混淆矩阵变化可能需要大量样本,这很昂贵,因为每个 API 调用都需要付费。我们提出了一种有原则的自适应采样算法 MASA,以有效地估计混淆矩阵的偏移。与随机抽样相比,MASA 可以使用最多 90% 的样本准确估计商业 ML API 中的混淆矩阵变化。这项工作将 ML API 转变确定为一个重要的研究问题,并提供了一种具有成本效益的方法来监控此类转变。当数据分布恒定时,混淆矩阵随时间变化。使用标准随机抽样监控混淆矩阵变化可能需要大量样本,这很昂贵,因为每个 API 调用都需要付费。我们提出了一种有原则的自适应采样算法 MASA,以有效地估计混淆矩阵的偏移。与随机抽样相比,MASA 可以使用最多 90% 的样本准确估计商业 ML API 中的混淆矩阵变化。这项工作将 ML API 转变确定为一个重要的研究问题,并提供了一种具有成本效益的方法来监控此类转变。有效地估计混淆矩阵的偏移。与随机抽样相比,MASA 可以使用最多 90% 的样本准确估计商业 ML API 中的混淆矩阵变化。这项工作将 ML API 转变确定为一个重要的研究问题,并提供了一种具有成本效益的方法来监控此类转变。有效地估计混淆矩阵的偏移。与随机抽样相比,MASA 可以使用最多 90% 的样本准确估计商业 ML API 中的混淆矩阵变化。这项工作将 ML API 转变确定为一个重要的研究问题,并提供了一种具有成本效益的方法来监控此类转变。
更新日期:2021-07-30
down
wechat
bug