Currently, there are several widely used commercial cloud-based services that attempt to recognize an individual’s emotions based on their facial expressions. Most research into facial emotion recognition has used high-resolution, front-oriented, full-face images. However, when images are collected in naturalistic settings (e.g., using smartphone’s frontal camera), these images are likely to be far from ideal due to camera positioning, lighting conditions, and camera shake. The impact these conditions have on the accuracy of commercial emotion recognition services has not been studied in full detail. To fill this gap, we selected five prominent commercial emotion recognition systems—Amazon Rekognition, Baidu Research, Face++, Microsoft Azure, and Affectiva—and evaluated their performance via two experiments. In Experiment 1, we compared the systems’ accuracy at classifying images drawn from three standardized facial expression databases. In Experiment 2, we first identified several common scenarios (e.g., partially visible face) that can lead to poor-quality pictures during smartphone use, and manipulated the same set of images used in Experiment 1 to simulate these scenarios. We used the manipulated images to again compare the systems’ classification performance, finding that the systems varied in how well they handled manipulated images that simulate realistic image distortion. Based on our findings, we offer recommendations for developers and researchers who would like to use commercial facial emotion recognition technologies in their applications.

中文翻译：

---

使用面部图像数据集的真实失真对商业情感检测系统进行基准测试

目前，有几种广泛使用的商业基于云的服务，试图根据他们的面部表情来识别个人的情绪。大多数面部情感识别研究都使用了高分辨率、面向前方的全脸图像。然而，当在自然环境中收集图像时（例如，使用智能手机的前置摄像头），由于相机定位、照明条件和相机抖动，这些图像可能远非理想。这些条件对商业情感识别服务准确性的影响尚未得到充分研究。为了填补这一空白，我们选择了五个著名的商业情感识别系统——Amazon Rekognition、Baidu Research、Face++、Microsoft Azure 和 Affectiva——并通过两个实验评估了它们的性能。在实验 1 中，我们比较了系统对从三个标准化面部表情数据库中提取的图像进行分类的准确性。在实验 2 中，我们首先确定了几种常见的场景（例如，部分可见的人脸）在智能手机使用过程中可能导致质量不佳的图片，并操纵实验 1 中使用的同一组图像来模拟这些场景。我们使用操纵图像再次比较系统的分类性能，发现系统在处理模拟真实图像失真的操纵图像方面各不相同。根据我们的发现，我们为希望在其应用程序中使用商业面部情感识别技术的开发人员和研究人员提供建议。我们首先确定了几种常见的场景（例如，部分可见的人脸）在智能手机使用过程中会导致质量不佳的图片，并操纵实验 1 中使用的同一组图像来模拟这些场景。我们使用操纵图像再次比较系统的分类性能，发现系统在处理模拟真实图像失真的操纵图像方面各不相同。根据我们的发现，我们为希望在其应用程序中使用商业面部情感识别技术的开发人员和研究人员提供建议。我们首先确定了几种常见的场景（例如，部分可见的人脸）在智能手机使用过程中会导致质量不佳的图片，并操纵实验 1 中使用的同一组图像来模拟这些场景。我们使用操纵图像再次比较系统的分类性能，发现系统在处理模拟真实图像失真的操纵图像方面各不相同。根据我们的发现，我们为希望在其应用程序中使用商业面部情感识别技术的开发人员和研究人员提供建议。我们使用操纵图像再次比较系统的分类性能，发现系统在处理模拟真实图像失真的操纵图像方面各不相同。根据我们的发现，我们为希望在其应用程序中使用商业面部情感识别技术的开发人员和研究人员提供建议。我们使用操纵图像再次比较系统的分类性能，发现系统在处理模拟真实图像失真的操纵图像方面各不相同。根据我们的发现，我们为希望在其应用程序中使用商业面部情感识别技术的开发人员和研究人员提供建议。