Product assembly is a crucial process in manufacturing plants. In Industry 4.0, the offer of mass-customized products is expanded, thereby increasing the complexity of the assembling phase. This implies that operators should pay close attention to small details, potentially resulting in errors during the manufacturing process owing to its high level of complexity. To mitigate this, we propose a novel architecture that evaluates the activities of an operator during manual assembly in a production cell so that errors in the manufacturing process can be identified, thus avoiding low quality in the final product and reducing rework and waste of raw materials or time. To perform this assessment, it is necessary to use state-of-the-art computer vision techniques, such as deep learning, so that tools, components, and actions may be identified by visual control systems. We develop a deep-learning-based visual control assembly assistant that enables real-time evaluation of the activities in the assembly process so that errors can be identified. A general-use language is developed to describe the actions in assembly processes, which can also be used independently of the proposed architecture. Finally, we generate two datasets with annotated data to be fed to the deep learning methods, the first for the recognition of tools and accessories and the second for the identification of basic actions in manufacturing processes. To validate the proposed method, a set of experiments are conducted, and high accuracy is obtained.

产品组装是制造工厂中的关键过程。在工业4.0中，扩大了大规模定制产品的范围，从而增加了组装阶段的复杂性。这意味着操作人员应密切注意小细节，由于其复杂性高，可能在制造过程中导致错误。为了缓解这种情况，我们提出了一种新颖的体系结构，该体系结构可以评估操作员在生产单元中进行手工组装时的活动，从而可以识别制造过程中的错误，从而避免了最终产品的低质量，并减少了返工和原材料浪费或时间。要进行此评估，有必要使用最先进的计算机视觉技术（例如深度学习），以便工具，组件，动作可以通过视觉控制系统来识别。我们开发了基于深度学习的视觉控制装配助手，该助手可以实时评估装配过程中的活动，从而可以识别错误。开发了一种通用语言来描述装配过程中的动作，这些语言也可以独立于所建议的体系结构使用。最后，我们生成两个带有批注数据的数据集，这些数据集将被馈送到深度学习方法，第一个用于识别工具和附件，第二个用于识别制造过程中的基本动作。为了验证所提出的方法，进行了一组实验，并获得了较高的准确度。我们开发了基于深度学习的视觉控制装配助手，该助手可以实时评估装配过程中的活动，从而可以识别错误。开发了一种通用语言来描述装配过程中的动作，这些语言也可以独立于所建议的体系结构使用。最后，我们生成两个带有批注数据的数据集，这些数据集将被馈送到深度学习方法，第一个用于识别工具和附件，第二个用于识别制造过程中的基本动作。为了验证所提出的方法，进行了一组实验，并获得了较高的准确度。我们开发了基于深度学习的视觉控制装配助手，该助手可以实时评估装配过程中的活动，从而可以识别错误。开发了一种通用语言来描述装配过程中的动作，这些语言也可以独立于所建议的体系结构使用。最后，我们生成两个带有批注数据的数据集，这些数据集将被馈送到深度学习方法，第一个用于识别工具和附件，第二个用于识别制造过程中的基本动作。为了验证所提出的方法，进行了一组实验，并获得了较高的准确度。最后，我们生成两个带有批注数据的数据集，这些数据集将被馈送到深度学习方法，第一个用于识别工具和附件，第二个用于识别制造过程中的基本动作。为了验证所提出的方法，进行了一组实验，并获得了较高的准确度。最后，我们生成两个带有批注数据的数据集，这些数据集将被馈送到深度学习方法，第一个用于识别工具和附件，第二个用于识别制造过程中的基本动作。为了验证所提出的方法，进行了一组实验，并获得了较高的准确度。