Deep learning has shown great success in settings with massive amounts of data but has struggled when data is limited. Few-shot learning algorithms, which seek to address this limitation, are designed to generalize well to new tasks with limited data. Typically, models are evaluated on unseen classes and datasets that are defined by the same fundamental task as they are trained for (e.g. category membership). One can also ask how well a model can generalize to fundamentally different tasks within a fixed dataset (for example: moving from category membership to tasks that involve detecting object orientation or quantity). To formalize this kind of shift we define a notion of "independence of tasks" and identify three new sets of labels for established computer vision datasets that test a model's ability to generalize to tasks which draw on orthogonal attributes in the data. We use these datasets to investigate the failure modes of metric-based few-shot models. Based on our findings, we introduce a new few-shot model called Fuzzy Simplicial Networks (FSN) which leverages a construction from topology to more flexibly represent each class from limited data. In particular, FSN models can not only form multiple representations for a given class but can also begin to capture the low-dimensional structure which characterizes class manifolds in the encoded space of deep networks. We show that FSN outperforms state-of-the-art models on the challenging tasks we introduce in this paper while remaining competitive on standard few-shot benchmarks.

中文翻译：

---

模糊简单网络：一种拓扑启发模型，用于改善小样本学习中的任务泛化

深度学习在具有大量数据的环境中取得了巨大的成功，但在数据有限时却陷入困境。旨在解决这一限制的小样本学习算法旨在很好地推广到数据有限的新任务。通常，模型是在看不见的类和数据集上进行评估的，这些类和数据集由与它们训练时相同的基本任务定义（例如类别成员资格）。人们还可以询问模型在固定数据集中泛化到根本不同的任务的能力如何（例如：从类别成员转移到涉及检测对象方向或数量的任务）。为了使这种转变形式化，我们定义了“任务独立性”的概念，并为已建立的用于测试模型的计算机视觉数据集确定了三组新标签。泛化到利用数据中正交属性的任务的能力。我们使用这些数据集来研究基于度量的小样本模型的故障模式。根据我们的发现，我们引入了一种新的称为模糊简单网络 (FSN) 的小样本模型，该模型利用拓扑结构来更灵活地表示有限数据中的每个类。特别是，FSN 模型不仅可以为给定的类形成多种表示，而且还可以开始捕获表征深度网络编码空间中类流形的低维结构。我们表明 FSN 在我们在本文中介绍的具有挑战性的任务上优于最先进的模型，同时在标准的小样本基准测试中保持竞争力。我们使用这些数据集来研究基于度量的小样本模型的故障模式。根据我们的发现，我们引入了一种新的称为模糊简单网络 (FSN) 的小样本模型，该模型利用拓扑结构来更灵活地表示有限数据中的每个类。特别是，FSN 模型不仅可以为给定的类形成多种表示，而且还可以开始捕获表征深度网络编码空间中类流形的低维结构。我们表明 FSN 在我们在本文中介绍的具有挑战性的任务上优于最先进的模型，同时在标准的小样本基准测试中保持竞争力。我们使用这些数据集来研究基于度量的小样本模型的故障模式。根据我们的发现，我们引入了一种新的称为模糊简单网络 (FSN) 的小样本模型，该模型利用拓扑结构来更灵活地表示有限数据中的每个类。特别是，FSN 模型不仅可以为给定的类形成多种表示，而且还可以开始捕获表征深度网络编码空间中类流形的低维结构。我们表明 FSN 在我们在本文中介绍的具有挑战性的任务上优于最先进的模型，同时在标准的小样本基准测试中保持竞争力。我们引入了一种称为模糊简单网络 (FSN) 的新模型，该模型利用拓扑结构来更灵活地表示有限数据中的每个类。特别是，FSN 模型不仅可以为给定的类形成多种表示，而且还可以开始捕获表征深度网络编码空间中类流形的低维结构。我们表明 FSN 在我们在本文中介绍的具有挑战性的任务上优于最先进的模型，同时在标准的小样本基准测试中保持竞争力。我们引入了一种称为模糊简单网络 (FSN) 的新模型，该模型利用拓扑结构来更灵活地表示有限数据中的每个类。特别是，FSN 模型不仅可以为给定的类形成多种表示，而且还可以开始捕获表征深度网络编码空间中类流形的低维结构。我们表明 FSN 在我们在本文中介绍的具有挑战性的任务上优于最先进的模型，同时在标准的小样本基准测试中保持竞争力。