How do learners acquire languages from the limited data available to them? This process must involve some inductive biases - factors that affect how a learner generalizes - but it is unclear which inductive biases can explain observed patterns in language acquisition. To facilitate computational modeling aimed at addressing this question, we introduce a framework for giving particular linguistic inductive biases to a neural network model; such a model can then be used to empirically explore the effects of those inductive biases. This framework disentangles universal inductive biases, which are encoded in the initial values of a neural network's parameters, from non-universal factors, which the neural network must learn from data in a given language. The initial state that encodes the inductive biases is found with meta-learning, a technique through which a model discovers how to acquire new languages more easily via exposure to many possible languages. By controlling the properties of the languages that are used during meta-learning, we can control the inductive biases that meta-learning imparts. We demonstrate this framework with a case study based on syllable structure. First, we specify the inductive biases that we intend to give our model, and then we translate those inductive biases into a space of languages from which a model can meta-learn. Finally, using existing analysis techniques, we verify that our approach has imparted the linguistic inductive biases that it was intended to impart.

中文翻译：

---

通过元学习的通用语言归纳偏差

学习者如何从有限的可用数据中获取语言？这个过程必须涉及一些归纳偏差——影响学习者如何概括的因素——但尚不清楚哪些归纳偏差可以解释语言习得中观察到的模式。为了促进旨在解决这个问题的计算建模，我们引入了一个框架，用于为神经网络模型提供特定的语言归纳偏差；然后可以使用这样的模型来凭经验探索这些归纳偏差的影响。该框架将编码在神经网络参数初始值中的通用归纳偏差与神经网络必须从给定语言的数据中学习的非通用因素分开。编码归纳偏差的初始状态是通过元学习找到的，一种技术，通过该技术，模型可以通过接触多种可能的语言来发现如何更轻松地获取新语言。通过控制元学习期间使用的语言的属性，我们可以控制元学习赋予的归纳偏差。我们通过一个基于音节结构的案例研究来展示这个框架。首先，我们指定我们打算给我们的模型的归纳偏差，然后我们将这些归纳偏差转换为模型可以元学习的语言空间。最后，使用现有的分析技术，我们验证我们的方法已经传递了它打算传递的语言归纳偏差。通过控制元学习期间使用的语言的属性，我们可以控制元学习赋予的归纳偏差。我们通过一个基于音节结构的案例研究来展示这个框架。首先，我们指定我们打算给我们的模型的归纳偏差，然后我们将这些归纳偏差转换为模型可以元学习的语言空间。最后，使用现有的分析技术，我们验证我们的方法已经传递了它打算传递的语言归纳偏差。通过控制元学习期间使用的语言的属性，我们可以控制元学习赋予的归纳偏差。我们通过一个基于音节结构的案例研究来展示这个框架。首先，我们指定我们打算给我们的模型的归纳偏差，然后我们将这些归纳偏差转换为模型可以元学习的语言空间。最后，使用现有的分析技术，我们验证我们的方法已经传递了它打算传递的语言归纳偏差。然后我们将这些归纳偏差翻译成一个语言空间，模型可以从中进行元学习。最后，使用现有的分析技术，我们验证我们的方法已经传递了它打算传递的语言归纳偏差。然后我们将这些归纳偏差翻译成一个语言空间，模型可以从中进行元学习。最后，使用现有的分析技术，我们验证我们的方法已经传递了它打算传递的语言归纳偏差。