资源 | MIT自然语言处理数据集和语料库集合

最近，麻省理工学院（MIT）的在读博士 Karthik Narasimhan 发起了一个为自然语言处理（NLP）准备的数据集/语料库列表，以时间顺序排列。该列表将持续更新。

项目地址：https://github.com/karthikncode/nlp-datasets

范围

• 问答系统

• 对话系统

• 面向目标的对话系统

问答系统

MS MARCO：人工生成的机器阅读理解数据集，来自微软，2016。

论文：https://arxiv.org/abs/1611.09268

数据：http://www.msmarco.org/

NewsQA：Maluuba 的机器理解数据集，2016。

论文：https://arxiv.org/abs/1611.09830

数据：https://github.com/Maluuba/newsqa

SQuAD：超过 100,000 个问题和其机器理解文本的数据集，由斯坦福大学推出，2016。

论文：https://arxiv.org/abs/1606.05250

数据：https://rajpurkar.github.io/SQuAD-explorer/

GraphQuestions：一个特征丰富的事实性问题回答数据集，来自 EMNLP 16 论文《On Generating Characteristic-rich Question Sets for QA Evaluation》，2016。

论文：http://suo.im/4u7oFE

数据：https://github.com/ysu1989/GraphQuestions

Story Cloze：一个常见故事的语料库和有关故事的总结性语句，来自美国罗切斯特大学，2016。

论文：https://arxiv.org/abs/1604.01696

数据：http://cs.rochester.edu/nlp/rocstories/

Children's Book Test：金发女孩原则（当给定样品的一些属性可以从一个极端到另一个极端（例如从极冷至极热）的尺度分布时，一些数据将落在这些极端之间）: 以内存显式方式表示的儿童图书，2015。

论文：https://arxiv.org/abs/1511.02301

数据：http://cs.rochester.edu/nlp/rocstories/

SimpleQuestions：大量使用记忆网络的简单问答数据，2015。

论文：https://arxiv.org/pdf/1506.02075v1.pdf

数据：http://suo.im/2eiX0O。

WikiQA：一个开放问题与回答的挑战数据集，由微软推出，2015。

论文：http://suo.im/1bqPMh

数据：http://suo.im/3aJVyp

CNN-DailyMail：用于训练机器进行阅读理解任务的数据集，2015。

论文：https://arxiv.org/abs/1506.03340

代码：https://github.com/deepmind/rc-data

数据：http://cs.nyu.edu/~kcho/DMQA/。

QuizBowl：一个神经网络，用于长段回答事实问题，来自马里兰大学，2014。

论文：http://suo.im/2xcBDv

数据：http://suo.im/3O37SP

MCTest：一个用于开放问题机器理解文本的数据集，来自微软，2013。

论文：http://suo.im/VLBOk

数据：http://suo.im/gZDhk

QASent：Jeopardy 模型？一个用于机器问答的准同步语法数据集，2007。

论文：http://suo.im/3mxr3C

数据：http://suo.im/4mrv9H

对话系统

Ubuntu Dialogue Corpus：一个用于非结构化多回路对话系统研究的大型数据集，2015。

论文：https://arxiv.org/abs/1506.08909

数据：http://suo.im/2pbKCC

面向目标的对话系统

Frames：用于向面向目标的对话系统加入记忆的语料库，Maluuba，2016。

论文：http://suo.im/36jcl2

数据：http://datasets.maluuba.com/Frames

DSTC 2 & 3：对话状态跟踪挑战（Dialog State Tracking Challenge）2 和 3，2013。

论文：http://suo.im/2PzSZc

数据：http://camdial.org/~mh521/dstc/  

本文为机器之心编译，转载请联系本公众号获得授权。

✄------------------------------------------------

加入机器之心（全职记者/实习生）：hr@jiqizhixin.com

投稿或寻求报道：editor@jiqizhixin.com

广告&商务合作：bd@jiqizhixin.com