MSRA副院长周明：语言智能是人工智能皇冠上的明珠
语言智能是人工智能皇冠上的明珠，如果语言智能能实现突破，跟它同属认知智能的知识和推理就会得到长足的发展，就能推动整个人工智能体系，有更多的场景可以落地。—周明
前几日，在微软亚洲研究院（MSRA）的自然语言处理（NLP）前沿技术分享会上，副院长周明博士从自然语言处理技术的概况、微软亚洲研究院的最新进展及 NLP 的未来发展方向这三个角度为大家做了介绍。PaperWeekly 在此带领大家一起回顾周明博士的分享。
介绍自然语言处理之前，先介绍人工智能。人工智能经过 61 年的发展，起起伏伏，曾经历过两次冬天，随着云计算、大数据、深度学习以及实实在在的应用场景的使用与反馈，使得人工智能又迎来了一个新的春天。
人工智能的一个重要部分是认知智能，包括理解、运用语言的能力，掌握知识、运用知识的能力，以及在语言和知识基础上的推理能力。认知智能又主要集中在语言智能（即自然语言处理）。周明博士强调，语言智能是人工智能皇冠上的明珠，如果语言智能能实现突破，跟它同属认知智能的知识和推理就会得到长足的发展，就能推动整个人工智能体系，有更多的场景可以落地。
自然语言处理是体现语言智能重要的技术，它可以分析、理解或者生成自然语言，实现人与机器的自然交流，同时也有助于人与人之间的交流。周明博士认为自然语言处理包括三个部分，第一部分是 NLP 的基础技术，例如分词、词性标注、语义分析。第二是 NLP 核心技术，包括词汇、短语、句子、篇章的表示，也包括机器翻译、提问和回答、信息检索、信息抽取、聊天和对话、知识工程、语言生成、推荐系统。最后是“NLP+”，指把自然语言处理技术深入到各个应用系统和垂直领域中。如搜索引擎、智能客服、商业智能和语音助手，还有更多在垂直领域——法律、医疗、教育等各个方面的应用。
自然语言处理技术也经历了从过去的基于规则和统计到如今大范围的使用深度学习，现在词嵌入、机器翻译、问答系统、对话系统等场景使用的主流技术也全部都是用深度学习来体现的。
周明博士从机器翻译、中国文化、聊天机器人和阅读理解这四个领域介绍了微软亚洲研究院取得的最新进展。
1）机器翻译
微软机器翻译在产品和学术界都非常活跃和领先，例如微软在今年 ACL 的长文《Sequence-to-Dependency Neural Machine Translation》中为机器翻译引入了语言知识。现有的 encoder-decoder 框架没有体会内在的词汇和词汇之间的修饰关系，因此把句法知识引入到神经网络编码、解码之中，得到了更佳的翻译，指标有了很大程度的提升。此外，考虑到在很多领域是有知识图谱的，去年微软在 ACL 上发表的《Knowledge-Based Semantic Embedding for Machine Translation》一文中把知识图谱纳入到传统的神经网络机器翻译当中来规划语言理解的过程。其假设就是虽然大家的语言可能不一样，但是体现在知识图谱的领域上可能是一致的，因此可以用知识图谱增强编码、解码。而在产品的角度，微软还推出了叫做 Microsoft Translator Live Feature 的新的翻译功能，这个功能让演讲者使用自己熟悉的语言演讲，同时让台下的观众用自己的语言接收到演讲者的内容，从而更好的理解和沟通（现场演示效果巨佳）。
2）中国文化
微软亚洲研究院利用自然语言处理的技术，尤其是机器翻译的经验，果断进军到中国文化里，推出了一系列如微软对联、微软字谜、微软绝句等产品。不久前还推出了诗歌创作功能，即用户提交照片后可以得到与其意境相符的自由体诗歌，并已发布到小冰平台。
3）聊天机器人
周明博士侧重介绍了众所周知的小冰和小娜其背后的三层处理引擎技术。第一层：通用聊天，需要掌握沟通技巧、通用聊天数据、主题聊天数据，还要知道用户画像，投其所好。第二层：信息服务和问答，需要搜索的能力，问答的能力，还需要对常见问题表进行收集、整理和搜索，从知识图表、文档和图表中找出相应信息回答问题。第三层：面向特定任务的对话能力，例如定咖啡、定花、买火车票，这个任务是固定的，状态也是固定的，状态转移也是清晰的，那么就可以用 Bot 一个一个实现。最后配上一个调度系统理解用户的意图，调用相应的 Bot 执行相应的任务。同时，微软推出的 Bot Framework 的平台可以让任何一个开发者只用几行代码就可以完成自己所需要的 Bot。
4）阅读理解
阅读理解顾名思义就是给你一篇文章，看你理解到什么程度。微软在今年的 ACL 发表的 《R-Net Machine Reading Comprehension With self-matching Networks》在 SQuAD 和 MS-MARCO 阅读理解任务上都取得了最好的效果。
周明博士认为，未来 5－10 年，NLP 技术将走向成熟，并做了如下 6 个预期：
口语机器翻译完全普及：并不意味着同声翻译、专业文献翻译彻底解决；
自然语言会话达到实用：但不代表任何任务和不同语言都能达到实用；
智能客服＋人工客服完美结合大大提高效率：问答、简单的任务解决基本可以解决，复杂情况依然无法解决，实际上是人工智能跟人类智能完美生产线的结合来提高一个很好的生产力；
自动写诗、新闻、小说、流行歌曲流行起来；
推动语音助手、物联网、智能硬件、智能家居普及；
与其它 AI 技术共同在金融、法律、教育、医疗等垂直领域得到广泛应用。
但是同时也要清晰的认识到自然语言处理还有很多很多没有解决的问题，也是需要努力的方向。
通过用户画像实现个性化服务：人类的对话是会针对不同对象的，目前机器还做不到；
通过可解释的学习洞察人工智能机理：尽管有一些视觉化的工作，但是都比较粗浅，还没有达到最精准的判定和跟踪；
通过知识与深度学习结合提升学习效率；
通过迁移学习实现领域自适应；
通过强化学习实现自我演化：即通过显式和隐式反馈不断提升系统；
通过无监督学习充分利用未标注数据。
最后在问答环节，周明博士也回答了 PaperWeekly 关于chatbot 上下文建模的问题。周明博士解释道上下文建模这件事是需要花大力气的。在生成下一句的时候要跟前好几句切合，包括信息上切合、语调上切合、情感上切合等。如果只是简单用编码解码来做，那个效果不会很好。在此非常感谢周明博士的解答。
关于PaperWeekly
PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。