标题：[转帖]让计算机掌握常识：微软发布概念图知识图谱和概念标签模型，含 540 万条概念
微软亚洲研究院10月27日正式发布Microsoft Concept Graph知识图谱 和Microsoft Concept Tagging 模型，用于帮助机器更好地理解人类交流并且进行语义计算。微软在官方微信号中称，新发布的知识图谱和标签模型可以为机器提供文本理解的常识性知识，其中，知识图谱包含了540万条概念。这被认为是让计算机掌握常识的一种尝试和努力。
“我们想做的，是让计算机能够更好地理解人类。”现负责Microsoft Concept Graph 和 Microsoft Concept Tagging 模型的微软亚洲研究院资深研究经理闫峻博士说，“理解是万事万物的基础，我们用计算机抓取过去这些不成文的开放领域的常识，能够帮助计算机更具象地了解这个世界。”
下载地址：https://concept.research.microsoft.com/Home/Download
当我们在讨论人工智能时，请注意，我们通常在讨论弱人工智能。
虽然我们现有的资源与之前可谓不同日而语——部署在云端的海量计算资源已经像水和电一样唾手可得了；互联网所容纳的信息也远远超过了过去几千年来人们所有的知识储备；以深度学习等为代表的机器学习算法的发展，也让计算机能够从这些庞大的数据中获取知识。
但是我们也不得不正视一些事实，当前的人工智能更多的是针对某个具体的问题，发展对应的算法和技术，有人称之为“拼图式”的工作方法：我们做出了视觉模块、再拼上语音模块、推理模块——把每个子领域的功能做好，然后再组合出一个完整的智能系统出来。
微软一直在为这份属于全人类的人工智能大拼图贡献力量。从底层的可编程芯片FPGA，到Azure云平台的部署，从微软认知工具包（Microsoft Cognitive Toolkit），到应用层面的能供每一个没有人工智能背景也能开发出属于自己的智能应用的微软认知服务……随着人工智能拼图不断趋于完整，科学家们始终会问自己：计算机真的能像人类一样智能了吗？
今天，我们很高兴地宣布，微软亚洲研究院正式发布Microsoft Concept Graph知识图谱 和Microsoft Concept Tagging 模型，用于帮助机器更好地理解人类交流并且进行语义计算。Microsoft Concept Graph是一个大型的知识图谱系统。其包含的知识来自于数以亿计的网页和数年积累的搜索日志，可以为机器提供文本理解的常识性知识。（了解更多信息，请访问https://concept.research.microsoft.com/ 或直接点击阅读原文）
Apple是什么
10月初，你的微博、微信可能都被一首叫《PPAP》的神曲占领了。什么，你还没听过？那让我们先来看看这首曲子：
这首歌是有日本谐星古坂和仁（PIKO太郎）于8月25日发布在YouTube上的，一开在日本小范围内炒红；后来由新媒体9GAG发布，其浏览数据立马飙升。9月25日，9GAG在Facebook上传了PPAP，被大V转发以后，迅速火起来。目前，这个视频的播放量已经过亿，并且荣登美国公告牌单曲榜Hot 100。能登陆Hot 100是个什么概念呢？对于亚洲歌曲上榜历史数据来说，最近的一次，是2012年鸟叔的 《江南Style》蝉联了7周亚军的位置。
这首魔性的神曲的歌词非常简单易学：“I have a pen. I have an apple. Apple-pen!”
小编为什么要把这个魔性的神曲分享给大家呢？下面问题来了：当PIKO太郎说出“I have an apple.”时，你第一反应这个“apple”是一种水果，还是一家公司？
你也许会意识到，很多时候帮助你做出判断的并不是一些能够清晰列在书本的知识，而是大量常识性的概念。例如“笔是一种写字的工具”、 “笔是竖直形的可以捏在手里”、“苹果是一种水果或一家公司”等等概念，都有助于我们对歌词的判断和理解。
当下，计算机究竟有多智能了？它可能能轻而易举的战胜一个三四十岁经验丰富的世界顶尖棋手，但是它的学习能力以及完成一般任务的能力可能都远不及一个三四岁的孩童。研究员们从人类的学习成长过程开始入手，试图找到逐步实现机器智能的解决方法。
这个问题的答案可能是“常识”——理解是万物的基础。人们在正式上小学、初中接受系统性教育开始，已经早早地开始了学习的过程。这种与生俱来的本能能让你进入小学之前已经了解诸如“糖是甜的食品”、“水是一种液体”这一类基础的概念，并且随着年龄的增长，这种并不属于某个专业领域的开放性常识也在人们的认知中日积月累，并不断丰富。
微软亚洲研究院今天发布的Microsoft Concept Graph就在试图让计算机复制这些常识性概念，其核心知识库包含了超过540万条概念。除了包含一些被绝大部分通用知识库包含的概念，例如“城市”、“音乐家”等，Microsoft Concept Graph还包含数百万长尾概念，例如“抗帕金森治疗”、“名人婚纱设计师”、“基础的水彩技巧”等，而这些概念在其他的数据库中很难被找到。除了概念，Microsoft Concept Graph同样包含了大量数据空间（每条知识概念都包含一系列的实体或者子概念，例如“太阳系”底下可能就会包括“水星”、“火星”、“地球”等等）。
Apple是甜的
当你看到“Apple是甜的”这句话时，你几乎可以肯定这里的“Apple”指的是我们最常见的那种水果。在这几毫秒的时间里，你触发的是“根据上下文语境确定语义”这一技能。微软亚洲研究院的研究员们同样也为计算机点亮了这棵技能树。
Microsoft Concept Tagging模型可以将文本词条实体映射到不同的语义概念，并根据实体文本内容被标记上相应的概率标签。例如“微软”这个词可以被自动映射到“软件公司”和“科技巨头”等概念，并带有相应的概率标签。这个模型让计算机拥有常识性的计算能力，让机器“了解”人类的意识，从而让机器可以更好地理解人类的文本交流。具体来说，概念模型根据人类的概念推理将实体或者短语映射到大量自动习得的概念空间（向量空间）。这种映射关系是人类和机器都可以理解的。因此该模型提供了文本理解所需的文本概念映射、短语语义化理解等功能。
Microsoft Concept Tagging模型区别于以往常见的文本推理模型的根本区别是它是基于网络之上的一个推理模型，将文本映射到一个显式的知识空间，将文本概念化。以搜索引擎为例，绝大多数的用户的查询词数量是很少的，搜索引擎在返回结果时需要将查询词进行额外的信息化，将很短的文本映射到大量的概念空间里面，从而解释了这一段文本。传统的模型对于文本的推理几乎不可解释，而Microsoft Concept Tagging模型用不同的概念去描述一个词，并给出对应的概率，使机器能够更好地理解文本，另一方面可计算的显性词向量也体现了我们人类智能与人工智能相结合的理念（HI+AI，human in the loop）。例如社交网络的设置中，工程师可能会人为设置一些关键字去屏蔽一些不当言论，但是并不是每一个敏感词工程师都能准确找到。例如工程师屏蔽了“希特勒”、“纳粹”，却忽略了“法西斯”，现在Microsoft Concept Tagging模型就能对已有的概念进行延展，在系统中找到其他类似的相关性很大的关键字，做更多智能的扩展。
理解是万事万物的基础
“我们想做的，是让计算机能够更好地理解人类。”现负责Microsoft Concept Graph 和 Microsoft Concept Tagging 模型的微软亚洲研究院资深研究经理闫峻博士说，“理解是万事万物的基础，我们用计算机抓取过去这些不成文的开放领域的常识，能够帮助计算机更具象地了解这个世界。”
图（从左至右）为微软亚洲研究院研究员纪蕾，资深研究经理闫峻，研究员张大卫
对于这类知识图谱，学术界和工业界都有参与，但始终离不开一些根本问题：如何去获取实体、实体和实体之间的属性和关联。在过去，知识库系统和人类的思考方式差异巨大。例如“奥巴马生日”，过去计算机能理解这个词的含义，但是却不能直接给你回答，而此次微软开放的Microsoft Concept Graph 和 Microsoft ConceptTagging模型就希望能为人们提供一个更智能化知识图谱，借助它，从实体到抽象概念，计算机都能够理解。
谈及Microsoft Concept Graph 和 Microsoft Concept Tagging模型的下一步计划，闫峻博士表示目前该模型暂只能支持英文，还要和高校合作完成中文的支持工作。在完成中文的知识库构建之后，再逐步扩展到多语言版本。其次，人类的语言还涉及到比喻、夸张和玩笑等高层次跨领域的抽象表达方法，这也是接下来需要让机器不断学习的方向。最后，从短文本的理解到长文本的理解，如理解两个完全不同的故事，但语义层面在表达同样的道理，也是他们接下来不断努力的方向。
Microsoft Concept Graph 和 Microsoft Concept Tagging模型可以应用于不同的文本处理应用，包括搜索引擎、自动问答系统、在线广告系统、推荐引擎、聊天机器人、以及人工智能系统等。目前这个模型已经进入了微软的多个产品和服务中。微软亚洲研究院高级研究经理闫峻博士表示：“我们希望Microsoft Concept Graph和Microsoft Concept Tagging模型的发布可以推动知识挖掘、自然语言处理等领域的发展，最终推动人工智能的进步。“