设为首页 - 加入收藏
广告 1000x90
您的当前位置:黄大仙综合资料大全2018年 > 句法树 > 正文

CNN已老GNN来了!清华大学孙茂松组一文综述G

来源:未知 编辑:admin 时间:2019-06-07

  本文将带你了解UCI数据库的Python API,通过实际案例拆解并讲解代码。

  [ 导读 ]深度学习无法进行因果推理,而图模型(GNN)或是解决方案之一。清华大学孙茂松教授组发表综述论文,全面阐述GNN及其方法和应用,并提出一个能表征各种不同GNN模型中传播步骤的统一表示。文中图表,建议高清打印过塑贴放手边作参考。

  这个问题的回答仁者见仁,但图灵奖得主Judea Pearl大概有99.9%的几率会说,是无法进行因果推理。

  对于这个问题,业界正在进行积极探索,而其中一个很有前景的方向就是图神经网络(Graph Neural Network, GNN)。

  “图神经网络是连接主义与符号主义的有机结合,不仅使深度学习模型能够应用在图这种非欧几里德结构上,还为深度学习模型赋予了一定的因果推理能力。”论文的共同第一作者周界说。

  “在深度学习方法的鲁棒性与可解释性受到质疑的今天,图神经网络可能为今后人工智能的发展提供了一个可行的方向。”

  GNN最近在深度学习领域受到了广泛关注。然而,对于想要快速了解这一领域的研究人员来说,可能会面临着模型复杂、应用门类众多的问题。

  “本文希望为读者提供一个更高层次的视角,快速了解GNN领域不同模型的动机与优势。”周界告诉新智元:“同时,通过对不同的应用进行分类,方便不同领域的研究者快速了解将GNN应用到不同领域的文献。”

  毫不夸张地说,论文中的图表对于想要了解学习GNN乃至因果推理等方向的研究者来说,简直应该高清打印过塑然后贴在墙上以作参考——

  GNN的各种变体,通过比对各自的 aggregator & updater,就能轻松分辨不同的GNN模型。这只是这篇综述强大图表的一个示例。

  在内容上,模型方面,本文从GNN原始模型的构建方式与存在的问题出发,介绍了对其进行不同改进的GNN变体,包括如何处理不同的图的类型、如何进行高效的信息传递以及如何加速训练过程。最后介绍了几个近年来提出的通用框架,它们总结概括了多个现有的方法,具有较强的表达能力。

  在应用上,文章将GNN的应用领域分为了结构化场景、非结构化场景以及其他场景并介绍了诸如物理、化学、图像、文本、图生成模型、组合优化问题等经典的GNN应用。

  文章最后提出了四个开放性问题,包括如何处理堆叠多层GNN造成的平滑问题,如何处理动态变化的图结构,如何使用通用的方法处理非结构化的数据以及如何将其扩展到更大规模的网络上。

  接着,我们介绍了几种不同的GNN变体,这些变体具有不同的图形类型,利用不同的传播函数和训练方法。

  如前所述,图神经网络(GNN)的概念最早是Scarselli等人在2009年提出的,它扩展了现有的神经网络,用于处理图(graph)中表示的数据。在图中,每个节点是由其特性和相关节点定义的。

  虽然实验结果表明,GNN是建模结构化数据的强大架构,但原始GNN仍存在一些局限性。

  首先,对于固定节点,原始GNN迭代更新节点的隐藏状态是低效的。如果放宽了固定点的假设,我们可以设计一个多层的GNN来得到节点及其邻域的稳定表示。

  其次,GNN在迭代中使用相同的参数,而大多数流行的神经网络在不同的层中使用不同的参数,这是一种分层特征提取方法。此外,节点隐藏状态的更新是一个顺序过程,可以从RNN内核(如GRU 和 LSTM)中获益。

  第三,在边上也有一些无法在原始GNN中建模的信息特征。此外,如何学习边的隐藏状态也是一个重要的问题。

  最后,如果我们把焦点放在节点的表示上而不是图形上,就不适合使用固定点,因为在固定点上的表示的分布在数值上是平滑的,区分每个节点的信息量也比较少。

  在这一节,我们提出图神经网络的几种变体。首先是在不同图类型上运行的变体,这些变体扩展了原始模型的表示能力。其次,我们列出了在传播步骤进行修改(卷积、门机制、注意力机制和skip connection)的几种变体,这些模型可以更好地学习表示。最后,我们描述了使用高级训练方法的标题,这些方法提高了训练效率。

  在原始GNN中,输入的图由带有标签信息的节点和无向的边组成,这是最简单的图形格式。然而,世界上有许多不同的图形。这里,我们将介绍一些用于建模不同类型图形的方法。

  图形的第一个变体是有向图。无向边可以看作是两个有向边,表明两个节点之间存在着关系。然而,有向边比无向边能带来更多的信息。例如,在一个知识图中,边从head实体开始到tail实体结束,head实体是tail实体的父类,这表明我们应该区别对待父类和子类的信息传播过程。有向图的实例有ADGPM (M. Kampffmeyer et. al. 2018)。

  图的第二个变体是异构图,异构图有几种类型的节点。处理异构图最简单的方法是将每个节点的类型转换为与原始特征连接的一个one-hot特征向量。异构图如GraphInception。

  图的另外一个变体是,每条边都有信息,比如权值或边的类型。例如G2S和R-GCN。

  除了图神经网络的不同变体之外,我们还介绍了几个通用框架,旨在将不同的模型集成到一个框架中。

  尽管GNN在不同领域取得了巨大成功,但值得注意的是,GNN模型还不能在任何条件下,为任何图任务提供令人满意的解决方案。这里,我们将陈述一些开放性问题以供进一步研究。

  传统的深度神经网络可以堆叠数百层,以获得更好的性能,因为更深的结构具备更多的参数,可以显著提高网络的表达能力。然而,GNN总是很浅,大多数不超过三层。

  实验显示,堆叠多个GCN层将导致过度平滑,也就是说,所有顶点将收敛到相同的值。尽管一些研究人员设法解决了这个问题,但这仍然是GNN的最大局限所在。设计真正的深度GNN对于未来的研究来说是一个令人兴奋的挑战,并将对进一步深入理解GNN做出相当大的贡献。

  动态图形另一个具有挑战性的问题是如何处理具有动态结构的图形。静态图总是稳定的,因此对其进行建模是可行的,而动态图引入了变化的结构。当边和节点出现或消失时,GNN不能自适应地做出改变。目前对动态GNN的研究也在积极进行中,我们认为它是一般GNN的具备稳定性和自适应性的重要里程碑。

  我们讨论了GNN在非结构场景中的应用,但我们没有找到从原始数据中生成图的最佳方法。在图像域中,一些研究可以利用CNN获取特征图,然后对其进行上采样,形成超像素作为节点,还有的直接利用一些对象检测算法来获取对象节点。在文本域中,有些研究使用句法树作为句法图,还有的研究采用全连接图。因此,关键是找到图生成的最佳方法,使GNN在更广泛的领域发挥更大的作用。

  如何将嵌入式算法应用于社交网络或推荐系统这类大规模网络环境,是几乎所有图形嵌入算法面对的一个致命问题,GNN也不例外。对GNN进行扩展是很困难的,因为涉及其中的许多核心流程在大数据环境中都要消耗算力。

  这种困难体现在几个方面:首先,图数据并不规则,每个节点都有自己的邻域结构,因此不能批量化处理。其次,当存在的节点和边数量达到数百万时,计算图的拉普拉斯算子也是不可行的。此外,我们需要指出,可扩展性的高低,决定了算法是否能够应用于实际场景。目前已经有一些研究提出了解决这个问题的办法,我们正在密切关注这些新进展。

  在过去几年中,GNN已经成为图领域机器学习任务的强大而实用的工具。这一进展有赖于表现力,模型灵活性和训练算法的进步。在本文中,我们对图神经网络进行了全面综述。对于GNN模型,我们引入了按图类型、传播类型和训练类型分类的GNN变体。

  此外,我们还总结了几个统一表示不同GNN变体的通用框架。在应用程序分类方面,我们将GNN应用程序分为结构场景、非结构场景和其他18个场景,然后对每个场景中的应用程序进行详细介绍。最后,我们提出了四个开放性问题,指出了图神经网络的主要挑战和未来的研究方向,包括模型深度、可扩展性、动态图处理和对非结构场景的处理能力。

  文章目录1简介1.1GNN简史1.2GNN的相关研究1.3GNNvs网络嵌入1.4文章的创新型2定义3分类和框架3.1GNNs分类3.2框架4图卷积网络4.1基于光谱的GCN4.1.1背景4.1.2基...博文来自:李滚滚的博客

  来源:新智元本文共4263字,建议阅读8分钟。本文讲述了DeepMind联合谷歌大脑、MIT等机构27位作者发表重磅论文,提出“图网络”(Graphnetwork),将......博文来自:THU数据派

  1.图神经网络(GraphNNs)可能解决图灵奖得主JudeaPearl指出的深度学习无法做因果推理的核心问题。2.如果AI要实现人类一样的能力,必须将组合泛化(combinatorialgener...博文来自:萝卜的博客

  人工神经网络是计算智能和机器学习研究的最活跃的分支之一,它是从人脑的生理结构出发,探讨人类智能活动的机理。从1943年McCulloch和Pitts首先提出MP神经元数学模型开始,神经网络的研究大致经...博文来自:yunxinan的专栏

  当下AI的瓶颈:静观现有AI,尤其是DeepLearning的发展如火如荼,几大热炒的明星模型无非MLP,CNN,和RNN。这些模型更倾向于是对现实世界的representationlearning,...博文来自:Trasper1的博客

  SIGAI特约作者FisherYuCV在读博士研究方向:情感计算什么是行人重识别(ReID)如下图,给定一个行人图或行人视频作为查询query,在大规模底库中找出与其最相近的同一ID的行人图或行人视频...博文来自:SIGAI_CSDN的博客

  Abstract数据包含许多潜在关系可以表示为图,这些数据存在于科学和工程的众多领域,比如计算机视觉、分子化学、分子生物、模式识别以及数据挖掘。本文提出了一种新型的神经网络模型,称为图神经网络(GNN...博文来自:明远

  图神经网络(GNN)热度持续上升,之前我们曾介绍了清华两篇综述论文,参见:深度学习时代的图模型,清华发文综述图网络,和清华大学图神经网络综述:模型与应用。最近,IEEEFellow、SeniorMem...博文来自:weixin_33845881的博客

  2018/6/8学习记录标签(空格分隔):记录深度学习深度学习的一般性原则:先通过非监督学习对网络逐层进行贪婪的预训练,再用监督学习对网络进行微调。通过预训练的方式可以为深度神经网络提供较为理想的初始...博文来自:seahawkk的博客

  图深度神经网络综述(一)参考文献:DeepLearningonGraphs:ASurvey简介在图结构数据上使用深度学习的限制:图的不规则性与图像,音频或文本数据不同,图是一种不规则的数据结构。因此,...博文来自:梦家の博客

  本文讲述了DeepMind联合谷歌大脑、MIT等机构27位作者发表重磅论文,提出“图网络”(Graphnetw...博文来自:喜欢打酱油的老鸟

  《3DGraphNeuralNetworksforRGBDSemanticSegmentation》论文笔记一、摘要随着深度传感器的发展,RGBD语义分割被应用于许多问题上,如:虚拟现实,机器人以及人...博文来自:小执着的博客

  【新智元导读】图神经网络(GNN)在各个领域越来越受欢迎,本文介绍了...博文来自:喜欢打酱油的老鸟

  博客刷不出来图的,去知乎地址吧,没图不好懂的。什么是离散卷积?CNN中卷积发挥什么作用...博文来自:weixin_40013463的博客

  这是一份ppt文档,入门图神经网络的好资源,了解GNN的基本原理,训练方法,以及其各种变体的应用。

  入门图神经网络的好资源,了解GNN的基本原理,训练方法,以及其各种变体的应用。入门图神经网络的好资源,了解GNN的基本原理,训练方法,以及其各种变体的应用。入门图神经网络的好资源,了解GNN的基本原理

  Datagrid是我们比较常用的一个控件,在FLEX3中的,我想网上的资料很多。到了4.5后换成Spart可能有些用法不用上了,在网上查了一些例子,整合在一起,当给自己作个笔记,也希望能对别人有个参考...博文来自:xhhuang1979的专栏

  来源:图灵人工智能概要:机器翻译的目标是利用计算机实现自然语言之间的自动翻译。机器翻译经历了规则机器翻译、统计机器翻译、神经机器翻译。刘洋,清华大学计算机科学与技术系副教授,博士生导师,国家优秀青年基...博文来自:人工智能学家

  文章来源:机器之心论文地址:生成对抗网络(GAN)提供了一种不需要大量标注训练数据就能学习深度表征的方式。它们通过反向传播算法分...博文来自:人工智能爱好者俱乐部

  本文部分参考和摘录了以下文章,在此由衷感谢以下作者的分享!博文来自:snailme的博客

  基于无指导学习策略的无词表条件下的汉语自动分词孙茂松,肖明,邹嘉彦清华大学、香港城市大学2004年6月计算机学报互信息、t-测试差、线性叠加、波峰波谷由于这个时候还没有SIGHAN2005,所以不好评...博文来自:++

  转载自图神经网络(原始版本)图神经网络现在的威力和用途也再慢慢加强我从我看过的最原始和现在慢慢最新的论文...博文来自:u012678060的博客

  应广大学术同行的请求,将以往研究的一些代码进行整理,特发布一个学术版本的小软件工具:SuperpixelMerge,基本功能:实现超像素的区域合并参数说明:共7个参数,分别为图像路径、超像素分割标记图...博文来自:Guzenyel的专栏

  原文地址:此篇为学习笔记(备忘) 论文地址:博文来自:zichen7055的博客

  图网络(GN)在深度学习短板即因果推理上拥有巨大潜力,很有可能成为机器学习领域的下一个增长点,而图神经网络(GNN)正属于图网络的子集。GNN近期在图形分类任务上得到了当前最佳的结果,但其存在平面化的...博文来自:机器之心

  介绍CNN模型简化以减少参数数量及增加计算效率可分为两种主要方法:一类是设计参数更少、所需计算更少的CNN结构像MobileNet/SqueezeNet/ShuffleNet等;另一类则是在常规CNN...博文来自:weixin_33755649的博客

  在了解过RNN之后,还需要了解另一种在深度学习上应用广泛的网络——CNN(卷及神经网络,ConvolutionalNeuralNetwork),特别是在图像识别领域,CNN由于其方便性,可靠性等特点,...博文来自:宣小K的博客

  第1章课程介绍深度学习的导学课程,主要介绍了深度学习的应用范畴、人才需求情况和主要算法。对课程章节、课程安排、适用人群、前提条件以及学习完成后达到的程度进行了介绍,让同学们对本课程有基本的认识。1-1...博文来自:的博客

  图网络(GN)在深度学习短板即因果推理上拥有巨大潜力,很有可能成为机器学习领域的下一个增长点,而图神经网络(GNN)正属于图网络的子集。GNN近期在图形分类任务上得到了当前最佳的结果,但其存在平面...博文来自:wanchaochaochao的博客

  近日,Bengio团队提出了基于近邻节点注意机制的网络架构GAT,可用于处理复杂、不规则结构的计算图,并在三种困难的基准测试中得到了业内最佳水平,研究人员称该模型有望在未来处理任意不规则结构图。该论文...博文来自:机器之心

  对象的内存分配从大方向上将,就是在堆上分配(但也可能经过JIT编译后被拆散为标量类型并间接在栈上分配),对象主要分配在新生代的Eden区上,如果启动了本地线程分配缓冲,将按线程优先在TLAB(转换后援...博文来自:小小本科生成长之路

  最近比较有空,大四出来实习几个月了,作为实习狗的我,被叫去研究Docker了,汗汗! Docker的三大核心概念:镜像、容器、仓库 镜像:类似虚拟机的镜像、用俗话说就是安装文件。 容器:类似一个轻量...博文来自:我走小路的博客

  前面既然写了中缀转后缀的,那么现在说下中缀转前缀的,至于后缀(前缀)转中缀,可以根据相关的转换规则自行转换。目的将中缀表达式(即标准的表达式)转换为前缀表达式例如:1+2*3+(4*5+6)7 转换成...博文来自:Xefvan的博客

  jquery/js实现一个网页同时调用多个倒计时(最新的) 最近需要网页添加多个倒计时. 查阅网络,基本上都是千遍一律的不好用. 自己按需写了个.希望对大家有用. 有用请赞一个哦! //js ...博文来自:Websites

  网上查了一下工业视觉标定板,少则几百大洋,多则几千大洋,就想在A4纸上山寨打印一个标定图,就是黑白方格相间的那种。A4纸的标准大小为210*297mm。搞了个把小时,其实想明白了之后很简单。从每...博文来自:eric_e的博客

  在MATLAB中,可以注释一段程序。 使用“%{”和“%}”。 例如 %{ 。。。 %} 即可。 经典方法是用 if 0,但缺点是不够直观,注释掉的内容仍然保持代码的颜色。现在可以用 ...博文来自:知识小屋

  一、代理模式为某个对象提供一个代理,从而控制这个代理的访问。代理类和委托类具有共同的父类或父接口,这样在任何使用委托类对象的地方都可以使用代理类对象替代。代理类负责请求的预处理、过滤、将请求分配给委托...博文来自:小小本科生成长之路

  用CSS写背景图片,background-image:url(1.jpg); 但是一直都不显示图片,只有原本写好的div的边框。 一般不显示都是路径写错的问题,(图片的相对路径是指相对于写这条c...博文来自:yovven的博客

本文链接:http://solidindia.net/jufashu/141.html

相关推荐:

网友评论:

栏目分类

现金彩票 联系QQ:24498872301 邮箱:24498872301@qq.com

Copyright © 2002-2011 DEDECMS. 现金彩票 版权所有 Power by DedeCms

Top