设为首页 - 加入收藏
广告 1000x90
您的当前位置:黄大仙综合资料大全2018年 > 句法树 > 正文

什么是Transition-based基于转移的框架?

来源:未知 编辑:admin 时间:2019-05-17

  其中两个词之前的弧表示这两个词有依存关系,弧上的标签为二者的关系,弧的始发点为父亲节点,箭头指向为孩子节点。比如The 和 fox 是冠词+名词(det)的名词短语。

  除了一个词,即根节点(这里为jumped)外,其他词都有词作为父亲节点,而该根节点(jumped)的父亲节点为root。

  根据该表的父亲节点索引和对应的弧上关系就能还原该依存句法树。其中-1表示根节点。

  我们通常将依存句法的特征融入到其他任务模型里,比如机器翻译、意见挖掘、语篇分析等,一般能得到更好的性能。

  将依存句法树喂给递归神经网络,得到的隐层表示可以作为该依存句法的特征表示。

  这个框架由状态和动作两部分构成,其中状态用来记录不完整的预测结果,动作则用来控制状态之间的转移。

  用在生成依存句法树上,则具体表示为从空状态开始,通过动作转移到下一个状态,一步一步生成依存句法树,最后的状态保存了一个完整的依存树。依存分析就是用来预测词与词之间的关系,现在转为预测动作序列。在基于转移的框架中,我们定义了4种动作(栈顶的元素越小表示离栈顶越近):

  所以,我们基于转移的依存句法分析器就由预测树结构问题转为预测动作序列问题。使得问题简单了不少。

  而且1为2的孩子,所以此时的动作为左规约arc_left,1下沉,为2的孩子(此时实际操作为1被踢出栈,栈里剩为0、2,踢出是因为最后能根据动作序列还原整个依存树,当然也为了接下来的操作方便),此时标签为amod:

  发现0、2之间有依存关系,其中0为2的孩子,所以此时操作为左规约,此时标签为det

  按照正常操作,此时应该arc_right右规约,但是如果线就下沉,就没了。而一会5要入栈,再查看依存树发现4是自己的爸爸,天呐,5的爸爸没了,找不到了,消失了,其他词都有爸爸,就5没有,还有比这个更惨的吗?这就没发再进行操作了!所以,还有一个潜规则如果操作为栈顶元素要进行arc_right时,不执行该操作,而选择shift。

  而你可能会问arc_left会有这样的问题吗?不会啦,比如3、4进行arc_left操作,3下沉,如果右边的队列中有父亲节点是3,那么就表示该依存树有交叉或者回路!这种是不可能发生的,因为依存树不允许有交叉或者回路!(不信的话,你自己画画试试)

  右下角的数据为词与词之间的关系,这个就是根据动作序列生成的依存关系(父亲,孩子,关系),根据该关系,就能还原成原来的依存树。

  就是词性,比如是NN,VV,VP等。将它当成词的操作一样,用它自己的embedding(和词的embedding不是一个!)表示。

  就是向量拼接,咋拼接都行,cat呀,add呀都行的。自己尝试哪个效果好用哪个,没有死规定。而我们这里用的是cat。

  解码端就需要对每一个状态打出所有动作的得分。根据经验,认为栈顶三元素和队列首元素为动作预测关键特征,于是将栈顶三元素

  对每一个动作的分数进行Softmax概率化,然后输入到交叉熵中,作为目标函数。然后再用Adam来进行更新模型参数,最小化目标函数:

  文章出处:【微信号:zenRRan,微信公众号:深度学习自然语言处理】欢迎添加关注!文章转载请注明出处。

  David,加州大学物理博士,美国著名电商数据科学家。本课程介绍什么是深度学习, 深度学习与机器学习的关系,几种神经网络

  David,加州大学物理博士,美国著名电商数据科学家。本课程介绍什么是深度学习, 深度学习与机器学习的关系,几种神经网络

  今年愚人节当天,阿里宣布了一项新技术被称为“AI谣言粉碎机”。这项技术的算法模型通过深度学习和神经网....

  对于图像分类问题,Dense层可能是不够的。但我们也可以另辟蹊径!有完整的卷积神经网络可供下载。我们....

  开源的特斯拉线圈项目,基本上,特斯拉线圈由空气耦合变压器组成,具有非常高的匝数比。

  PA利用Tesla V100 GPU Tensor核心的强大计算力缩短模型训练时间、提升模型迭代速度

  阿里巴巴PAI团队的自动混合精度转换在PAI平台深度定制的Tensorflow框架PAI-Tenso....

  在材料学领域,对分子或晶体结构的特征描述需要满足平移,转动,镜面不变性,以及对整体结构特异信息的表征....

  我们提出在基础的迭代式攻击方法上加入动量项,避免在迭代过程中可能出现的更新震荡和落入较差的局部极值,....

  英伟达公司,恐怕每一个电脑用户都知道是个伟大的公司,按理说在2018年公布的Xavier Drive....

  人类和部分动物都具有一种数量感知能力,不需要刻意数数,就能凭借视觉对数量多少得出一个基本判断,甚至直....

  前馈神经网络和感知机,信息从前(输入)往后(输出)流动,一般用反向传播(BP)来训练。算是一种监督学....

  确保均值为零,并保持每层输入方差值不变,可以保证信号不会爆炸或消失。该方法既适用于前向传播(用于激活....

  我们将在本实验中使用的 Tensor Processing Unit(TPU)硬件加速器。Googl....

  图形数据可以与很多学习任务一起使用,在元素之间包含很多丰富的关联数据。例如,物理系统建模、预测蛋白质....

  具体来说有四个方面的介绍,包括机器学习的定义、机器学习的起源,以及进化反向、机器学习的分类和类别、最....

  我们现在所使用的神经网络模型,可能有 80% - 90% 的体积是多余的,这浪费了巨大的处理能力。

  多伦多大学的教员、谷歌大脑(Google Brain)研究员杰弗里·辛顿(Geoffrey Hint....

  AAAI 2019 Gaussian Transformer 一种自然语言推理方法

  自然语言推理 (Natural Language Inference, NLI) 是一个活跃的研究领....

  内容为时下最火热的神经网络和深度学习,该教程来源于美国Michael Nielsen的个人网站,他致....

  然而,图像分类问题就是一个非常复杂的工作,它总是借用诸如卷积神经网络(CNN)这样的深度学习模型来完....

  对抗样本不是Bug, 它们实际上是有意义的数据分布特征。来自MIT的最新研究对神经网络的对抗样本问题....

  近日,Nature刊载IBM新研究,使用光学器件打造的“全光学”深度神经网络可以比传统计算方式的能效....

  尽管如此,Hinton 认为目前的 AI 和机器学习方法仍然存在局限性。他指出,大多数计算机视觉模型....

  TensorFlow重磅推出一个全新的图形工具TensorFlow Graphics

  训练一个能够解决这些复杂的3D视觉任务的机器学习系统通常需要大量的数据。由于给数据打标签是一个成本高....

  Sklearn与TensorFlow机器学习实用指南PDF中文版电子书免费下载

  探索机器学习,尤其是神经网络 使用Scikit-Learn全程跟踪一个机器学习项目的例子 探索各种训....

  近日,Nature刊载IBM新研究,使用光学器件打造的“全光学”深度神经网络可以比传统计算方式的能效....

  DNN在计算精度较低时仍能正常工作。因此,DNN网络代表了非传统计算技术的潜在机会。研究人员正在努力....

  Frankle和Carbin发现,一个标准的修剪技巧可以自然的显露出一个子网络,初始化该网络就能提高....

  过去几年里,对抗样本在机器学习社区中得到了极大的关注。关于如何训练模型使它们不易受到对抗样本攻击的工....

  近些年,抑郁倾向趋于年轻化和常态化,虽然相关研究已取得一定成果,但仍缺乏更为客观、准确的抑郁倾向识别....

  属性情感分析是细粒度的情感分类任务。针对传统神经网络模型无法准确构建属性情感特征的问题,提出了一种融....

  针对基于Hopfield神经网络的最大频繁项集挖掘(HNNMFI)算法存在的挖掘结果不准确的问题,提....

  鸡尾酒排序,也就是定向冒泡排序,鸡尾酒搅拌排序,搅拌排序(也可以视作选择排序的一种变形),涟漪排序,....

  将原始句子送入编码器RNN,然后将目标句子送入解码器RNN,同时编码器RNN最终隐层状态会传入解码器....

  开源深度学习软件最早出现在20世纪90年代,当时出现了许多关键的算法突破。从那时起,计算机科学家已经....

  深度学习下的分类,目标检测、语义分割这三个方向具体的概念及其应用场景是什么?

  我们观察一下这些图片的特点,这些图片各种各样,分辨率也各不相同。图片中的猫和狗形状、所处位置、体表颜....

  如何走出这个死循环呢?斯坦福的研究团队试图利用有关“幽默”的理论赋予他们的AI一些创造性的智慧,即教....

  基于以上动机,该研究提出一种有序化神经元方法 (结构示意图如下图1),通过归纳偏置来强化每个神经元中....

  【Elecfans社区精华帖】(190507):快上车!32年老司机教你优化模拟集成!

  电子发烧友总结了以“神经网络”为主题的精选干货,今后每天一个主题为一期,希望对各位有所帮助!(点击标题即可进入页面下载相...

  针对非负矩阵分解(NMF)语音增强算法在低信噪比(SNR)非稳定环境下存在噪声残留的问题,提出一种基....

  今年 ICLR 共接收 1578 篇投稿,相较去年 981 篇有了很大的增加,录用结果如下:1.5%....

  演讲的大部分内容都是关于自动驾驶汽车的,考虑到需求和英伟达在该领域的专业知识,这并不令人意外。Hog....

  为解决传统卷积神经网络(CNN)模型使用池化层进行文本特征降维会损失较多文本语义信息的问题,提出一种....

  修复老照片是利用AI算法替代图像数据中缺失或者损坏的部分。而一键磨皮是在保护头发、眼睛等细节部位外,....

  科学家们把猴子的大脑与神经网络连接起来,试图刺激猴子大脑中负责识别面部的单个神经元

  具体来说,研究人员利用 AI 生成图像并展示给猴子,然后研究猴子的神经元对图像的反应。然后,AI 算....

  梯度爆炸/消失不仅仅是RNN存在的问题。由于链式法则和非线性激活函数,所有神经网络(包括前向和卷积神....

  神经网络的调参无疑是一个巨大的工程。 如何在调参之前拥有更佳的表现?千辛万苦调好了但却过拟合,如何拥....

  一种新的、更精细的对象表示方法 ——RepPoints ,比边界框更好用的目标检测方法

  虽然边界框便于计算,但它们仅提供目标的粗略定位,并不完全拟合对象的形状和姿态。因此,从边界框的规则单....

  为了确定VGGF模型中用于面部特征提取的最佳层,通常必须进行一些试验和错误实验。在本实验中,团队发现....

  据Business Korea报道,三星电子将在人工智能 (AI) 关键技术方面开展更深入的研究活动....

  现如今,有多种深度学习框架可供选择,他们带有自动微分、基于图的优化计算和硬件加速等各种重要特性。对人....

  NNoM (Neural Network on Microcontroller) 是一个轻量化,纯C实现的一个机器学习和神经网络包。AIoT那么火,为...

  德国弗劳恩霍夫智能分析和信息系统研究所(IAIS)日前发布了利用人工智能进行油气勘测的最新成果,这将....

  然而对此我们是否完全没有反抗的余地,我们是否还有觉悟的可能?这需要对技术的意识形态化运作模式做进一步....

  JAVAEE框架学习——Hibernate——Hibernate框架搭建与配置...

  This book is the service guide for the 16700A/16701A/16702A Logic Analysis System....

本文链接:http://solidindia.net/jufashu/35.html
上一篇:没有了
下一篇:认知写作《风格感觉》读书笔记

相关推荐:

网友评论:

栏目分类

现金彩票 联系QQ:24498872301 邮箱:24498872301@qq.com

Copyright © 2002-2011 DEDECMS. 现金彩票 版权所有 Power by DedeCms

Top