ITPub博客

首页 > 人工智能 > 深度学习 > 这些深度学习术语,你了解多少?(下)

这些深度学习术语,你了解多少?(下)

深度学习 作者:dicksonjyl560101 时间:2018-11-14 09:12:10 0 删除 编辑



动量(Momentum)

Momentum是Gradient Descent算法的扩展、可加速或抑制参数更新。

1、

多层感知器(MLP)

多层感知器是一种前馈神经网络,具有多个完全连接的层,使用非线性 来处理不可线性分离的数据。MLP是多层神经网络的最基本形式,如果它超过2层,则是深度神经网络。

神经机器翻译(NMT)

NMT系统使用神经网络在不同语言之间进行翻译,例如英语和法语。NMT系统可以使用双语语料库进行端到端的训练,这与需要手工制作的特征的传统机器翻译系统不同。NMT系统通常使用编码器和解码器递在归神经网络来实现,该编码器和解码器分别是编码源句子和产生目标句子。

1、

2、

神经网络图灵机(NTM)

NMT是神经网络架构,可以从示例中推断出简单的算法。例如,NTM可以通过示例输入和输出来学习排序算法。NTM通常学习某种形式的记忆和注意力机制来在程序执行期间处理状态。

1、

噪声对比估计(NCE)

噪声对比估计是通常用于训练具有大输出词汇的分类器采样损耗。在大量可能的类别上计算 非常昂贵,但使用NCE,我们可以通过训练分类器将问题从“实际”分布和人为生成的噪声分布区分开来,将问题简化为二元分类问题。

1、

2、

受限玻尔兹曼机(RBN)

RBM是一种概率图形模型,也可以解释为随机人工神经网络,RBN以无监督的方式学习数据的表征。RBN由可见层和隐藏层以及这些层中的二进制神经元之间的连接组成。RBN可以使用 ( 进行有效训练,这是梯度下降的近似值。

1、

2、 受限玻尔兹曼机器简介

递归神经网络(RNN)

RNN通过隐藏状态顺序交互,它最多需要N个输入并产生多达N个输出。例如,输入可以是句子,输出是句子的情感分类(N-to-1)。输入可以是单个图像,输出可以是与图像的描述(1到N)对应的单词序列。在每个时间步,RNN基于当前输入和先前隐藏状态计算新的隐藏状态(“存储器”)。“递归性”就是源于这样的事实:在每个步骤中使用相同的参数并且网络基于不同的输入执行相同的计算操作。

结构递归神经网络

结构递归神经网络是 结合树状结构的推广。它也在每次递归时应用相同的权重,但结构递归神经网络可以使用反向传播进行端到端的训练。虽然可以将树结构作为优化问题的一部分来学习,但结构递归神经网络通常应用于已经具有预定义结构的问题,如自然语言处理中的解析树。

1、 用结构递归神经网络解析自然场景和自然语言 处理

RELU

线性整流函数的简称。ReLU通常用作深度神经网络中的 ,它们的定义是f(x)=max(0,x)。ReLU函数在性能上是优于tanh函数,并且它们对 影响较小。ReLUs是卷积神经网络中最常用的激活函数。 存在若干变体,例如 , 或更平滑的 近似。

1、

2、

3、

RESNET

Deep Residual Networks赢得了2015年ILSVRC的挑战。它通过在层的堆栈之间引入快捷方式连接来工作,允许优化器学习“更容易”的残差映射,而不是更复杂的原始映射。ResNet在ImageNet测试集上实现了3.57%的错误率。

1、

RMSProp

RMSProp是一种基于梯度的优化算法,它与 类似,但引入了额外的衰减方法来抵消Adagrad学习率的快速下降。

1、<u style="box-sizing: border-box;">用于机器学</u><u style="box-sizing: border-box;">习</u><u style="box-sizing: border-box;">的神</u><u style="box-sizing: border-box;">经</u><u style="box-sizing: border-box;">网</u><u style="box-sizing: border-box;">络</u>

2、

3、

Seq2Seq

序列到序列模型将序列(例如句子)作为输入读取并产生另一序列作为输出。它与标准 不同之处在于,在网络开始产生任何输出之前完全读取输入序列。通常,seq2seq模型使用两个RNN实现,用作编码器和解码器。 是seq2seq模型的典型示例。

1、

SGD

随机梯度下降是一种基于梯度的优化算法,用于在训练阶段学习网络参数,通常使用 算法计算梯度。在实践中,人们使用SGD的小批量版本,其中参数更新是基于批次而不是单个示例来执行的,从而提高了计算效率。存在许多对vanilla SGD的扩展,包括 、 、 、 或 。

1、

2、

3、

SOFTMAX

通常用于将原始分数的向量转换成在一个神经网络的概率类用于分类的输出层。它通过取幂和除以标准化常数来对分数进行标准化。如果我们正在处理大量的类,例如机器翻译中的大量词汇表,标准化这些常量的计算成本很高。这就需要各种替代方案以使计算更有效,包括 或使用基于采样的损失,例如 。

TensorFlow

是一个开源的C++/Python软件库,使用数据流图进行数值计算。它是由Google创建,在设计方面,它与 最相似。

Theano

是一个Python库,允许你自定义、优化和评估数学表达式。它包含许多用于深度神经网络的基础块。Theano是一个类似于 的低级库,高级库包括 和 。

梯度消失问题

消失梯度问题通常出现在非常深的神经网络中,通常是递归神经网络,因为它使用了使梯度趋于很小的激活函数(在0到1的范围内)。而这些小梯度在反向传播期间成倍增加,所以它们倾向于在整个层中“消失”,从而阻止网络学习远程依赖性。解决此问题的常用方法是使用不受小梯度影响的 激活函数或使用明确消除梯度消失的 架构,与此问题相反的是 。

1、

VGG

VGG指的是一种卷积神经网络模型,这个模型分别在2014年ImageNet图像定位和分类中获得第一名和第二名。VGG模型由16-19个权重层组成,并使用尺寸为3×3和1×1的小卷积滤波器。

1、

word2vec

word2vec是一种算法和 ,通过尝试预测文档中单词的上下文来学习词 。例如,生成的单词向量具有一些有趣的属性vector(‘queen') ~= vector('king')-vector('man')+vector('woman')。可以使用两个不同的目标来学习这些嵌入:Skip-Gram目标尝试从单词上预测上下文,并且CBOW目标尝试从其上下文预测单词。

1、

2、

3、


来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/29829936/viewspace-2219866/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
行万里路,读万卷书,阅无数人。 吃货一枚,爱吃湘菜,粤菜与杭帮菜,尝遍天下美食。 摄影爱好者,游遍名川大山,江河胡海,赏遍人间春色。 爱看电影,尤其是国产大片,好莱坞大片。英文名:Dickson Jin, 网名:风一样的BOY。精通SAP供应链咨询。2017年开始研习人工智能。

注册时间:2014-08-27

  • 博文量
    2528
  • 访问量
    3908076