积分商城

最新搜索： 激光测距 isplever TMC5160 xds100 UartAssist mdk527
您现在的位置是：首页 > 技术资料 > 生成式对抗网络研究进展
推荐星级：
  • 1
  • 2
  • 3
  • 4
  • 5

生成式对抗网络研究进展

更新时间：2019-12-26 08:08:35 大小：979K 上传用户：IC老兵查看TA发布的资源 标签：学生管理系统 下载积分：1分 评价赚积分 （如何评价?） 打赏 收藏 评论(0) 举报

资料介绍

生成式对抗网络(GAN,generative adversarial network)对生成式模型的发展具有深远意义,自提出后立刻受到人工智能学术界和工业界的广泛研究与高度关注,随着深度学习的技术发展,生成式对抗模型在理论和应用上得到不断推进。首先,阐述生成对抗模型的研究背景与意义,然后,详细论述生成式对抗网络在建模、架构、训练和性能评估方面的研究进展及其具体应用现状,最后,进行分析与总结,指出生成式对抗网络研究中亟待解决的问题以及未来的研究方向。


部分文件列表

文件名 大小
生成式对抗网络研究进展.pdf 979K

【关注视频号领20积分】   【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）
第 39 卷第 2 期  
2018 年 2 月  
通
信
学
报
Vol.39 No.2  
Journal on Communications  
February 2018  
生成式对抗网络研究进展  
王万良，李卓蓉  
（浙江工业大学计算机科学与技术学院，浙江 杭州 310024）  
摘 要：生成式对抗网络（GAN, generative adversarial network）对生成式模型的发展具有深远意义，自提出后立  
刻受到人工智能学术界和工业界的广泛研究与高度关注，随着深度学习的技术发展，生成式对抗模型在理论和应  
用上得到不断推进。首先，阐述生成对抗模型的研究背景与意义，然后，详细论述生成式对抗网络在建模、架构、  
训练和性能评估方面的研究进展及其具体应用现状，最后，进行分析与总结，指出生成式对抗网络研究中亟待解  
决的问题以及未来的研究方向。  
关键词：深度学习；生成式对抗网络；卷积神经网络；自动编码器；对抗训练  
中图分类号：TP183  
文献标识码：A  
doi: 10.11959/j.issn.1000-436x.2018032  
Advances in generative adversarial network  
WANG Wanliang, LI Zhuorong  
College of Computer Science and Technology, Zhejiang University of Technology, Hangzhou 310024, China  
Abstract: Generative adversarial network (GAN) have swiftly become the focus of considerable research in generative  
models soon after its emergence, whose academic research and industry applications have yielded a stream of further  
progress along with the remarkable achievements of deep learning. A broad survey of the recent advances in generative  
adversarial network was provided. Firstly, the research background and motivation of GAN was introduced. Then the re-  
cent theoretical advances of GAN on modeling, architectures, training and evaluation metrics were reviewed. Its  
state-of-the-art applications and the extensively used open source tools for GAN were introduced. Finally, issues that re-  
quire urgent solutions and works that deserve further investigation were discussed.  
Key words: deep learning, generative adversarial network, convolutional neural network, auto-encoder, adversarial  
training  
式模型，即将一个高维的感官输入映射为一个类别  
1 引言  
标签[9,10]，这些成果主要归功于反向传播（BP, back  
propagation）算法[11]和 Dropout 算法[12,13]对模型的  
训练。著名物理学家 Richard 指出，要想真正理解  
一样东西，我们必须能够把它创造出来。因此，要  
想令机器理解现实世界，并基于此进行推理与创  
造，从而实现真正的人工智能，必须使机器能够通  
过观测现实世界的样本，学习其内在统计规律，并  
基于此生成类似样本，这种能够反映数据内在概率  
分布规律并生成全新数据的模型为生成式模型。  
近年来，深度学习在计算机视觉[1,2]、自然语言  
处理[3,4]、语音[5]等多个应用领域中都取得了突破性  
进展，其动机在于建立能够模拟人类大脑神经连接  
结构的模型，在处理图像、文本和声音等高维信号  
时，通过组合低层特征形成更加抽象的高层表示、  
属性类别或特征，进而对数据进行层次化表达[6~8]  
深度学习的模型可大致分为判别式模型和生成式  
模型，目前，深度学习取得的成果主要集中在判别  
。
收稿日期：2017-05-24；修回日期：2018-01-17  
基金项目：国家自然科学基金资助项目（No.61379123）  
Foundation Item: The National Natural Science Foundation of China (No.61379123)  
2018032-1  
·136·  
通
信
学
报
第 39 卷  
然而，相对判别式模型来说，生成式模型的研  
究进展较为缓慢，究其原因主要是较高的计算复杂  
度。典型的生成式模型往往涉及最大似然估计、马  
尔可夫链方法、近似法等[14]。受限玻尔兹曼机（RBM,  
restricted Boltzmann machine）[15]及其扩展模型（如  
深度置信网络[16]、深度玻尔兹曼机[17]）采用最大似  
然估计法，即令该参数下模型所表示的分布尽可能  
拟合训练数据的经验分布。最直接的方法是利用梯  
度上升法求得对数似然函数最大值，但由于样本分  
布未知且包含归一化函数（也称配分函数）而无法  
给出参数梯度的解析解，替代方法是基于采样构建  
以数据分布为平稳分布的马尔可夫链，以获得满足  
数据分布的样本，然后利用蒙特卡罗迭代对梯度进  
行近似，这种方法计算复杂。变分自编码器（VAE,  
variational autoencoder）[18]采用近似法，其性能优  
劣取决于近似分布的好坏，而该近似分布的假设需  
要一定的先验知识，此外，由于受变分类方法的局  
限，VAE 对概率分布的估计是有偏的，在学习过程  
中对目标函数下界而不是目标函数进行逼近。  
PixelRNN[19]是自回归模型的一种，将图像生成问题  
转化为像素序列预测学习问题，假设每个像素的取  
值只依赖于空间中某种意义的近邻，通过给定的像  
素对每个像素的条件分布进行建模，采样效率较  
低。上述生成式模型的复杂训练使之只能生成  
MNIST[20]和 CIFAR-10[21]等简单数据集的图片，并  
不适用于较大尺度的复杂图像。  
应用于图像生成[28~30]和视频生成[31,32]领域，此  
外，若干研究工作[33~35]已成功将 GAN 应用在强  
化学习中。  
本文论述了 GAN 在建模、架构、训练和性能  
评估方面的最新研究进展及其具体应用现状，最后  
进行分析与总结，指出生成式对抗网络研究中亟待  
解决的问题。  
2 生成式对抗网络  
2.1 基本思想  
受博弈论中二元零和博弈的启发，GAN 的框架  
中包含一对相互对抗的模型：判别器和生成器。判  
别器的目的是正确区分真实数据和生成数据，从而  
最大化判别准确率；生成器则是尽可能逼近真实数  
据的潜在分布。为了在博弈中胜出，二者需不断提  
高各自的判别能力和生成能力，优化的目标就是寻  
找二者间的纳什均衡。GAN 示意[36]如图 1 所示，  
生成器（点划线框内的多层感知机）的输入是一个  
来自常见概率分布的随机噪声矢量 z，输出是计算  
机生成的伪数据；判别器（虚线框内的多层感知机）  
的输入是图片 x（x 可能采样于真实数据，也可能采  
样于生成数据），输出是一个标量，用来代表 x 是  
真实图片的概率，即当判别器认为 x 是真实图片时  
输出 1，反之输出 0[22]。判别器和生成器不断优化，  
当判别器无法正确区分数据来源时，可以认为生成  
器捕捉到真实数据样本的分布。  
生成式模型是一个极具挑战的机器学习问题，  
主要体现在以下 2 点。首先，对真实世界进行建模  
需要大量先验知识，建模的好坏直接影响生成式模  
型的性能；其次，真实世界的数据往往非常复杂，  
拟合模型所需计算量往往非常庞大，甚至难以承  
受。针对上述两大困难，Goodfellow 等[22]提出一种  
新型生成式模型——生成式对抗网络（GAN, gen-  
erative adversarial network），开创性地使用对抗训练  
机制对 2 个神经网络进行训练，并可使用随机梯度  
下降（SGD, stochastic gradient descent）实现优化。  
这避免了反复应用马尔可夫链学习机制带来的配  
分函数计算，不需变分下限也不需近似推断，从而  
大大提高了应用效率[23]。尽管 GAN 从提出至今不  
过两年半时间，但关注和研究热度急速上升，并已  
从学术界延伸至工业界，Google、OpenAI、Facebook  
和 Twitter 等知名人工智能企业纷纷投入大量精力  
研究和拓展 GAN 的应用[24~27]。目前，GAN 已成功  
2.2 标准模型  
1) 极大极小博弈  
生成器和判别器可以是任意可微函数，因此，  
可以利用随机梯度下降法（SGD）进行优化，而采  
用 SGD 的前提是建立一个目标函数来判断和监视  
学习的效果。由于判别器是一个二分类模型，因此，  
可用交叉熵表示其目标函数，即  
1
J(D) = − Ex~ p  
log D(x) −  
)
[
]
x
(
data  
2
1
Ez~ p  
log(1− D(G(z)))  
(1)  
[
]
z
(
)
z
2
其中，E 是求期望，G 和 D 分别表示生成器与判别  
器的可微函数，x 是真实数据样本，z 是随机噪声矢  
量，G(z)是判别器的生成数据。式(1)第一项表示 D  
判断出 x 是真实数据的情况，第二项则表示 D 判别  
出数据是由生成器 G 将噪声矢量 z 映射而成的生成  
数据。由于 G 与 D 进行二元零和博弈，因此，生  
2018032-2  

相关下载

全部评论(0)

暂无评论
评论赚积分>>

上传资源 上传优质资源有赏金

热门标签

更多>>

最新上传

  • 打赏
  • 30日榜单

  • 21ic下载 打赏310.00元   3天前

    用户：zhengdai

  • 21ic下载 打赏310.00元   3天前

    用户：小猫做电路

  • 21ic下载 打赏310.00元   3天前

    用户：liqiang9090

  • 21ic下载 打赏270.00元   3天前

    用户：kk1957135547

  • 21ic下载 打赏160.00元   3天前

    用户：w178191520

  • 21ic下载 打赏160.00元   3天前

    用户：w1966891335

  • 21ic下载 打赏50.00元   3天前

    用户：w993263495

  • 21ic下载 打赏40.00元   3天前

    用户：w993263495

  • 21ic下载 打赏90.00元   3天前

    用户：cooldog123pp

  • 21ic下载 打赏30.00元   3天前

    用户：sun2152

  • 21ic下载 打赏40.00元   3天前

    用户：xzxbybd

  • 21ic下载 打赏40.00元   3天前

    用户：铁蛋锅

  • 21ic下载 打赏30.00元   3天前

    用户：happypcb

  • 21ic下载 打赏50.00元   3天前

    用户：forgot

  • 21ic下载 打赏10.00元   3天前

    用户：xuzhen1

  • 21ic下载 打赏20.00元   3天前

    用户：wanglu6666

  • 21ic下载 打赏5.00元   3天前

    用户：人间留客

  • 21ic下载 打赏5.00元   3天前

    用户：jyxjiyixing

  • 21ic下载 打赏5.00元   3天前

    用户：akae_du

热门下载

推荐下载

本站上的所有资源均为源于网上收集或者由用户自行上传，仅供学习和研究使用，无任何商业目的，版权归原作如有侵权，请 来信指出，本站将立即改正。

ICP许可证号：京ICP证070360号     21IC电子网 2000- 版权所有

京ICP备11013301号

京公网安备 11010802024343号