ITPub博客

首页 > 数据库 > 数据库开发技术 > 对偶学习在行动:从文本到图像

对偶学习在行动:从文本到图像

原创 数据库开发技术 作者:Agent的潜意识 时间:2017-04-03 15:48:47 0 删除 编辑

先闲扯几句。首先说说我为啥搞公众号吧。我其实就是想把自己一些心得分享出去,期待可以有思维的“共振”。有读者抱怨说排版太差了,我承认确实不好,我每天工作都很忙的,写代码的写文章,大家凑合着看吧;还有读者希望写的更深入一些,把论文好好翻译一下。这个有点难为我了,我只是想把自己看paper(或者工程实践)的心得体会毫无保留的分享出来,我可不是专业的翻译或者科技作者,我写的心得翻译都有点中国化的味道不专业,大家想深入还是看英文的paper吧。还有读者提建议搞点通俗易懂的或者搞点学术八卦啥的,这样涨粉多,抱歉,我没有想专业化运营,只是想构建一个只谈学术的小圈子。

其次说一下,我发现关注我微信公众号的好多大牛。有微软亚研院的,有百度IDL的大神,还有很多政府部门的,还有很多我觉得非常牛逼的公司的神,然后有清北的和stanford及Prinston的留学生,还有不少教授。这下吓到我了。我本来放得很开的,瞎写一通。我很清楚自己有多少斤两。好在大家鼓励居多,跪求大家轻喷。

最后,我想说,人是社会关系的总和。单打独斗不成气候。我们一起掘金人工智能,构建一个欣欣向荣的生态系统。给大家构建一个小的idea分享圈。欢迎关注。附上微信公众号二维码,长按可关注:

言归正传。这次分享的是对偶学习新范式在图像上的应用。对偶学习这个新范式去年掀起了一个小波澜,去年11月微软亚研院发的NIPS,原文链接:https://arxiv.org/pdf/1611.00179.pdf

但是慢慢沉寂了,方法的idea不错,但没有得到大规模推广。去年的是在文本翻译这块,图像去年的热门是GAN网络。好了,今天这文章把对偶学习渗透到了图像了。

看论文我喜欢把一些来龙去脉搞清楚。每一个idea都不是凭空而来的,追本溯源,我们看看去年秦涛博士他们文章的主要精髓。一句话说:一个英语句子A,首先用一个网络n1翻译成法语w,然后将翻译好法语w用另一个网络n2翻译成英语句子B。两个网络合在一起成为一个对偶网络。损失函数就是A与B之间的差值。文章说英语翻译成法语的精度可以匹敌neural machine translation (NMT)的精度。我想说,首先英语跟法语比较像,这个问题相对简单一些;其实我的担心是,这个loss不太好学,很有可能不收敛。文章说他们的学习方法是网络n1教网络n2,网络n2教网络n1,使用一种增强学习的方法。这个是可以的,但这个老师感觉是变化的哦。

今天的这篇文章名字是:Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks。使用有回路的对抗网络来做未配对的图片-图片的翻译。首先来谈谈对抗网络。深度生成对抗网络是给一批图片,如猫的图片,一个网络学习这些图片用于生成猫,一个已有的判别网络,判断生成的猫是不是真。这个有回路的对抗网络示意图如下:

我们一起来解开她的扣子。所有网络,不管多深,展开拉直了都是一个方程。方程G将X转变成Y,方程F将Y转变成X1。它搞了两个loss来训练两个网络,一个loss是x-F(G(x)),一个loss是y-G(F(y))。怎么样?其实就是对偶学习。

标题的另一个关键字是Unpaired Image-to-Image Translation。用下图来说明:

左边是成对的图片,也就是相同的鞋子不同的颜色,如果右边不成对的图片要变成成对的话,那就应该是同一个城堡不同季节的图片,而不成对的图片就是不同的城堡不同的季节,Unpaired Image-to-Image Translation就是用秋天的城堡B的风格将夏天的城堡A变成了秋天的城堡A。

文章的基本内容讲了一下。我们看最核心的Loss函数吧。

第一项是X-Y 的对抗损失函数,第二项是Y-X的对抗网络损失函数,然后再加上带权值的对偶回路损失函数,这个权值可以控制两个物体的相关的重要性。

文章中讲了如何实现这样的网络的,并做了不少对比实验。

文章的源码地址:https://junyanz.github.io/CycleGAN/

对比网络CoGAN的源码:https://github.com/mingyuliutw/CoGAN

这些源码我还没来的及看。

最后这个方法的用处很广,可以将油画变成照片,可以将普通照片变成单反相机的大光圈一样的北京虚化,可以只改变图片中的物体,如把马变成斑马,可以进行季节变更。

看看作者到底干了什么事情。附上效果图:

这个orange变成苹果的有点牵强。


原文作者:Agent的潜意识;如有侵权,请联系管理员删除。

请登录后发表评论 登录
全部评论

注册时间:2017-03-21

  • 博文量
    187
  • 访问量
    82252