CNN进化史
2019-10-10 22:02:42卷积神经网络(CNN)近年来取得了长足的发展,是深度学习中的一颗耀眼明珠。CNN不仅能用来对图像进行分类,还在图像分割(目标检测)任务中有着广泛的应用。CNN已经成为了图像分类的黄金标准,一直在不断的发展和改进。刘昕博士总结了CNN的演化历史,如下图所示:CNN的起点是神经认知机模型,此时已经出现了卷积结构,经典的LeNet诞生于1998年。然而之后CNN的锋
谷歌又出量子计算新成果,这次用上了深度强化学习!
导语:为实现大规模量子计算铺路~日前,谷歌在 Nature 合作期刊《npj Quantum Information》上发表了一篇论文,提出结合深度强化学习的方法来实现通用量子控制,从而能够极大地提高量子计算机的计算能力。谷歌也在官方博客上发表文章介绍了这项工作。论文下载地址:https://www.nature.com/articles/s41534-019-0141-3.pdf实现近期量子计算
大话CNN经典模型:VGGNet
2019-10-10 22:17:352014年,牛津大学计算机视觉组(Visual Geometry Group)和Google DeepMind公司的研究员一起研发出了新的深度卷积神经网络:VGGNet,并取得了ILSVRC2014比赛分类项目的第二名(第一名是GoogLeNet,也是同年提出的)和定位项目的第一名。VGGNet探索了卷积神经网络的深度与其性能之间的关系,成功地构筑了16~19
李飞飞团队新论文:新网络新策略,让AI通过视觉观察实现因果归纳
所谓因果,作为一个人类,你肯定并不陌生。银杏叶黄了,是因为寒露已至。你的肚子开始咕咕叫,是因为晚饭时间到了。因果推理这个词看上去并不日常,但事实上,这是人类在与现实世界进行交互时必不可少的能力。对于AI来说,因果推理能力同样很重要。随着深度学习模型在各个领域取得巨大成功,其缺失因果推理能力的问题也逐渐暴露。没有正确的因果模型,这些机器学习方法的泛化就很成问题,比如,给图像生成说明的模型有时候会生成
「图像分类」 图像分类中的对抗攻击是怎么回事?
2019-10-09 07:57:30欢迎大家来到图像分类专栏,深度学习分类模型虽然性能强大,但是也常常会因为受到小的干扰而性能崩溃,对抗攻击就是专门研究如何提高网络模型鲁棒性的方法,本文简要介绍相关内容。作者 | 郭冰洋编辑 | 言有三1 简介对于人类而言,仅仅通过所接收到的视觉信息并不能完全帮助我们做出正确、迅速的判定,还需要结合我们的生活经验做出相应的反应,以确定哪些信息是真实可靠的,而哪些
深度学习热度下降,图神经、BERT崛起,ICLR2020提交论文主题分析
机器之心报道参与:张倩去年 11 月,Yoshua Bengio 宣布:ICLR 2020 将在埃塞俄比亚首都亚的斯亚贝巴(Addis Abeba)举行。目前,本次大会的论文投稿工作已经结束,进行到盲审阶段。为了总结社区的最新研究动向,Element AI 的研究科学家 Pau Rodríguez López 对本次投稿论文的关键词进行了统计分析,发现往年较热的「深度学习」、「GAN」等关键词热度
图像分割中的深度学习:U-Net 体系结构
2019-10-06 20:53:54原标题 | Deep Learning for Image Segmentation: U-Net Architecture作 者 | Ayyüce Kızrak翻 译 | 天字一号、尼古拉斯赵四、邺调审 校 | 鸢尾、唐里、PitaU-Net是一种卷积神经网络(CNN)方法,由Olaf Ronneberger、Phillip Fischer和Thomas B
深度学习面临天花板,亟需更可信、可靠、安全的第三代AI技术|AI ProCon 2019
2019-10-05 20:42:42整理 | 夕颜出品 | AI科技大本营(ID:rgznai100)在人工智能领域中,深度学习掀起了最近一次浪潮,但在实践和应用中也面临着诸多挑战,特别是关系到人的生命,如医疗、自动驾驶等领域场景时,黑盒的不可解释性、安全等一系列问题仍然是产学研界关注的焦点问题。2019 年 9 月,由新一代人工智能产业技术创新战略联盟(AITISA)指导,鹏城实验
100多次竞赛后,他研发了一个几乎可以解决所有机器学习问题的框架
作者 | XI YANG来源 | 知乎(机器学习之路)一个叫 Abhishek Thakur 的数据科学家,在他的 Linkedin 发表了一篇文章 Approaching (Almost) Any Machine Learning Problem,介绍他建立的一个自动的机器学习框架,几乎可以解决任何机器学习问题,项目很快也会发布出来。这篇文章迅速火遍 Kaggle,他参加过1
「每周CV论文推荐」 深度学习人脸检测入门必读文章
人脸图像是整个图像处理领域里面研究时间最长,应用最广的方向,今天给大家介绍入门深度学习人脸检测必读的文章。作者&编辑 | 言有三1 Faceness-Net传统的人脸检测算法有一类是分别检测人脸各个组件,然后融合,深度学习早期也有文章做同样的研究,即Faceness-Net。作为最早期的尝试,感兴趣的同学可以简单阅读。文章引用量:40+推荐指数:✦✦✦✧✧[1] Yang S, Luo P
智能超高清视频监控的发展及趋势
“5G+AI+安防”一个全新的组合,对视频监控行业的发展有着深远的影响,是视频监控行业迈向超高清的一个助推器。
「GAN优化」什么是模式崩溃,以及如何从优化目标上解决这个问题
今天讲述的内容是GAN中的模式崩溃问题,之前的文章有提到这个问题,在接下来的两三期内,将和大家一起讨论有关模式崩溃的解决方法。本期将会首先介绍什么是模式崩溃,然后给出两种通过修改GAN目标函数的解决方法,而下一期将从网络结构和mini-batch判别器的角度出发讨论模式崩溃的解决方法。本期不会涉及什么数学知识,示意图将会最大限度的说明本质问题,如有问题欢迎底部留言。作者 | 小米粥编辑 | 言有三
CMU 领域自适应最新进展:对齐数据分布、误差还不够,标注函数也需对齐!
领域自适应是迁移学习重点研究的课题之一。以往,基于域不变表征的领域自适应方法由于对域偏移(domain shift)不敏感、能为目标任务获取丰富信息受到了极大关注。然而,在 ICML 2019 上,来自卡内基梅隆大学的研究人员指出,当标签分布不同时,对源任务的过度训练确实会对目标域的泛化起到负作用,并且用严谨的数学证明和丰富的实验说明了:为了提升领域自适应算法的性能,我们不仅需要对齐源域和目标域的
与其感慨模型难训练,不如试试 AutoNLP
什么是自注意力机制?2017 年,谷歌发表了一篇名字叫做《Attention Is All You Need》的论文,该论文提出了基于注意力机制的来处理序列模型的问题,可以改变 RNN 模型训练慢的弊端,并且在 11 个 NLP 任务中取得了最优结果。那么,我们要认识 Transformer 模型,首先应该了解什么是注意力机制。通俗的来讲,当我们在看一样东西的时候,我们的注意力一定是在当前正在看的
Google 亮剑:发布 Deepfake 数据集,对抗 AI 造假
自九月初, Facebook 首先发起对 Deepfake 的挑战以来,Google 也加入到反抗 Deepfake 的行列,昨日 Google 发文宣布,开源 Deepfake 数据集,以支持 Deepfake 虚假影像的检测工作。Deepfake,是英文“deep learning”和“fake”的混成词,是一种利用深度学习算法合成虚假图像、视频等技术的统称。在过去的一年中
剪枝量化初完结,蒸馏学习又上场
作者&编辑 | 言有三1 剪枝剪枝是一项古老的技术,从上个世纪传承至今,在学术界和工业界相关的研究工作都是很活跃的。剪枝根据不同的粒度有很多种,小到一个卷积参数,大到一个网络层。下面是Google关于剪枝的一个典型研究。To prune, or not to prune本文探讨了具有同样大小的稀疏大模型和稠密小模型的性能对比,在图像和语音任务上表明稀疏大模型普遍有更好的性能。模型剪枝是一项
「GAN优化」如何选好正则项让你的GAN收敛
今天讲述的内容还是GAN的训练,也是最后一期,做几个简单的小实验,告诉大家怎么给GAN加正则项,使得你的GAN尽可能收敛。其实今天的内容本来还是与动力学结合很紧密,但是考虑到复杂的数学内容可能有害无益,我就将数学部分都删除了,只展示最直观的结果。作者 | 小米粥编辑 | 言有三上一期我们说了关于GAN收敛的这样一件事情:如果矢量场v的雅可比矩阵的特征值的实部为负数,且学习速率足够小,则GAN会局部
利用LSTM思想来做CNN剪枝,北大提出Gate Decorator
选自arXiv作者:Zhonghui You等机器之心编译参与:思源、一鸣利用LSTM基本思想门控机制进行剪枝?让模型自己决定哪些卷积核可以扔。还记得在理解 LSTM 的时候,我们会发现,它用一种门控机制记住重要的信息而遗忘不重要的信息。在此之后,很多机器学习方法都受到了门控机制的影响,包括 Highway Network 和 GRU 等等。北大的研究者同样也是,它们将门控机制加入到 CNN 剪枝
2018年旅游行业EDM总览
据亿业科技2018年EDM报告显示,在2018年,旅游行业的整体发送量排名前五。平均成功率在98%以上,与2017年基本持平。打开率为9.4%,中位数打开率为9.30%,比2017年明显下降.低于全行业平均14.67%。点击率和点击打开比低于全行业的平均水平(分别为1.3%和15.10%)。移动端 / PC端:61.15% / 38.85%,移动设备的打开占比已经超过了电脑。旅游行业用户消费水平和
计算资源有限的人如何在深度学习领域成长?
对 AI 学习者而言,算力资源受限算是最让人头痛的问题之一——面对大规模节点的需求,CPU和内存却对问题处理规模表示无能为力。没有BAT这种大企业作为靠山的我们,可以如何进行“自救”呢?针对这个问题,我们在知乎上整理了几个比较具有代表性的回答,希望能对大家有所启发。@ 一个旅人 结合自己学习Deep Learning以来的经验来谈谈自己的感受吧,实验室刚开始也只有单卡的机器,现在工作了有机会使用更