-
神经网络优化算法：Dropout、梯度消失/爆炸、Adam优化算法，一篇就够了！
1. 训练误差和泛化误差 机器学习模型在训练数据集和测试数据集上的表现。如果你改变过实验中的模型结构或者超参数，你也许发现了：当模型在训练数据集上更准确时，它在测试数据集上却不⼀定更准确。这是为什么呢？ 因为存在着训练误差和泛化误差： **训练误差：**模型在训练数据集上表现出的误差。 **泛化误差：**模型在任意⼀个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。 训练...
-
周志华IJCAI2019演讲：「深」为什么重要，以及还有什么深的网络
导语：许多特性并不是深度神经网络独有雷锋网 AI 科技评论按：8 月 10 日至 16 日，IJCAI 2019 在中国澳门隆重召开。14 日下午，南京大学周志华教授进行特邀大会演讲，演讲主题是《Deep Learning: Why deep and is it only doable for neural networks?》。在演讲中，周志华教授从自己的角度解读了深度神经网络之所以获得成功的本
-
迁移学习(Transfer)，面试看这些就够了！(附代码)
文章目录1. 什么是迁移学习2. 为什么需要迁移学习？3. 迁移学习的基本问题有哪些？4. 迁移学习有哪些常用概念？5. 迁移学习与传统机器学习有什么区别？6. 迁移学习的核心及度量准则？7. 迁移学习与其他概念的区别？8. 什么情况下可以使用迁移学习？9. 什么是finetune？10. 什么是深度网络自适应？11. GAN在迁移学习中的应用12. 代码实现13. 参考文献 1. 什么是迁移学习...
-
彻底解决梯度爆炸问题，新方法不用反向传播也能训练ResNet
2019-08-16 13:07:45机器之心报道参与：思、一鸣反向传播是深度学习算法中必不可少的组成部分，但是其固有的梯度爆炸（消失），计算速度慢等问题一直困扰着学界。近日，新西兰维多利亚惠灵顿大学的研究者提出了一种新型的算法，可以让深度学习在不依赖反向传播的情况下进行收敛，彻底解决了梯度爆炸问题。同时，研究者表示，只需要额外训练单层的网络就可以达到图像分类中的 SOTA 性能。论文地址：htt
-
具备基本的数学和编程知识，你就可以学习深度学习啦
深度学习很难？对深度学习存有困惑，不知道从哪里下手，不知道适不适合自己学习？只需了解基础的数学和编程，如基础的线性代数、微分和概率，以及基本的Python编程知识，你就可以真正的去学习深度学习喽！从哪开始呢？从一本入手的《动手学深度学习》开始吧！在了解这本书之前，带你看一下主要符号表以下图片为学习深度学习的主要符号表，请点击大图预览。动手学深度学习目前市面上有关深度学习介绍的书籍大多可分两类，一类
-
机器学习是深度学习之母
博主不才，研究深度学习有一段时间，主要专注CV领域。本科期间学习了机器学习的一些算法，用SVM做的人脸识别的工作，之后又去中科院实习，用深度学习来做人脸识别。所以，从传统算法，到深度，这个过程，我是深深体会到的。单从CV领域，尤其是二维方面的工作，卷积神经网络取得的成果，让我深深感到传统算法的无力。总的来说，深度学习算法是近几年机器学习革命般的成果。举个例子，很明显的对于传统算法很困难的LFW人脸
-
卷积神经网络中的可视化方法
2019-08-15 19:31:38近年来，卷积神经网络（CNN）在海量数据的物体分类、识别取得了巨大的成功，但是我们对CNN为什么能够取得这么好的效果以及其中间层所计算得到的特征的理解却是远远落后与CNN的应用。更多的时候CNN对于我们来说就像个黑盒子，输入数据和便签进行训练，然后就可以拟合出我们想要的结果。如果不能弄明白CNN为什么能够工作的这么好，构建一个好的CNN模型就只能靠试错。为了对
-
通俗易懂--循环神经网络(RNN)的网络结构！(TensorFlow实现)
文章目录1. 什么是RNN1.1 RNN的应用1.2 为什么有了CNN，还要RNN?1.3 RNN的网络结构1.4 双向RNN1.5 BPTT算法2. 其它类型的RNN3. CNN与RNN的区别4. 为什么RNN 训练的时候Loss波动很大5. 实例代码 1. 什么是RNN 循环神经网络（Recurrent Neural Network, RNN）是一类以序列（sequence）数据为输入，在序...
-
被 GANs 虐千百遍后，我总结出来的 10 条训练经验
一年前，我决定开始探索生成式对抗网络(GANs)。自从我对深度学习产生兴趣以来，我就一直对它们很着迷，主要是因为深度学习能做到很多不可置信的事情。当我想到人工智能的时候，GAN是我脑海中最先出现的一个词。 GANs生成的人脸(StyleGAN) 但直到我第一次开始训练GAN时，我才发现了这种有趣算法的双面性：训练极其困难。确实，在我尝试之前，我从论文上和其他人的尝试
-
理解生成对抗网络，一步一步推理得到GANs（一）
作者：Joseph Rocca编译：ronghuaiyang导读GANs在2014年提出，然后就在图像生成领域取得了巨大的成功，但是其背后的原理却不是那么好理解，这篇文章带你从最基础的随机变量开始，一步一步推理得到GANs，非常的详细，一定要看看！由于文章较长，分两部分分享给大家，今天是第一部分。介绍Yann LeCun将其描述为“过去10年机器学习领域最有趣的想法”。当然，这样一个来自深度学习领
-
理解生成对抗网络，一步一步推理得到GANs（二）
作者：Joseph Rocca编译：ronghuaiyang导读GANs在2014年提出，然后就在图像生成领域取得了巨大的成功，但是其背后的原理却不是那么好理解，这篇文章带你从最基础的随机变量开始，一步一步推理得到GANs，非常的详细，一定要看看！由于文章较长，分两部分分享给大家，今天是第二部分。生成匹配网络免责声明：“Generative Matching Networks”的名称不是标准名称。
-
深度学习在高德驾车导航历史速度预测中的探索与实践
导读驾车导航服务是数字地图提供的核心功能。通常而言，用户在发起导航之前会对比高德前端展示的三条路线（如下图），以决定按照哪条路线行驶。而预估到达时间是用户参考的最为重要的指标之一。给定一条路线，对应的预估到达时间的计算需要两组信息输入，分别是实时路况信息和历史速度信息（历史速度信息指的是对应的平均通行时间）。其中实时路况信息，对短时（例如60分钟以内）路况预测帮助较大；而历史速度信息对长时（例如6
-
一文看懂反卷积层
2019-08-11 17:44:23反卷积（Deconvolution）的概念第一次出现是Zeiler在2010年发表的论文Deconvolutional networks中，但是并没有指定反卷积这个名字，反卷积这个术语正式的使用是在其之后的工作中(Adaptive deconvolutional networks for mid and high level feature learning)
-
一文读懂迁移学习（附学习工具包）
1. 前言迁移学习（Transfer Learning,TL）对于人类来说，就是掌握举一反三的学习能力。比如我们学会骑自行车后，学骑摩托车就很简单了；在学会打羽毛球之后，再学打网球也就没那么难了。对于计算机而言，所谓迁移学习，就是能让现有的模型算法稍加调整即可应用于一个新的领域和功能的一项技术。不久前，香港科技大学的杨强教授在机器之心GMIS大会中回顾AlphaGo和柯洁的围棋大战时曾说，Alph
-
效果惊人！中科院、百度研究院等联合提出UGAN，生成图片难以溯源
作者 | 中国科学院、北京航空航天大学、百度研究院团队译者 | 凯隐编辑 | 夕颜出品 | AI科技大本营（ID: rgznai100）导读：生成对抗网络（GAN）是近年大热的深度学习模型，中国科学院相关团队注意到，在多领域图片转换任务中，生成图片中会残留一些源类别特征，通俗来讲就是和输入源图片或多或少都有相似之处。针对这个问题，中国科学院、北京航空航天大学、百度研究院团队联合提出了一个神奇的 U
-
实时物体检测：YOLO，YOLOv2和YOLOv3（一）
作者：Jonathan Hui编译：ronghuaiyang导读昨天介绍了YOLOv3，发现大家对这一系列很感兴趣，从今天开始，会连载YOLO，YOLOv3，YOLOv3的相关内容，让大家更加清楚YOLO这一系列发展的过程。今天先介绍YOLO。YOLO是一个以实时处理为目标的物体检测系统。我们将在本文中介绍YOLO、YOLOv2和YOLO9000。对于那些只对YOLOv3感兴趣的人，请转到文章底部
-
集成学习总结（Ensemble Learning）
Ensemble Learning 是指将多个不同的 Base Model 组合成一个 Ensemble Model 的方法。它可以同时降低最终模型的 Bias 和 Variance，从而在提高分数的同时又降低 Overfitting 的风险。在现在的 Kaggle 比赛中要不用 Ensemble 就拿到奖金几乎是不可能的。常见的 Ensemble 方法有这么几种：Bagging：使用训练数据的不
-
直男福利！手把手教你做一只口红色号识别器，秒变李佳琦
七夕将至，送礼时节。直男送礼，首选口红。毕竟李佳琦一句"OMG买它”，女朋友披头散发抢购，钱包就空了一半。
-
让 PM 全面理解深度学习
让 PM 全面理解深度学习 https://www.toutiao.com/a6722010886522831372/ 本文汇总了深度学习相关的重要知识点。下面是内容结构和长图：一文看懂深度学习（白话解释+8个优缺点+4个典型算法）一文看懂卷积神经网络-CNN（基本原理+独特价值+实际应用）一文看懂循环神经网络-RNN（独特价值+优化算法+实际应用）什么是长短期记忆 - LST
-
高德技术团队：深度学习在导航速度预测中的探索与实践
导读驾车导航服务是数字地图提供的核心功能。通常而言，用户在发起导航之前会对比高德前端展示的三条路线（如下图），以决定按照哪条路线行驶。而预估到达时间是用户参考的最为重要的指标之一。给定一条路线，对应的预估到达时间的计算需要两组信息输入，分别是实时路况信息和历史速度信息（历史速度信息指的是对应的平均通行时间）。其中实时路况信息，对短时（例如60分钟以内）路况预测帮助较大；而历史速度信息对长时（例如6
