计算机视觉这一年:这是最全的一份CV技术报告
计算机视觉是关于研究机器视觉能力的学科,或者说是使机器能对环境和其中的刺激进行可视化分析的学科。机器视觉通常涉及对图像或视频的评估,英国机器视觉协会(BMVA)将机器视觉定义为「对单张图像或一系列图像的有用信息进行自动提取、分析和理解」。 对我们环境的真正理解不是仅通过视觉表征…
论文结果难复现?教你实现深度强化学习算法DQN
过去几年来,深度强化学习逐渐流行,因为它在有超大状态空间(state-spaces)的领域上要比先前的方法有更好的表现。DQN 几乎在所有的游戏上超越了之前的强化学习方法,并在大部分游戏上比人类表现更好。随着更多的研究人员用深度强化学习方法解决强化学习问题,并提出替代性算法,D…
Titan XP值不值?教你如何挑选深度学习GPU
即将进入 2018 年,随着硬件的更新换代,越来越多的机器学习从业者又开始面临选择 GPU 的难题。正如我们所知,机器学习的成功与否很大程度上取决于硬件的承载能力。在今年 5 月,我在组装自己的深度学习机器时对市面上的所有 GPU 进行了评测。而在本文中,我们将更加深入地探讨:…
代码优化指南:人生苦短,我用Python
第一部分请查看从环境设置到内存分析。以下是 Python 代码优化的第二部分,主要从 Python 脚本与 Python 解释器两个方面阐述。在这一部分中我们首先会关注如何追踪 Python 脚本的 CPU 使用情况,并重点讨论 cProfile、line_profiler、p…
即将放弃Python 2.7的不止有Numpy,还有pandas和这些工具
Python 核心团队计划在 2020 年停止支持 Python 2。NumPy 自 2010 年以来同时并行支持 Python 2 和 Python 3,但是由于资源有限,支持 Python 2 变成了一个日渐加重的负担;因此,我们计划最终停止支持 Python 2。现在我们…
从遗传算法到OpenAI新方向:进化策略工作机制全解
我尽量简化了公式,如果读者想理解更多的细节,我提供了原始文章的链接。这是这一系列文章的第一篇,在文章中,我将展现如何将这些算法应用到诸如 MNIST、OPENAI Gym、Roboschool 和 PyBullet 等多种环境中。 神经网络模型具有高度的表达性和灵活性。如果能找…
良心GitHub项目:各种机器学习任务的顶级结果(论文)汇总
该 GitHub 库提供了所有机器学习问题的当前最优结果,并尽最大努力保证该库是最新的。如果你发现某个问题的当前最优结果已过时或丢失,请作为问题提出来(附带:论文名称、数据集、指标、源代码、年份),我们会立即更正。 这是为所有类型的机器学习问题寻找当前最优结果的一次尝试。我们都…
斯坦福大学秋季课程《深度学习理论》STATS 385开讲
深度学习最近的成就很大程度上基于经验,不过,学者们总是在试图在理论层面上解释发展背后的原因。在斯坦福大学新推出的课程《Theories of Deep Learning》中,我们将从讲师 Bruna、Mallat、Mhaskar、Poggio、Papyan等人那里,试图建立神经…
为什么XGBoost在机器学习竞赛中表现如此卓越?
tree boosting(树提升)已经在实践中证明可以有效地用于分类和回归任务的预测挖掘。 之前很多年来,人们所选择的树提升算法一直都是 MART(multiple additive regression tree/多重累加回归树)。但从 2015 年开始,一种新的且总是获胜…
先读懂CapsNet架构然后用TensorFlow实现,这应该是最详细的教程了
本文是机器之心的第三个 GitHub 项目,旨在解释 CapsNet 的网络架构与实现。为了解释 CapsNet,我们将从卷积层与卷积机制开始,从工程实践的角度解释卷积操作的过程与输出,这对进一步理解 Capsule 层的处理十分有利,后面我们将基于对 Capsule 层的理解…
TensorFlow引入了动态图机制Eager Execution
今天,我们为 TensorFlow 引入了「Eager Execution」,它是一个命令式、由运行定义的接口,一旦从 Python 被调用,其操作立即被执行。这使得入门 TensorFlow 变的更简单,也使研发更直观。 Eager Execution 现在处于试用阶段,因此…
综述论文:当前深度神经网络模型压缩和加速方法速览
大型神经网络具有大量的层级与结点,因此考虑如何减少它们所需要的内存与计算量就显得极为重要,特别是对于在线学习和增量学习等实时应用。此外,近来智能可穿戴设备的流行也为研究员提供了在资源(内存、CPU、能耗和带宽等)有限的便携式设备上部署深度学习应用提供了机会。高效的深度学习方法可…
生成对抗网络综述:从架构到训练技巧
原 GAN(Goodfellow et al., 2014)的完整理论推导与 TensorFlow 实现请查看机器之心的 GitHub 项目与文章:GAN 完整理论推导与实现。下面,我们将为各位读者介绍该综述论文。 生成对抗网络(GAN)提供了一种不需要大量标注训练数据就能学习…
修改一个像素,就能让神经网络识别图像出错
在图像识别领域,基于 DNN 的方法突破了传统的图像处理技术,达到了可与人类媲美的结果 [9]。但是,多个研究证明自然图像中的人工扰动可以轻易使 DNN 对图像进行错误分类,研究者提出了生成此类「对抗图像」的高效算法 [1, 2, 3, 4]。生成对抗图像(adversaria…
DeepMind新一代围棋程序AlphaGo Zero再次登上Nature
人工智能研究已经在多个领域取得飞速进展,从语音识别、图像分类到基因组学和药物研发。在很多情况下,这些是利用大量人类专业知识和数据的专家系统。 但是,人类知识成本太高,未必可靠,或者只是很难获取。因此,AI 研究的一个长久目标就是跨国这一步,创建在最有难度的领域中无需人类输入就能…
放弃Python转向Go语言:我们找到了以下9大理由
Go 极其地快。其性能与 Java 或 C++相似。在我们的使用中,Go 一般比 Python 要快 30 倍。以下是 Go 与 Java 之间的基准比较: 对很多应用来说,编程语言只是简单充当了其与数据集之间的胶水。语言本身的性能常常无关轻重。 但是 Stream 是一个 A…
斯坦福博士韩松毕业论文:面向深度学习的高效方法与硬件
未来将出现大量廉价、低功耗的智能设备。深度神经网络已经发展出适合机器学习任务的顶尖技术。但是,这些算法计算量很大,使得它们难以部署到硬件资源有限、能量预算紧张的嵌入式设备中。由于摩尔定律和工艺尺寸缩小正在变慢,仅依赖工艺进步无法解决这个问题。为了解决该问题,我们研究高效的算法和…
自然语言处理领域重要论文&资源全索引
本人从事自然语言处理任务(NLP)的研究已经有很长时间了,有一天我想到,我需要为庞大的 NLP领域做一个概览,我知道自己肯定不是想要一睹 NLP 任务的全貌的第一个人。 我曾竭尽所能的研究过尽可能多种类型的 NLP 任务,但由于个人知识的局限,我承认还远远没有穷尽整个领域。目前…
这是一份你们需要的Windows版深度学习软件安装指南
该配置版本最后更新的日期是今年七月,该更新版本允许本地使用 3 个不同的 GPU 加速后端,并添加对 MKL BLAS 库的支持。 目前有很多帮助我们在 Linux 或 Mac OS 上构建深度学习(DL)环境的指导文章,但很少有文章完整地叙述如何高效地在 Windows 10…
机器之心GitHub项目:GAN完整理论推导与实现,Perfect!
本文主要分四部分,第一部分描述 GAN 的直观概念,第二部分描述概念与优化的形式化表达,第三部分将对 GAN 进行详细的理论推导与分析,最后我们将实现前面的理论分析。 要理解生成对抗模型(GAN),首先要了解生成对抗模型可以拆分为两个模块:一个是判别模型,另一个是生成模型。简单…