神经网络碰上高斯过程,DeepMind论文开启深度学习新方向
选自arXiv,机器之心编译。 函数近似是机器学习众多问题的核心,而过去深度神经网络凭借其「万能近似」的属性在函数近似方面无与伦比。在高级层面,神经网络可以构成黑箱函数近似器,它会学习如何根据大量训练数据点来参数化单个函数。 除了使用神经网络这种参数化的方法逼近一个函数,我们还…
当前训练神经网络最快的方式:AdamW优化算法+超级收敛
Adam 优化器之旅可以说是过山车(roller-coaster)式的。该优化器于 2014 年推出,本质上是一个出于直觉的简单想法:既然我们明确地知道某些参数需要移动得更快、更远,那么为什么每个参数还要遵循相同的学习率?因为最近梯度的平方告诉我们每一个权重可以得到多少信号,所…
发布AI芯片昆仑和百度大脑3.0、L4自动驾驶巴士量产下线,这是百度All in AI一年后的最新答卷
机器之心报道,作者:李泽南。 首先亮相的是百度创始人、董事长兼首席执行官李彦宏。在大会的主 Keynote 环节中,李彦宏介宣布,全球首款 L4 级自动驾驶巴士量产下线。此自动驾驶巴士由百度与金龙客车合作制造,取名为阿波龙。当前,阿波龙巴士在北京雄安、广州、深圳、东京等地开始商…
利用TICK搭建Docker容器可视化监控中心
性能监控是容器服务必不可少的基础设施,容器化应用运行于宿主机上,我们需要知道该容器的运行情况,包括 CPU使用率、内存占用、网络状况以及磁盘空间等等一系列信息。在我的前文《Docker容器可视化监控中心搭建》之中我们就实践过Docker容器的可视化监控,在那篇文章中我们是使用了…
当前训练神经网络最快的方式:AdamW优化算法+超级收敛
Adam 优化器之旅可以说是过山车(roller-coaster)式的。该优化器于 2014 年推出,本质上是一个出于直觉的简单想法:既然我们明确地知道某些参数需要移动得更快、更远,那么为什么每个参数还要遵循相同的学习率?因为最近梯度的平方告诉我们每一个权重可以得到多少信号,所…
ICML 2018 | 腾讯AI Lab提出误差补偿式量化SGD:显著降低分布式机器学习的通信成本
选自arXiv,作者:Jiaxiang Wu、Weidong Huang、Junzhou Huang、Tong Zhang,机器之心编译。 由于数据近年来的爆炸式增长,很多不同领域都已经越来越关注大规模机器学习了,比如计算机视觉和语音识别领域。在这些应用中,训练数据的量往往过于…
手把手教你如何使用Python的异步IO框架:asyncio(上)
大家好,并发编程 进入第九篇。 通过前两节的铺垫(关于协程的使用),今天我们终于可以来介绍我们整个系列的重点 -- asyncio。 asyncio是Python 3.4版本引入的标准库,直接内置了对异步IO的支持。 有些同学,可能很疑惑,既然有了以生成器为基础的协程,我们直接…
Keras vs PyTorch:谁是「第一」深度学习框架?
选自Deepsense.ai,作者:Rafał Jakubanis、Piotr Migdal,机器之心编译。 值得一提的是,尽管在 4 月底 PyTorch 在 0.4 版本中已经加入了对于 Windows 的支持,但其对比 Keras 与 TensorFlow 在 Windo…
Jeff Dean与David Patterson:不思考体系结构的深度学习研究者不是好工程师
机器之心原创,作者:邱陆陆。 今年 1 月,谷歌人工智能负责人 Jeff Dean(当时还是谷歌大脑负责人)与 2017 年图灵奖得主、体系结构巨擘 David Patterson(当时获奖结果尚未公布)联合发表了题为《计算机体系结构黄金时代:赋能机器学习革命》的文章。文章指出…
深入理解Python的yield from语法
大家好,并发编程 进入第八篇。 注:本系列已在微信公众号更新完成。查看最新文章,请关注公众号获取。 直到上一篇,我们终于迎来了Python并发编程中,最高级、最重要、当然也是最难的知识点之一(协程)。 当你看到这一篇的时候,请确保你对生成器的知识,有一定的了解。当然不了解,也没…
搭建模型第一步:你需要预习的NumPy基础都在这了
选自 Numpy,机器之心编译。 NumPy 主要的运算对象为同质的多维数组,即由同一类型元素(一般是数字)组成的表格,且所有元素通过正整数元组进行索引。在 NumPy 中,维度 (dimension) 也被称之为轴线(axes)。 比如坐标点 [1, 2, 1] 有一个轴线。…
令人困惑的TensorFlow!
选自http://jacobbuckman.com,作者:Jacob Buckman,机器之心编译。 我叫 Jacob,是 Google AI Resident 项目的研究学者。我是在 2017 年夏天加入该项目的,尽管已经拥有了丰富的编程经验,并且对机器学习的理解也很深刻,但…
ICML 2018大奖出炉:伯克利、MIT获最佳论文,复旦大学榜上有名
机器之心报道。 而复旦大学副教授黄增峰一人署名的论文《Near Optimal Frequent Directions for Sketching Dense and Sparse Matrices》则和 DeepMind、斯坦福大学的两篇论文一同位居「亚军」论文行列。 来自 …
特写 | CVPR十年轶事:走出象牙塔
机器之心原创,作者:Tony Peng。 这不是石建萍第一次来 CVPR 了。过去这八年,她几乎没落下过一届,倒也习惯了每年办一次美国签证。只不过,这么多年以来,参加 CVPR 的身份却在不断变化:从一个本科生,到博士生,到研究员,再到如今商汤科技的研究总监。 她今年带来了五篇…
指数级加速架构搜索:CMU提出基于梯度下降的可微架构搜索方法
选自arXiv,作者:刘寒骁、Karen Simonyan、杨一鸣,机器之心编译。 研究者称,该方法已被证明在卷积神经网络和循环神经网络上都可以获得业内最优的效果,而所用 GPU 算力有时甚至仅为此前搜索方法的 700 分之 1,这意味着单块 GPU 也可以完成任务。该研究的论…
弱监督学习下的商品识别:CVPR 2018细粒度识别挑战赛获胜方案简介
机器之心原创,作者:李亚洲、思源。 2011 年,谷歌开始赞助举办第一届 FGVC Workshop,之后每两年举办一次,到 2017 年已经举办了第四届。而由于近年来计算机视觉的快速发展,FGVC 活动影响力也越来越大,从去年开始由两年一次改为了一年一次。 从 2017 年开…
Python的协程真的有那么难吗?收藏!
从今天开始,我们将开始进入Python的难点,那就是协程。 为了写明白协程的知识点,我查阅了网上的很多相关资料。发现很难有一个讲得系统,讲得全面的文章,导致我们在学习的时候,往往半知半解,学完还是一脸懵逼。 学习协程的第一门课程,是要认识生成器,有了生成器的基础,才能更好地理解…
更优的ImageNet模型可迁移性更强?谷歌大脑论文给出验证
选自arXiv,作者:Simon Kornblith、Jonathon Shlens、Quoc V. Le,机器之心编译。 过去十年来,计算机视觉研究一直将追赶学术上用于对比的基准模型的性能作为衡量进步的标准。然而没有任何一个基准能像 ImageNet [1] 一样被如此激烈地…
如何构建自定义人脸识别数据集
选自pyimagesearch,作者:Adrian Rosebrock,机器之心编译。 在接下来的几篇博文中,作者将带领大家训练一个「计算机视觉+深度学习」的模型来执行人脸识别任务。但是,要想训练出能够识别图像或视频流中人脸的模型,我们首先得收集人脸图像的数据集。 如果你使用的…
如何在Tensorflow.js中处理MNIST图像数据
对任何一个机器学习问题而言,数据处理都是很重要的一步。本文将采用 Tensorflow.js(0.11.1)的 MNIST 样例(https://github.com/tensorflow/tfjs-examples/blob/master/mnist/data.js),逐行运…