入门Python神经机器翻译,这是一篇非常精简的实战指南
选自Medium,作者:Susan Li,机器之心编译。 传统意义上来说,机器翻译一般使用高度复杂的语言知识开发出的大型统计模型,但是近来很多研究使用深度模型直接对翻译过程建模,并在只提供原语数据与译文数据的情况下自动学习必要的语言知识。这种基于深度神经网络的翻译模型目前已经获…
构建深度神经网络,我有20条「不成熟」的小建议
选自PCC,作者:Matt H、Daniel R,机器之心编译。 在我们的机器学习实验室中,我们已经在许多高性能的机器上进行了成千上万个小时的训练,积累了丰富的经验。在这个过程中,并不只有电脑学习到了很多的知识,事实上我们研究人员也犯了很多错误,并且修复了很多漏洞。 在本文中,…
NLP领域的ImageNet时代:词嵌入已死,语言模型当立
选自the Gradient,作者:Sebastian Ruder,机器之心编译。 自然语言处理(NLP)领域正在发生巨变。 长期以来,词向量一直是自然语言处理的核心表征技术。然而,其统治地位正在被一系列令人振奋的新挑战所动摇,如:ELMo、ULMFiT 及 OpenAI tr…
手把手教你如何使用Python的异步IO框架:asyncio(下)
大家好,并发编程 进入第十一章。 这节我们将通过一个小实战,来对这些内容进行巩固。 在实战之前,我们要先了解下在asyncio中如何将协程态添加到事件循环中的。这是前提。 由于是同步的,所以总共耗时6+3=9秒. 主线程是异步的,这是重点,一定要掌握。。 对于并发任务,通常是用…
手把手教你如何使用Python的异步IO框架:asyncio(中)
大家好,并发编程 进入第十章。 为了更好地衔接这一节,我们先来回顾一下上一节的内容。 上一节,我们首先介绍了,如何创建一个协程对象. 通过@asyncio.coroutine 装饰函数。 然后有了协程对象,就需要一个事件循环容器来运行我们的协程。其主要的步骤有如下几点: 为了让…
CNN也能用于NLP任务,一文简述文本分类任务的7个模型
选自Ahmed BESBES,作者:Ahmed Besbes,机器之心编译。 本文是我之前写过的一篇基于推特数据进行情感分析的文章(https://ahmedbesbes.com/sentiment-analysis-on-twitter-using-word2vec-and-…
神经网络碰上高斯过程,DeepMind论文开启深度学习新方向
选自arXiv,机器之心编译。 函数近似是机器学习众多问题的核心,而过去深度神经网络凭借其「万能近似」的属性在函数近似方面无与伦比。在高级层面,神经网络可以构成黑箱函数近似器,它会学习如何根据大量训练数据点来参数化单个函数。 除了使用神经网络这种参数化的方法逼近一个函数,我们还…
当前训练神经网络最快的方式:AdamW优化算法+超级收敛
Adam 优化器之旅可以说是过山车(roller-coaster)式的。该优化器于 2014 年推出,本质上是一个出于直觉的简单想法:既然我们明确地知道某些参数需要移动得更快、更远,那么为什么每个参数还要遵循相同的学习率?因为最近梯度的平方告诉我们每一个权重可以得到多少信号,所…
发布AI芯片昆仑和百度大脑3.0、L4自动驾驶巴士量产下线,这是百度All in AI一年后的最新答卷
机器之心报道,作者:李泽南。 首先亮相的是百度创始人、董事长兼首席执行官李彦宏。在大会的主 Keynote 环节中,李彦宏介宣布,全球首款 L4 级自动驾驶巴士量产下线。此自动驾驶巴士由百度与金龙客车合作制造,取名为阿波龙。当前,阿波龙巴士在北京雄安、广州、深圳、东京等地开始商…
利用TICK搭建Docker容器可视化监控中心
性能监控是容器服务必不可少的基础设施,容器化应用运行于宿主机上,我们需要知道该容器的运行情况,包括 CPU使用率、内存占用、网络状况以及磁盘空间等等一系列信息。在我的前文《Docker容器可视化监控中心搭建》之中我们就实践过Docker容器的可视化监控,在那篇文章中我们是使用了…
当前训练神经网络最快的方式:AdamW优化算法+超级收敛
Adam 优化器之旅可以说是过山车(roller-coaster)式的。该优化器于 2014 年推出,本质上是一个出于直觉的简单想法:既然我们明确地知道某些参数需要移动得更快、更远,那么为什么每个参数还要遵循相同的学习率?因为最近梯度的平方告诉我们每一个权重可以得到多少信号,所…
ICML 2018 | 腾讯AI Lab提出误差补偿式量化SGD:显著降低分布式机器学习的通信成本
选自arXiv,作者:Jiaxiang Wu、Weidong Huang、Junzhou Huang、Tong Zhang,机器之心编译。 由于数据近年来的爆炸式增长,很多不同领域都已经越来越关注大规模机器学习了,比如计算机视觉和语音识别领域。在这些应用中,训练数据的量往往过于…
手把手教你如何使用Python的异步IO框架:asyncio(上)
大家好,并发编程 进入第九篇。 通过前两节的铺垫(关于协程的使用),今天我们终于可以来介绍我们整个系列的重点 -- asyncio。 asyncio是Python 3.4版本引入的标准库,直接内置了对异步IO的支持。 有些同学,可能很疑惑,既然有了以生成器为基础的协程,我们直接…
Keras vs PyTorch:谁是「第一」深度学习框架?
选自Deepsense.ai,作者:Rafał Jakubanis、Piotr Migdal,机器之心编译。 值得一提的是,尽管在 4 月底 PyTorch 在 0.4 版本中已经加入了对于 Windows 的支持,但其对比 Keras 与 TensorFlow 在 Windo…
Jeff Dean与David Patterson:不思考体系结构的深度学习研究者不是好工程师
机器之心原创,作者:邱陆陆。 今年 1 月,谷歌人工智能负责人 Jeff Dean(当时还是谷歌大脑负责人)与 2017 年图灵奖得主、体系结构巨擘 David Patterson(当时获奖结果尚未公布)联合发表了题为《计算机体系结构黄金时代:赋能机器学习革命》的文章。文章指出…
深入理解Python的yield from语法
大家好,并发编程 进入第八篇。 注:本系列已在微信公众号更新完成。查看最新文章,请关注公众号获取。 直到上一篇,我们终于迎来了Python并发编程中,最高级、最重要、当然也是最难的知识点之一(协程)。 当你看到这一篇的时候,请确保你对生成器的知识,有一定的了解。当然不了解,也没…
搭建模型第一步:你需要预习的NumPy基础都在这了
选自 Numpy,机器之心编译。 NumPy 主要的运算对象为同质的多维数组,即由同一类型元素(一般是数字)组成的表格,且所有元素通过正整数元组进行索引。在 NumPy 中,维度 (dimension) 也被称之为轴线(axes)。 比如坐标点 [1, 2, 1] 有一个轴线。…
令人困惑的TensorFlow!
选自http://jacobbuckman.com,作者:Jacob Buckman,机器之心编译。 我叫 Jacob,是 Google AI Resident 项目的研究学者。我是在 2017 年夏天加入该项目的,尽管已经拥有了丰富的编程经验,并且对机器学习的理解也很深刻,但…
ICML 2018大奖出炉:伯克利、MIT获最佳论文,复旦大学榜上有名
机器之心报道。 而复旦大学副教授黄增峰一人署名的论文《Near Optimal Frequent Directions for Sketching Dense and Sparse Matrices》则和 DeepMind、斯坦福大学的两篇论文一同位居「亚军」论文行列。 来自 …
特写 | CVPR十年轶事:走出象牙塔
机器之心原创,作者:Tony Peng。 这不是石建萍第一次来 CVPR 了。过去这八年,她几乎没落下过一届,倒也习惯了每年办一次美国签证。只不过,这么多年以来,参加 CVPR 的身份却在不断变化:从一个本科生,到博士生,到研究员,再到如今商汤科技的研究总监。 她今年带来了五篇…