从90年代的SRNN开始,纵览循环神经网络27年的研究进展
人工神经网络(ANN)由多层互相连接的称为人工神经元的单元构成。「浅层网络」指的是没有循环连接,且只有一个输入层、一个输出层,并至多只有一个隐藏层的 ANN。随着网络层数增加,复杂度也增加。层数或循环连接数的增加通常会增加网络的深度,从而使网络能提供多层次的数据表征以及特征提取…
2017机器学习与自然语言处理学术全景图:多产的作者与机构
2017 年是自然语言处理(NLP)和机器学习(ML)非常高产的一年。两个领域持续增长,会议论文数量纷纷打破记录。本文中我将根据个人作者和组织进行更详细的细分。统计信息来自以下会议:ACL、EMNLP、NAACL、EACL、COLING、TACL、CL、CoNLL、Sem+Se…
Java编程思想学习录(连载之:初始化与清理)
用循环神经网络进行文件无损压缩:斯坦福大学提出DeepZip
正在进行的大数据变革让我们收集了大量不同类型的数据,如图像、文本和音频等;新类型的数据如 3D VR 数据、用于自动驾驶的点云数据、不同类型的基因组数据等,占据着巨量的存储空间。因此,人们对于统计模型和适用于各种数据格式的高效压缩方法有着很大的需求。 近 50 年来,无损压缩技…
Python环境下的8种简单线性回归算法
对于大多数数据科学家而言,线性回归方法是他们进行统计学建模和预测分析任务的起点。但我们不可夸大线性模型(快速且准确地)拟合大型数据集的重要性。如本文所示,在线性回归模型中,「线性」一词指的是回归系数,而不是特征的 degree。 特征(或称独立变量)可以是任何的 degree,…
2017年的10大AI顶会,风起云涌的故事 | 机器之心年度盘点
文本主要分为两部分,第一部分是 2017 年顶会的概览,包括今年该领域 10 个顶会的论文提交与接受情况和它们的华人力量。第二部分重点关注这些顶会的获奖论文情况,我们将这些获奖论文主要分为计算机视觉、自然语言处理、学习过程和数据问题等 6 大主题,并从这些主题简要概述对应研究论…
机器之心年度盘点:2017年人工智能领域度备受关注的科研成果
来自谷歌大脑负责人 Jeff Dean 的 Keynote:人们在 arXiv 上提交的机器学习论文数量正遵循摩尔定律增长。人工智能技术的发展速度是否也有这么快? 今天,每当聊起人工智能,我们就不得不提 AlphaGo,这款由谷歌旗下研究型公司 DeepMind 开发的著名围棋…
开发者必读:计算机科学中的线性代数
作者:Petros Drineas、Michael W. Mahoney 矩阵在计算机科学、统计学和应用数学中占有独一无二的地位。一个 m×n 矩阵可以对 m 个对象(每个对象由 n 个特征描述)在有限单元网格中的离散微分算子信息进行描述;一个 n×n 正定矩阵可以编码所有 n…
除了深度学习,你需要知道AI技术的23个方向
在即将过去的 2017 年,深度学习技术蓬勃发展,AlphaZero 从「零」开始在多种棋类竞技上快速发展,DeepStack 与 Libratus 在德州扑克中击败人类高手,GAN 衍生出各种变体,语音合成从实验室走向产品,Vicarious 提出全新概率生成模型并击破人类的…
一份数学小白也能读懂的「马尔可夫链蒙特卡洛方法」入门指南
在我们中的很多人看来,贝叶斯统计学家不是巫术师,就是完全主观的胡说八道者。在贝叶斯经典方法中,马尔可夫链蒙特卡洛(Markov chain Monte Carlo/MCMC)尤其神秘,其中数学很多,计算量很大,但其背后原理与数据科学有诸多相似之处,并可阐释清楚,使得毫无数学基础…
从Pix2Code到CycleGAN:2017年深度学习重大研究进展全解读
1. 文本 去年,谷歌宣布上线 Google Translate 的新模型,并详细介绍了所使用的网络架构——循环神经网络(RNN)。 关键结果:与人类翻译准确率的差距缩小了 55-85%(研究者使用 6 个语言对的评估结果)。但是该模型如果没有谷歌的大型数据集,则很难复现这么优…
2017年度盘点:15个最流行的GitHub机器学习项目
GitHub 是计算机科学领域最为活跃的社区,在 GitHub 上,来自不同背景的人们分享越来越多的软件工具和资源库。在其中,你不仅可以获取自己所需的工具,还可以观看代码是如何写成并实现的。 作为一名机器学习爱好者,作者在本文中列出了 2017 年 GitHub 平台上最为热门…
概览深度学习中的五大正则化方法和七大优化策略
近来在深度学习中,卷积神经网络和循环神经网络等深度模型在各种复杂的任务中表现十分优秀。例如卷积神经网络(CNN)这种由生物启发而诞生的网络,它基于数学的卷积运算而能检测大量的图像特征,因此可用于解决多种图像视觉应用、目标分类和语音识别等问题。 但是,深层网络架构的学习要求大量数…
从传统方法到深度学习,人脸关键点检测方法综述
人脸关键点检测也称为人脸关键点检测、定位或者人脸对齐,是指给定人脸图像,定位出人脸面部的关键区域位置,包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等和人脸检测类似,由于受到姿态和遮挡等因素的影响,人脸关键点检测也是一个富有挑战性的任务。 人脸关键点检测是人脸识别任务中重要的基础环节,人…
一文概述2017年深度学习NLP重大进展与趋势
近年来,深度学习(DL)架构和算法在图像识别、语音处理等领域实现了很大的进展。而深度学习在自然语言处理方面的表现最初并没有那么起眼,不过现在我们可以看到深度学习对 NLP 的贡献,在很多常见的 NLP 任务中取得了顶尖的结果,如命名实体识别(NER)、词性标注(POS tagg…
使用OpenCV+Keras轻松破解验证码
每个人都讨厌 CAPTCHA——这些恼人的图片中包含你必须输入的文字,正确地填写它你才能访问网站。CAPTCHA 全称「全自动区分计算机和人类的公开图灵测试(Completely Automated Public Turing test to tell Computers an…
从零开始:教你如何训练神经网络
I. 简介 本文是作者关于如何「训练」神经网络的一部分经验与见解,处理神经网络的基础概念外,这篇文章还描述了梯度下降(GD)及其部分变体。此外,该系列文章将在在后面一部分介绍了当前比较流行的学习算法,例如: 作者在第一部分以非常简单的神经网络介绍开始,简单到仅仅足够让人理解我们…
NIPS大会最精彩一日:AlphaZero遭受质疑;史上第一场正式辩论与LeCun激情抗辩;元学习&强化学习亮点复盘
Kinds of Intelligence 主要讨论了实现智能的多种途径,吸引了众多参会者前来。不少生物界、心理学界和认知科学界的专家分享了人工智能以外的研究。 DeepMind 的 CEO Demis Hassabis 也是此次研讨会的嘉宾。Hassabis 上台时,现场雷动…
读懂概率图模型:从基本概念和参数估计开始
机器学习领域内很多常见问题都涉及到对彼此相互独立的孤立数据点进行分类。比如:预测给定图像中是否包含汽车或狗,或预测图像中的手写字符是 0 到 9 中的哪一个。 事实证明,很多问题都不在上述范围内。比如说,给定一个句子「I like machine learning」,然后标注每…
计算机视觉这一年:2017 CV技术报告Plus之卷积架构、数据集与新趋势
近期,ConvNet 架构在计算机视觉之外也有很多新的应用。但是,它们的架构在速度、准确率和任务训练方面都有进步,仍然主导着计算机视觉领域。因此,整体而言,ConvNet 架构对计算机视觉至关重要。下面列出了 2016 年以来一些优秀的 ConvNet 架构,其中很多从 Res…