ITPub博客

前言  同学们好，欢迎来到本专栏学习。不久前，谷歌的AI团队发布了一个新的语言表征模型——BERT模型。了解自然语言处理的同学，应该没有不知道BERT的；甚至连很多自然语言处理圈外的开发的同学，都知道这个模型的厉害。自google在2018年10月底公布BERT在11项nlp任务中的卓越表现后，BE

前言  同学们好，欢迎来到本专栏学习。本节我们将介绍一种新的词嵌入（WordEmbedding）方法——ELMO。关于词嵌入，相信读过前面章节的同学都不会陌生，其实就是将词进行向量化表示，实体的抽象成了数学描述，就可以进行建模，应用到很多任务中。之前我们也介绍过一些做词嵌入的方法，譬如Word2ve

前言  同学们好，这一节我们来介绍一下近年来NLP方面的一些新技术。Google这两年相继发表了《AttentionIsAllYouNeed》和《BERT:Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstanding》等一系列

前言  同学们好，很快我们来到了本专栏的尾声了。相信同学们学习了前面的内容后已经可以对NLP这个领域有了大致的认识。自然语言可谓千变万化，计算机要学习人类的语言实属一件难事，毕竟计算机只是一个“算数”很快的小学生。但万变不离其中，只要掌握它里面的规律，小学生还是能够学会的。在专栏的末章，我们将来介绍

前言  上文已经讲解了是图谱的构建以及存储。那么，知识图谱这种东西具体有什么用呢？这个问题其实非常开放的，下面我们通过一些例子来了解一下它的应用场景。人物关系搜索比如你在百度中查询“黄晓明”，除了会把这个人的个人资料给你显示出来，还会把他的照片库链接给你列出来附上链接，还会把他演过的电影列出来附上链

前言  在上一节中，我们讲解了关系挖掘。当被关系挖掘之后，我们就要考虑如何存储这些关系了。在前面我们也看看到了，由于关系本身是一种很像图的数据结构——由“节点”和有方向的“边”组成，那么这种关系如果要想储存用图数据库就更合适一些。虽然用关系型数据库不是说一定不能存储，而是在关系型数据库在底层的实现和

前言  同学们好，这一节我们要讲的是"关系挖掘"。这是知识图谱技术应用的第一步，就是要挖掘出来上节提到的那种关系。从哪里挖呢？当然是从公开的语料中挖取。人类到现在为止已经积累了很多很多的知识数据，形式也很丰富，有图书，有杂志，有报纸，还有现在信息最丰富，增长最快，更新最频繁的互联网。前面说的图书、杂

同学们好，欢迎来到本章学习。在上一章我们讲解了NER技术以及它的一些应用。那么本章，我们来学习一个新的概念——知识图谱。所谓知识图谱，英文名叫KonwledgeGraph,是一种用来表示知识之间结构与关系的一类应用统称，是一种知识库的表达形式。为什么称之为图谱呢，因为通常对于这样一系列的应用，使用图

前言  同学们好，本节我们来尝试使用NER做一个自动填单的小case。不知道同学们在日常生活中，有没有见过这样的应用。在你网购、叫外卖的时候，往往需要输入一些收货信息，如：收货地址、手机号码、姓名等等。有时候这些信息很多而且大多都是重复的，让人十分厌倦。为了解决这个痛点，一些大型的网站通常会提供地址

前言在上一节中，我们已经详细讲解了关于循环神经网络的知识内容，那么在这一节我们将要使用这个网络去训练一个NER。首先要说的是，和其它的基于深度学习的解决方案一样，解决这类问题也不是仅仅限于一种模型结构。由于深度学习是一种渴望End-to-End的训练方式的解决方案，所以其结构仍然会关注于“输入”、“

前言在介绍NER的深度学习模型之前，我们这里先要介绍一种深度学习的网络——循环神经网络（RNN）。在NLP领域是非常喜欢用RNN相关的模型的，什么LSTM、Bi-LSTM、GRU、Bi-GRU等等这些单元都会经常在各种NLP模型中出现。那么这个"循环"是怎么回事呢？循环神经网络（RecurrentN

NER（实体命名识别）NER是近几年来一种应用得比较多的NLP技术，是NamedEntityRecognition的缩写，中文翻译成“命名实体识别”。这不是一个算法的名字，而是一类应用的名字。NER要做的事情比较单纯，就是希望能够从一篇文章中找到那些需要找到的词汇。给大家看个例子一下就明白了。比如，

前言  在前面章节中，我们花了很大的篇幅讲述了卷积神经网络（CNN）的原理，相信大家已经对卷积神经网络有了一个清晰的认识。在之前，CNN大多应用在语音识别以及图像处理领域。在最近几年，几乎所有图像、语音识别领域的重要突破都是卷积神经网络取得的，比如谷歌的GoogleNet、微软的ResNet等，打败

池化层前言  池化层在卷及网络中也是一个比较重要的组件，英文叫做PoolingLayer，或者翻译做池层，在一些旧有的CNN网络中喜欢设计的一层处理层。池化层的作用实际上上对FeatureMap所做的数据处理又进行了一次所谓的池化处理。我们具体来看看这个池化处理都做了些什么吧。池化层处理常见的池化层

卷积层前言  上文我们讲到卷积核，其实这种东西画出来确实比较直观，只是在实际应用中，卷积核也是“一层一层”出现的。对于这一层一层的卷积层，我们在定义的时候也是一层一层来定义的。定义的时候会有另外两个比较重要的参数，一个是Striding，一个是Padding。Padding参数先说Padding，P

前言  卷积的数学的含义我们能够理解之后，那理解卷积核就会简单多了，因为我们只要理解它是在滑动中去提取特征就足够了。卷积核我们先看卷积核的表达方式，它的表达式为可能有人说我是不是写错了，这个不是卷积核，这个就是一个普通的神经元的前半部分线性处理的部分。其实你这么看倒是也不能算错，因为从计算逻辑的角度

什么是卷积为了对卷积神经网络的构思实质进行说明，我们只能勉为其难地先说说卷积是什么。为泛函分析（FunctionalAnalysis）是一门非常艰深而且奥妙无穷的数学分支，一般在大学里读到博士学位才可能系统地学到里面的知识体系。不过这个领域中所讨论的具体的知识点确实早就在其它工程领域中崭露头角。在泛

卷积神经网络（CNN）在《什么是深度学习》的章节中，咱们已经看到了全连接网络的工作原理。在我们举的例子中，这些神经元之间彼此连接的方式有一个特点，那就是每一个神经元节点的输入都来自于上一层的每一个神经元的输出。这种方式就叫做全连接网络（FullConnectNetwork）——整个网络的每一层都是以

FastText文档分类前言同学们好，这一节我们将学习文档分类的第一个算法——FastText。那么FastText是一个什么东西呢？它是facebook开源的一个词向量与文本分类工具，在2016年开源，典型应用场景是“带监督的文本分类问题”，提供简单而高效的文本分类和表征学习的方法，性能比肩深度学

文档分类  在上一章的学习中，我们讲解了如何对词或句子进行embedding。但获取到词向量并非是我们最终的目的，我们是想通过词向量来进行一些下游的NLP工作，譬如这章讲到的文档分类。“文档分类”这个概念我们在前面的章节提及过，使用简单的朴素贝叶斯或者逻辑回归就能完成一个“文档分类”的模型。不过，近