ITPub博客

Doc2vec技术前言  上文我们讲述了如何将一个词变成一个向量，并且引入了Word2vec模型，它使得词在向量化之后变得稠密并且具有语义特征。但是在自然语言处理中，我们要处理的并非词，而通常是一篇文档。说到这里，聪明的同学可能就会想到，既然Word可以变成Vector,那么文档是不是也可以变成Ve

Word2vec前言如果要一句话概括词向量的用处，就是提供了一种数学化的方法，把自然语言这种符号信息转化为向量形式的数字信息。这样就把自然语言理解的问题要转化为机器学习的问题。词向量化的方法有很多种，我们就先从最简单的one-hot向量讲起吧。one-hot向量说到词向量，以one-hot编码的形式

字词向量化  同学们好，在前面的章节中，我们说过，NLP面临的第一个问题是分词问题。但分词只是第一步，我们知道，计算机只能做数值运算，如果直接喂给它一个词，它是无法理解的，因此NLP的第二步就是需要对词进行向量化操作，或者说是数值化。人们从开始考虑用计算机处理自然语言的时候就想到了如何把一个一个的W

3.4神经网络为什么这么强前言  我们前面已经学习了神经网络的原理以及网络构成，并且知道了它是怎么训练的。那么这节，我们就说说神经网络到底为什么那么神奇，相比于传统的机器学习优势在哪里？神经网络的优势  神经网络，尤其是深度神经网络之所有这么强主要是因为他能过通过大量的线性分类器和非线性函数的不同组

3.3神经网络的训练前言  在前面几节的学习中，我们已经认识了神经网络到底是一个什么东西。通过将神经元的不同组合和连接得到了一个完整的网络结果，再用这个网络结构去进行计算。那么，这一节我们将讲述如何对神经网络进行训练。神经网络的训练  要说到神经网络的训练，我们要明确一点，我们到底在训练什么？还记得

3.2神经网络的通俗理解前言  在上一节的学习中，我们知道了组成神经网络的最基本单元——神经元。并且了解到神经元的内部是由“线性模型”和“激励函数”组成的。在本节的学习中，我会讲解如何利用这些基本单元组成一个完整的神经网络。神经网络  说到神经网络，其实结构是也是十分简单的。只要我们将多个神经元首尾

3.1神经元与激励函数前言  同学们好，欢迎来到深度学习的课程学习。所谓深度学习，现在通常是有两种流传的解释。一种是说这种学习是基于深度神经网络（DeepNerualNetworks）的学习，所以叫深度学习；还有一种说法是说这种技术能够让模型从海量的样本中去发现更多更深层的特征和规律，所以才叫深度学

深度学习到底是什么玩意同学们好，欢迎来到本课程学习。作为近年来持续火热的研究领域，深度学习每年都给我们带来一些新的惊喜。我们随手拈来，就能找到很多使用深度学习落地的应用。有2016年横扫世界的AlphaGO，早在2015年10月阿尔法围棋以5:0完胜欧洲围棋冠军、职业二段选手樊麾；2016年3月对战

2.3逻辑回归算法算法原理同学们好，这一节我们将学习逻辑回归算法。简单来说，逻辑回归是一种用于解决二分类问题的机器学习方法，用于估计事物之间的可能性。比如今天会下雨的可能性，明天你心仪的股票是否会上涨的可能性。上面举到的例子中，下雨和股票上涨都只存在两种情况，要么下雨，要么不下雨。或者要么上涨，要么

2.3逻辑回归算法前言  同学们好，这一节我们将学习逻辑回归算法。简单来说，逻辑回归是一种用于解决二分类问题的机器学习方法，用于估计事物之间的可能性。比如今天会下雨的可能性，明天你心仪的股票是否会上涨的可能性。上面举到的例子中，下雨和股票上涨都只存在两种情况，要么下雨，要么不下雨。或者要么上涨，要么

2.2使用朴素贝斯进行文本分类

VSM的基本思想是把文档简化为特征项的权重为分量的向量表示：其中Wi为第i个特征项的权重，一般选取词作为特征项，权重用词频表示。词频分为绝对词频和相对词频。绝对词频，即用词在文本中出现的频率表示文本；相对词频，即为归一化的词频，其计算方法主要运用TF-IDF公式（TermFrequency-Inve

结巴分词的使用是非常方便的，也是我们入门NLP非常好用的工具，这一节我们再介绍一个很实用的小功能——用户词典。我们先来看一个例子：#encoding=utf\-8importjiebaseg\_list=jieba.cut("夏博士去了日本群马县的上毛高原"cut_all=False)print("

上一节我们已经了解了基于词表匹配的两种分词方法，方法很直接，也很容易理解。本节我们来介绍一种看上去更“高级”一些的方法，一个基于统计的方法。

分词的算法有很多种，比如有基于词表的“正向最大匹配法”（ForwardMaximumMatchingMethod），“逆向最大匹配法”等（BackwardMaximumMatchingMethod）。

在我们熟悉的汉语中，NLP面临的第一个问题应该就是分词问题。或者准确地说NLP面临的第一个问题就是给文字做量化，因为没有办法用合适的数据来表示文字信息的话，后续的一切建模与计算都将是浮云，分词只是第一步。

说到语言和文字，那就必须对我们常见的语言和文字做个简单的介绍

NLP是NatureLanguageProcessing的缩写，即自然语言处理，是研究使用计算机处理人类语言的技术的一大领域，是人工智能的一大重点研究方向，也是近年来包括所有一线互联网公司在内所有新技术企业都在努力研究并应用的主要热门领域之一。

随着数据科学的发展，越来越多的问题被攻克，尤其是随着AlphaGO的横空出世，之后就是井喷一般的人工智能应用四面开花。除了“观赏效果”非常好的AlphaGO这类“策略型”机器人以外，人工智能能够在实际应用中发挥特长的地方还是非常多的。