ITPub博客

这篇文章里面没有写维特比分词算法的详细过程，以及转移矩阵的生成过程，以后有时间再补上。看源码，对隐马模型的理解又加深了一点，感受到了理论的东西如何用代码一步步来实现。由于我也是初学，对源码的理解不够深入或者存在一些偏差，欢迎批评指正。

大数据技术的应用正在潜移默化改变着我们的日常生活习惯和工作方式，很多看起来有点“不可思议”的事情也渐渐被我们“习以为常”。大数据可能在国内的起步较晚，但我们可能却是对大数据应用最好的了代表了。前些时候有分享了一个大数据技术在智慧人社上面的应用案例，最近也一直看一些人力资源方面大数据解决方案的案例，比较集中的都是围绕智慧人社的。

本文分析：HanLP版本1.5.3中二元核心词典的存储与查找。当词典文件没有被缓存时，会从文本文件CoreNatureDictionary.ngram.txt中解析出来存储到TreeMap中，然后构造start和pair数组，并基于这两个数组实现词共现频率的二分查找。当已经有缓存bin文件时，那直接读取构建start和pair数组，速度超快。

学习hadoop已经有很长一段时间了，好像是二三月份的时候朋友给了一个国产Hadoop发行版下载地址，因为还是在学习阶段就下载了一个三节点的学习版玩一下。在研究、学习hadoop的朋友可以去找一下看看（发行版DKhadoop，去大快的网站上应该可以下载到的。）

hanlp中文智能分词自动识别文字提取实例

Hanlp在java中文分词中的使用介绍

所谓的零基础大体可以分为两种：第一种是hadoop初学者，有一定的Linux基础、虚拟机和Java基础；第二种是hadoop兴趣爱好者，但缺乏最基本的Linux基础、虚拟机和Java基础。如果是第一种，其实学习hadoop的难度就会相对较小；但如果是第二种，那么难度就会非常大了。

自然语言处理说白了，就是让机器去帮助我们完成一些语言层面的事情，典型的比如：情感分析、文本摘要、自动问答等等。我们日常场景中比较常见到的类似Siri、微软小冰之类的，这些的基础都是自然语言处理，另外还有一些语音处理，这就暂且不表了。总之，你看到的机器与人利用语言交互，用机器模拟人脑阅读，对话，评论等等这些的基础都是自然语言处理的范畴之内。

对于有多年“码农”经验的朋友来说，学习大数据开发必然已经有了一个比较好的入门基础了，但转身投入大数据开发怀抱的可不全是“身经百战”的码农，就比如我昨天的那三个朋友。对于像他们这样的新手大数据开发又该如何快速入门？

中文主要有：NLTK，FoolNLTK，HanLP（java版本），pyhanlp（python版本），Ansj，THULAC，结巴分词，FNLP，哈工大LTP，中科院ICTCLAS分词，GATE，SnowNLP，东北大学NiuTrans，NLPIR，；

文本聚类简单点的来说就是将文本视作一个样本，在其上面进行聚类操作。但是与我们机器学习中常用的聚类操作不同之处在于。

HanLP 是基于 Java开发的 NLP工具包，由一系列模型与算法组成，目标是普及自然语言处理在生产环境中的应用。而且 HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点，因此十分好上手，本文就结合 Spring Boot来将 HanLP用起来！

大数据技术的应用与发展正在让我们的生活经历一场深刻的“变革”，而且这种变革几乎让所有人都感觉非常舒服，自然而然的就完成了这样的一个变化。最根本的原因其实是大数据技术的应用真正帮助我们解决了问题。

关于停用词，我同样先给出了一个简单的例子，你可以使用这个例子来完成你所需要的功能。要注意的一点是，因为java中的类所返回的数据类型与Python不统一，所以当你使用不同的函数的时候，一定要先检查输出结果在Python中的类型，不然可能会出现意想不到的问题。

大数据、区块链可以说近几年互联网非常火爆的风口了，发展真可谓是蓬勃向上。围绕大数据进行的行业变革、创新已经不仅仅是趋势，而是真实在进行中。大数据技术对各行业的重要性不言而喻，15年政府下发关于推进大数据技术发展的重要文件，紧接着又将大数据上升到了国家战略层面。所有这一系列重要举措，都证明了一件事情——当下，正是大数据的风口！

算法介绍最近要做领域概念的提取，TFIDF作为一个很经典的算法可以作为其中的一步处理。关于TFIDF算法的介绍可以参考这篇博客http://www.ruanyifeng.com/blog/2013/03/tf-idf.html。计算公式比较简单，如下：预处理由于需要处理的候选词大约后3w+，并且语料文档数有1w+，直接挨个文本遍历的话很耗时，每个词处理时间都要一分钟以上。为了缩短时间，首先进行分词

大数据经过多年的潜心发展，在当今可以说是进入到了一个快速发展期。各种围绕大数据的应用开发也迅速火热起来了。政务大数据解决方案、企业级大数据解决方案、智慧城市停车大数据解决方案等已经开始被应用。5月份一条很有意思的娱乐新闻——警方在某歌手的演唱会上抓捕了好几个被网上追逃的人。这同样是大数据技术的应用······

在Kmeans算法中，一个样本需要使用数值类型，所以需要把文本转为数值向量形式，这里在Spark中有两种方式。其一，是使用TF-IDF；其二，使用Word2Vec。这里暂时使用了TF-IDF算法来进行，这个算法需要提供一个numFeatures，这个值越大其效果也越好，但是相应的计算时间也越长，后面也可以通过实验验证。

HanLP几乎所有的功能都可以通过工具类HanLP快捷调用，当你想不起来调用方法时，只需键入HanLP.，IDE应当会给出提示，并展示HanLP完善的文档。所有Demo都位于com.hankcs.demo下，比文档覆盖了更多细节，更新更及时，强烈建议运行一遍。

现在市面上围绕大数据的应用开发如火如荼，比如，企业级大数据处理平台开发、政务大数据平台的开发、智慧交通大数据平台开发等。这些大数据处理平台的开发从技术角度上来说都是偏向于底层的，开发难度之大真不是三两个人就可以搞得定的。虽然个人独立开发难度大，但研究下这些平台架构总是可以的，可能对于从事开发方面的技术宅来说，势必是要去研究下的！从我自己身边的这些技术宅身上，这一点我是看的很透彻的。