ITPub博客

文章分享自贾继康的博客，博客使用的hanlp是1.6.8的版本。大家可以去下载最新的1.7版本了，也比较推荐使用最新的这个版本！

HanLP-停用词表的使用示例

关于hanlp的文章已经分享过很多，似乎好像大部分以理论性的居多。最近有在整理一些hanlp应用项目中的文章，待整理完成后会陆续分享出来。本篇分享的依然是由baiziyu 分享的一篇文章，感兴趣的可以在知乎上关注下他的专栏，写的还是挺好的！

Pyhanlp分词与词性标注的相关内容记得此前是有分享过的。可能时间太久记不太清楚了。以下文章是分享自“baiziyu”所写（小部分内容有修改），供大家学习参考之用。

本篇给大家分享baiziyu 写的HanLP 中的N-最短路径分词。以为下分享的原文，部分地方有稍作修改，内容仅供大家学习交流！

中文分词是中文文本处理的一个基础步骤，也是中文人机自然语言交互的基础模块。不同于英文的是，中文句子中没有词的界限，因此在进行中文自然语言处理时，通常需要先进行分词，分词效果将直接影响词性、句法树等模块的效果。当然分词只是一个工具，场景不同，要求也不同。

HanLP 1.7.3 发布了。HanLP 是由一系列模型与算法组成的 Java 工具包，目标是普及自然语言处理在生产环境中的应用。HanLP 具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。

HanLP分词，如README中所说，如果没有特殊需求，可以通过maven配置，如果要添加自定义词典，需要下载“依赖jar包和用户字典".

使用 HanLP - 汉语言处理包 来处理，他能处理很多事情，如分词、调用分词器、命名实体识别、人名识别、地名识别、词性识别、篇章理解、关键词提取、简繁拼音转换、拼音转换、根据输入智能推荐、自定义分词器

1.  整体思路第一步：先将中文文本进行分词，这里使用的HanLP-汉语言处理包进行中文文本分词。第二步：使用停用词表，去除分好的词中的停用词。2.  中文文本分词环境配置使用的HanLP-汉语言处理包进行中文文本分词。·HanLP-汉语言处理包下载，可以去github上下载·HanLP 的环境配置有两种方式：方式一、Maven；方式二、下载jar、data、hanl

说明·目前的实现方式是以远程词库的内容重新构建CustomDictionary.trie,demo主要是为了实现同步远程词库，对性能暂不作考虑,对性能要求要以CustomDictionary.dat为基础实现按hanlp作者述 trie后期可能会取消 目前CustomDictionary使用DAT储存词典文件中的词语，用BinTrie储存动态加入的词语，前者性能高，后者性能低之所以保留动

支持中文分词（N-最短路分词、CRF分词、索引分词、用户自定义词典、词性标注），命名实体识别（中国人名、音译人名、日本人名、地名、实体机构名识别），关键词提取，自动摘要，短语提取，拼音转换，简繁转换，文本推荐，依存句法分析（MaxEnt依存句法分析、CRF依存句法分析）

 基于 HanLP 的 Elasticsearch 中文分词插件，核心功能： 兼容 ES 5.x-7.x；内置词典，无需额外配置即可使用；支持用户自定义词典；支持远程词典热更新（待开发）；内置多种分词模式，适合不同场景；拼音过滤器（待开发）；简繁体转换过滤器（待开发）。 版本插件版本和 ES 版本一致，直接下载对应版本的插件进行安装即可。 ·插件开发完成时，

本次测试选用 HanLP 1.6.0 , LTP 3.4.0

portable版 portable版零配置，仅提供中文分词、简繁拼音、同义词等功能。只需在build.gradle中加入依赖： dependencies {    compile 'com.hankcs:hanlp:portable-1.6.8'} 自定义版 HanLP的全部功能（分词、简繁、拼音、文

基于HanLP，支持包括Solr（7.x）在内的任何基于Lucene（7.x）的系统。

HanLP的Python接口，支持自动下载与升级HanLP，兼容py2、py3。

本章是接前两篇《分词工具Hanlp基于感知机的中文分词框架》和《基于结构化感知机的词性标注与命名实体识别框架》的。本系统将同时进行中文分词、词性标注与命名实体识别3个任务的子系统称为“词法分析器”。

上周就关于《结构化感知机标注框架的内容》已经分享了一篇《分词工具Hanlp基于感知机的中文分词框架》，本篇接上一篇内容，继续分享词性标注与命名实体识别框架的内容。

结构化感知机标注框架是一套利用感知机做序列标注任务，并且应用到中文分词、词性标注与命名实体识别这三个问题的完整在线学习框架，该框架利用1个算法解决3个问题，时自治同意的系统，同时三个任务顺序渐进，构成流水线式的系统。本文先介绍中文分词框架部分内容。