ITPub博客

首页 > 人工智能 > 自然语言 > pyhanlp:hanlp的python接口

pyhanlp:hanlp的python接口

自然语言 作者:adnb34g 时间:2019-04-12 10:27:23 0 删除 编辑


HanLP的Python接口,支持自动下载与升级HanLP,兼容py2、py3。

 

安装

pip install pyhanlp

使用命令 hanlp来验证安装,如因网络等原因自动安装失败,可参考手动配置或Windows指南。

命令行

中文分词

使用命令 hanlp segment进入交互分词模式,输入一个句子并回车,HanLP会输出分词结果:

 

$ hanlp segment

商品和服务

商品 /n 和/cc 服务/vn

当下雨天地面积水分外严重

/p 下雨天/n 地面/n 积水/n 分外/d 严重/a

龚学平等领导说 ,邓颖超生前杜绝超生

龚学平 /nr 等/udeng 领导/n 说/v ,/w 邓颖超/nr 生前/t 杜绝/v 超生/vi

还可以重定向输入输出到文件等:

$ hanlp segment <<< '欢迎新老师生前来就餐'               

欢迎 /v 新/a 老/a 师生/n 前来/vi 就餐/vi

 

依存句法分析

命令为 hanlp parse,同样支持交互模式和重定向:

 

 

服务器

通过 hanlp serve来启动内置的http服务器,默认本地访问地址为: ;也可以访问官网演示页面: 。

 

升级

通过 hanlp update命令来将HanLP升级到最新版。该命令会获取HanLP主项目最新版本并自动下载安装。

欢迎通过 hanlp --help查看最新帮助手册。

 

API

通过工具类 HanLP调用常用接口:

 

from pyhanlp import *

 

print(HanLP.segment('你好,欢迎在Python中调用HanLP的API'))

for term in HanLP.segment('下雨天地面积水'):

    print('{}\t{}'.format(term.word, term.nature)) # 获取单词与词性

testCases = [

    "商品和服务",

    "结婚的和尚未结婚的确实在干扰分词啊",

    "买水果然后来世博园最后去世博会",

    "中国的首都是北京",

    "欢迎新老师生前来就餐",

    "工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作",

     "随着页游兴起到现在的页游繁盛,依赖于存档进行逻辑判断的设计减少了,但这块也不能完全忽略掉。"]

for sentence in testCases: print(HanLP.segment(sentence))

# 关键词提取

document = "水利部水资源司司长陈明忠9月29日在国务院新闻办举行的新闻发布会上透露," \

           "根据刚刚完成了水资源管理制度的考核,有部分省接近了红线的指标," \

           "有部分省超过红线的指标。对一些超过红线的地方,陈明忠表示,对一些取用水项目进行区域的限批," \

           "严格地进行水资源论证和取水许可的批准。"

print(HanLP.extractKeyword(document, 2))

# 自动摘要

print(HanLP.extractSummary(document, 3))

# 依存句法分析

print(HanLP.parseDependency("徐先生还具体帮助他确定了把画雄鹰、松鼠和麻雀作为主攻目标。"))

 

更多功能

更多功能,包括但不限于:

自定义词典

极速词典分词

索引分词

CRF分词

感知机词法分析

臺灣正體、香港繁體

关键词提取、自动摘要

文本分类、情感分析

请阅读 HanLP主项目文档和demos目录以了解更多。调用更底层的API需要参考Java语法用JClass引入更深的类路径。以感知机词法分析器为例,这个类位于包名com.hankcs.hanlp.model.perceptron.PerceptronLexicalAnalyzer下,所以先用JClass得到类,然后就可以调用了:

 

PerceptronLexicalAnalyzer = JClass('com.hankcs.hanlp.model.perceptron.PerceptronLexicalAnalyzer')

analyzer = PerceptronLexicalAnalyzer()

print(analyzer.analyze("上海华安工业(集团)公司董事长谭旭光和秘书胡花蕊来到美国纽约现代艺术博物馆参观"))

 

输出:

[上海/ns 华安/nz 工业/n (/w 集团/n )/w 公司/n]/nt 董事长/n 谭旭光/nr 和/c 秘书/n 胡花蕊/nr 来到/v [美国/ns 纽约/ns 现代/t 艺术/n 博物馆/n]/ns 参观/v

如果你需要多线程安全性,可使用 SafeJClass;如果你需要延迟加载,可使用LazyLoadingJClass。如果你经常使用某个类,欢迎将其写入pyhanlp/__init__.py中并提交pull request,谢谢!

 

与其他项目共享 data

HanLP具备高度可自定义的特点,所有模型和词典都可以自由替换。如果你希望与别的项目共享同一套data,只需将该项目的配置文件hanlp.properties拷贝到pyhanlp的安装目录下即可。本机安装目录可以通过hanlp --version获取。

 

同时,还可以通过 --config临时加载另一个配置文件:

 

hanlp segment --config path/to/another/hanlp.properties

 

测试

git clone

cd pyhanlp

pip install -e .

python tests/test_hanlp.py

 

文章转载自 github.com/hankcs/pyhanlp


来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/31524777/viewspace-2641136/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
八年IT互联从业经历,专注网络营销、大数据、人工智能等领域的知识分享

注册时间:2018-03-09

  • 博文量
    172
  • 访问量
    128974