ITPub博客

首页 > 人工智能 > 自然语言 > NLP自然语言处理中英文分词工具集锦与基本使用介绍

NLP自然语言处理中英文分词工具集锦与基本使用介绍

自然语言 作者:adnb34g 时间:2019-05-31 10:16:25 1 删除 编辑

一、中文分词工具

( 1)Jieba

 

( 2)snowNLP分词工具

 

( 3)thulac分词工具

 

( 4)pynlpir 分词工具

( 5)StanfordCoreNLP分词工具

1. from stanfordcorenlp import StanfordCoreNLP

2. with   StanfordCoreNLP(r'E:\Users\Eternal Sun\PycharmProjects\1\venv\Lib\stanford-corenlp-full-2018-10-05',) as nlp:

3.     print("stanfordcorenlp分词:\n",nlp.word_tokenize(Chinese))

( 6)Hanlp分词工具

 

分词结果如下:

 

二、英文分词工具

 

1. NLTK:

 

二者之间的区别在于,如果先分句再分词,那么将保留句子的独立性,即生成结果是一个二维列表,而对于直接分词来说,生成的是一个直接的一维列表,结果如下:

 

2. SpaCy:

 

3. StanfordCoreNLP:

 

分词结果

 

 


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/31524777/viewspace-2646303/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
八年IT互联从业经历,专注网络营销、大数据、人工智能等领域的知识分享

注册时间:2018-03-09

  • 博文量
    184
  • 访问量
    165355