首页 > 人工智能 > 自然语言 > NLP自然语言处理中英文分词工具集锦与基本使用介绍
一、中文分词工具
( 1)Jieba
( 2)snowNLP分词工具
( 3)thulac分词工具
( 4)pynlpir 分词工具
( 5)StanfordCoreNLP分词工具
1. from stanfordcorenlp import StanfordCoreNLP
2. with StanfordCoreNLP(r'E:\Users\Eternal Sun\PycharmProjects\1\venv\Lib\stanford-corenlp-full-2018-10-05',) as nlp:
3. print("stanfordcorenlp分词:\n",nlp.word_tokenize(Chinese))
( 6)Hanlp分词工具
分词结果如下:
二、英文分词工具
1. NLTK:
二者之间的区别在于,如果先分句再分词,那么将保留句子的独立性,即生成结果是一个二维列表,而对于直接分词来说,生成的是一个直接的一维列表,结果如下:
2. SpaCy:
3. StanfordCoreNLP:
分词结果
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/31524777/viewspace-2646303/ ,如需转载,请注明出处,否则将追究法律责任。