ITPub博客

首页 > Linux操作系统 > Linux操作系统 > 中文分词器 jcseg

中文分词器 jcseg

原创 Linux操作系统 作者:jieforest 时间:2012-10-26 14:01:45 0 删除 编辑
jcseg是使用Java开发的一个中文分词器,使用流行的mmseg算法实现。

1。目前最高版本:jcseg 1.6.9。

2。mmseg四种过滤算法,分词准确率达到了97%以上。

3。支持自定义词库。在lexicon文件夹下,可以随便添加/删除/更改词库和词库内容,并且对词库进行了分类。如何给jcseg添加词库/新词

4。中文数字识别,例如:"四五十个人都来了,管他叁柒贰拾壹。"中的"四五十"和"叁柒贰拾壹"。(1.6.7版开始支持)

5。支持中英混合词的识别。例如:B超。

6。支持基本单字单位的识别,例如2012年。

7。智能圆角半角处理。

8。特殊字母识别:例如:Ⅰ,Ⅱ

9。特殊数字识别:例如:①,⑩

10。配对标点内容提取:例如:最好的Java书《java编程思想》,‘畅想杯黑客技术大赛’,被《,‘,“,『标点标记的内容。(1.6.8版开始支持)

11。智能中文人名识别。中文人名识别正确率达90%以上。(可以维护lex-lname.lex,lex-dname-1.lex,lex-dname-2.lex来去除歧义,提高准确率)。

12。jcseg佩带了jcseg.properties配置文档,我们可以自主的配置这个配置文档来适应不同的应用领域。例如:最大化分词的词数,是否开启中文分词(如果你的搜索领域不要处理中文人名识别,去掉这个选项可以提高jcseg的分词速度),中英混合词后的中文词数。

详细了解jcseg:http://code.google.com/p/jcseg/

下载地址:http://code.google.com/p/jcseg/downloads/list


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/301743/viewspace-747287/ ,如需转载,请注明出处,否则将追究法律责任。

上一篇: Express 3.0发布
请登录后发表评论 登录
全部评论

注册时间:2008-04-23

  • 博文量
    441
  • 访问量
    602345