ITPub博客

首页 > 人工智能 > 自然语言 > 如何在java中去除中文文本的停用词

如何在java中去除中文文本的停用词

自然语言 作者:adnb34g 时间:2019-05-06 10:20:08 1 删除 编辑

1.  整体思路

第一步:先将中文文本进行分词,这里使用的 HanLP-汉语言处理包进行中文文本分词。

第二步:使用停用词表,去除分好的词中的停用词。

2.  中文文本分词环境配置

使用的 HanLP-汉语言处理包进行中文文本分词。

· HanLP-汉语言处理包 下载,可以去 github上下载

· HanLP 的环境配置有两种方式:方式一、Maven;方式二、下载jar、data、hanlp.properties。

· 官方环境配置 步骤也可以在 github上查询到。

· 环境配置好后, java使用HanLP进行中文分词文档如下:hanlp.linrunsoft.com/doc.html

3.  下载停用词表

停用词表可以去百度 或者其他搜索引擎检索一份,很容易就找到!

4.  去除停用词工具类

使用这个工具类的之前,请先完成中文文本分词环境配置,并测试一下。停用词 .txt 文件路径请修改为自己的本地路径。

 

 


5.  工具类测试

5.1  测试代码

public class test {

    public static void main(String args[]) {

        try {

            System.out.println(FormatUtil.RemovalOfStopWords("床前明月光,疑是地上霜。举头望明月,低头思故乡。"));

        } catch (IOException e) {

            e.printStackTrace();

        }

    }

 

5.2  测试结果

 

 


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/31524777/viewspace-2643375/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
八年IT互联从业经历,专注网络营销、大数据、人工智能等领域的知识分享

注册时间:2018-03-09

  • 博文量
    184
  • 访问量
    165334