ITPub博客

首页 > 大数据 > Spark > spark集群使用hanlp进行分布式分词操作说明

spark集群使用hanlp进行分布式分词操作说明

Spark 作者:adnb34g 时间:2019-01-21 10:16:16 0 删除 编辑


本篇分享一个使用 hanlp分词的操作小案例,即在spark集群中使用hanlp完成分布式分词的操作,文章整理自【 qq_33872191 】的博客,感谢分享!以下为全文:

 

分两步:

第一步:实现 hankcs.hanlp/corpus.io.IIOAdapter

 

 

1.    public class HadoopFileIoAdapter implements IIOAdapter {

2.  

3.    @Override

4.     public InputStream open(String path) throws IOException {

5.         Configuration conf = new Configuration();

6.        FileSystem fs = FileSystem.get(URI.create(path), conf);

7.         return fs.open(new Path(path));

8.     }

9.  

10.     @Override

11.    public OutputStream create(String path) throws IOException {

12.         Configuration conf = new Configuration();

13.         FileSystem fs = FileSystem.get(URI.create(path), conf);

14.         OutputStream out = fs.create(new Path(path));

15.         return out;

16.     }

17.   }

 

第二步:修改配置文件。 root hdfs 上的数据包,把 IOAdapter 改为咱们上面实现的类

 

 

 

ok ,这样你就能在分布式集群上使用 hanlp 进行分词了。

 

整个步骤比较简单,欢迎各位大神交流探讨!



来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/31524777/viewspace-2564255/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
八年IT互联从业经历,专注网络营销、大数据、人工智能等领域的知识分享

注册时间:2018-03-09

  • 博文量
    172
  • 访问量
    129082