spark集群运用hanlp进行分布式分词操作阐明ITeye快报 - 凯时娱乐

spark集群运用hanlp进行分布式分词操作阐明ITeye快报

2018-11-27 11:10:46 | 作者: 又琴 | 标签: 修正,配置文件,数据包 | 浏览: 8864

3.   @Override

4.    public InputStream open(String path) throws IOException {

5.        Configuration conf = new Configuration();

6.       FileSystem fs = FileSystem.get(URI.create(path), conf);

7.        return fs.open(new Path(path));

8.    }

9. 

10.    @Override

11.   public OutputStream create(String path) throws IOException {

12.        Configuration conf = new Configuration();

13.        FileSystem fs = FileSystem.get(URI.create(path), conf);

14.        OutputStream out = fs.create(new Path(path));

15.        return out;

16.    }

17.  }

 

第二步:修正配置文件。root为hdfs上的数据包,把IOAdapter改为我们上面完成的类

 

 

 

 

  

ok,这样你就能在分布式集群上运用hanlp进行分词了。

 

整个过程比较简单,欢迎各位大神沟通讨论!

 

转载自:https://blog.csdn.net/qq_33872191/article/details/84963310

版权声明
本文来源于网络,版权归原作者所有,其内容与观点不代表凯时娱乐立场。转载文章仅为传播更有价值的信息,如采编人员采编有误或者版权原因,请与我们联系,我们核实后立即修改或删除。

猜您喜欢的文章

阅读排行

  • 1

    第八章 装修形式环球

    形式,组件,结构
  • 2

    CreateThread()、mingxing

    线程,函数,运转
  • 3

    js 目标过错itjob

    目标,网站,上线
  • 4
  • 5
  • 6

    dom4j比如alibaba

    节点,特点,示例
  • 7

    没事瞎玩一下dongfang

    蒲公英,程序,代码
  • 8
  • 9
  • 10