ITPub博客

首页 > 大数据 > Hadoop > woss项目体会(hadoop,hive相关)

woss项目体会(hadoop,hive相关)

Hadoop 作者:泡泡海洋 时间:2013-06-21 10:08:56 0 删除 编辑
1.hadoop和hive当相关操作 Job全放在Job工程里,提供运行的接口
2.具体配置,和路径,参数处理,configuration处理,输入,输出路径,日期处理等全放入task工程里,可以条用job接口,跑hadoop或者hive
3.spring里配置很巧妙,BasicTask 为abstract,里面注入输入路径,输出路径,文件格式等通用参数,具体的appTask继承该task,调用该task的runtask 方法,方法 jobinterface =this.getjob 获得具体的Job运行作业。
4.HiveBasicTask 为abstract,注入jdbc链接等属性。 具体的hiveAppTask继承该task,配置在spring里,hiveAppTask又继承与baskTask,运行Job时重写方法,处理Hive的job.
5.配置list 跑一些列同类的task.方便进行扩展。
<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/26108378/viewspace-1120209/ ,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2011-07-29