ITPub博客

首页 > 大数据 > 数据分析 > 记录配置HDFS HA后,hive抛错Wrong FS

记录配置HDFS HA后,hive抛错Wrong FS

原创 数据分析 作者:hackeruncle 时间:2016-12-20 11:54:23 0 删除 编辑

1.问题:

在CDH5.x或者Apache环境下,配置了NameNode的HA后,Hive无正常查询数据了。

Hive查询会出现如下异常:

点击(此处)折叠或打开

  1. FAILED: SemanticException Unable to determine if hdfs://hadoop-01:8020/user/hive/warehouse/t1
  2.  is encrypted: java.lang.IllegalArgumentException: Wrong FS: hdfs://hadoop-01:8020/user/hive/warehouse/t1, expected: hdfs://nameservice1

 

2.解决:
Hive元数据的问题,在Hive中有两张表:

DBS  : Hive数据仓库的总路径

SDS  : Hive每张表对应的路径

a.进入mysql
b.use hive;
c.修改dbs 和 sds表

点击(此处)折叠或打开

  1. update DBS set DB_LOCATION_URI=REPLACE (DB_LOCATION_URI,'hadoop-01:8020','nameservice1');
  2. update SDS set LOCATION=REPLACE (LOCATION,'hadoop-01:8020','nameservice1')

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/30089851/viewspace-2131020/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
主要从事大数据平台产品的技术工作; 负责基于Spark、Flink生产开发及性能调优; 负责对公司的集群的部署、监控、调优和运营; 主导我司的数据平台0到1及实时中间件项目开发; 此外,精通Java、Shell、Python编程; 且荣获2016年IBM的Spark大赛全球第四名,中国区域第一名。

注册时间:2015-01-03

  • 博文量
    187
  • 访问量
    351036