ITPub博客

首页 > 大数据 > Hadoop > Sqoop安装及验证

Sqoop安装及验证

Hadoop 作者:xinlieboy 时间:2014-10-31 08:07:57 0 删除 编辑

 环境:

系统

Red hat linux 6.4

Hadoop版本

1.2.1

Sqoop版本

1.4.4

Mysql数据库版本

5.6.15

 

获取sqoop:http://sqoop.apache.org/

 

Step1. 下载sqoop及mysqlconnector并解压

Step2. 将解压后的connector中的jar包拷贝到sqoop的lib目录下


 

修改bin目录下 configure-sqoop 文件:

注释掉hbase和 zookeeper检查,因为目前还没有启用hbase/zookeeper等hadoop上的组件


 

Step3. 设置环境变量

注意重新连接使环境变量生效!

Sqoop:


Hadoop_home:


 

测试运行下sqoop:



可以使用help命令查看帮助:


 

Step4. 测试mysql导入HDFS:

 

创建一张测试表并插入数据:


 

 

利用sqoop将测试表导入到hdfs:

注意:可以用sqoop help import 查看帮助信息

 

登陆mysql创建用户,授予从任何ip登陆mysql权限

这里创建用户sqoopuser

GRANT ALL PRIVILEGES ON *.* TO 'sqoopuser'@'%' IDENTIFIED BY 'sqoopuser' WITH GRANT OPTION;


 

查看数据库列表:

sqoop list-databases --connect jdbc:mysql://10.55.15.89:3306/ --username sqoopuser --P


 

执行导入命令将sqoop_test表导入到hdfs:

sqoop import --connect jdbc:mysql://10.55.15.89:3306/sqoop_db --username sqoopuser --P --table sqoop_test -m 1

 

语法备注:

sqoop import --connect jdbc:mysql://mysqlserver_IP/database_name --username 数据库用户名 --P --table 表名 -m 1

最后一个-m表示并发数


 

结果查询:


可以看到hdfs里面多出了一个文件

 

查看里面具体的内容:


可以看到sqoop_test 表内的数据已经导入HDFS

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/26495863/viewspace-1315413/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2012-11-22

  • 博文量
    65
  • 访问量
    316101