Hadoop实战：Sqoop 1.4.6安装配置使用

Sqoop简介

Sqoop是一个用于Hadoop和关系型数据库或主机之间的数据传输工具。它可以将数据从关系型数据库import到HDFS，也可以从HDFS export到关系型数据库，通过Hadoop的MapReduce实现。

最近在研究数据采集相关的知识，需要用到Sqoop把关系型数据库的数据导入到Hive里。刚开始就使用了Sqoop 1.99版本，用着发现太难用了，且很多问题，针对Sqoop 1.99还写了几篇博客。没办法又改回到了1.4.6版本，根据Sqoop官网说法，Sqoop2目前还未开发完，不建议在生产环境使用。

Sqoop安装配置

关于二进制包去Apache官网下载即可。

设置环境变量

设置sqoop-env.sh文件

查看帮助命令

命令含义解释：

list-databases：列出所有数据库。

list-tables：列出库中所有表。

export：从HDFS导出到关系型数据库，目标table必须存在，可分为insert和update模式。

metastore：指定metadata仓库，可在配置文件中设置。

merge：合并两个数据集，一个数据集的记录应该重新旧数据集的条目。

codegen：将数据集封装成Java类。

create-hive-table：Sqoop单独提供了针对Hive的命令，可以代替sqoop import --hive-import, 其他参数一样。

eval：执行SQL语句，结果会打印在控制台，可以用来校验下import的查询条件是否正确。

import：从关系型数据库导入到HDFS。

sqoop-import-mainframe：直接import主机，这个命令过于暴力，和import-all-tables差别不大，等有需要在研究研究吧。

job：Sqoop可以将import任务保存为job，可以理解为起了个别名，这样方便的Sqoop任务的管理。

import-all-tables：可以整库的import，但有以为下限制条件：

• 每个表都必须有一个单列主键，或者指定--autoreset-to-one-mapper参数。
• 每个表只能import全部列，即不可指定列import。
• 不能使用非默认的分隔符，不能指定where从句。

具体使用方法参见官方文档, 这里我们主要介绍下import命令的注意点。

Import和export参数解释

Common arguments:

–connect <jdbc-uri> ：连接RDBMS的jdbc连接字符串，例如：–connect jdbc:mysql:// MYSQL_SERVER:PORT/DBNAME。

–connection-manager <class-name> ：

–hadoop-home <hdir> ：

–username <username> ：连接RDBMS所使用的用户名。

–password <password> ：连接RDBMS所使用的密码，明文。

–password-file <password-file> ：使用文件存储密码。

-p ：交互式连接RDBMS的密码。

Import control arguments:

–append ：追加数据到HDFS已经存在的文件中。

–as-sequencefile ：import序列化的文件。

–as-textfile ：import文本文件 ，默认。

–columns <col,col,col…> ：指定列import，逗号分隔，比如：–columns “id,name”。

–delete-target-dir ：删除存在的import目标目录。

–direct ：直连模式，速度更快（HBase不支持）

–split-by ：分割导入任务所使用的字段，需要明确指定，推荐使用主键。

–inline-lob-limit < n > ：设置内联的BLOB对象的大小。

–fetch-size <n> ：一次从数据库读取n个实例，即n条数据。

-e,–query <statement> ：构建表达式<statement>执行。

–target-dir <d> ：指定HDFS目标存储目录。

–warehouse-dir <d> ：可以指定为-warehouse-dir/user/hive/warehouse/即导入数据的存放路径，如果该路径不存在，会首先创建。

–table <table-name> ：将要导入到hive的表。

–where <where clause> ：指定where从句，如果有双引号，注意转义 \$CONDITIONS，不能用or，子查询，join。

-z,–compress ：开启压缩。

–null-string <null-string> ：string列为空指定为此值。

–null-non-string <null-string> ：非string列为空指定为此值，-null这两个参数are optional, 如果不设置，会指定为”null”。

–autoreset-to-one-mapper ：如果没有主键和split-by用one mapper import （split-by和此选项不共存）。

-m,–num-mappers <n> ：建立n个并发执行import，默认4个线程。

Incremental import arguments:

–check-column <column> ：Source column to check for incremental change

–incremental <import-type> ：Define an incremental import of type ‘append’ or ‘lastmodified’

–last-value <value> ：Last imported value in the incremental check column

Hive arguments:

–create-hive-table ：自动推断表字段类型直接建表，hive-overwrite功能可以替代掉了，但Hive里此表不能存在，不然操作会报错。

–hive-database <database-name> ：指定要把HDFS数据导入到哪个Hive库。

–hive-table <table-name> ：设置到Hive当中的表名。

–hive-delims-replacement <arg> ：导入到hive时用自定义的字符替换掉\n, \r, and \01。

–hive-drop-import-delims ：导入到hive时删除字段中\n, \r，\t and \01等符号；避免字段中有空格导致导入数据被截断。

–hive-home <dir> ：指定Hive的存储目录。

–hive-import ：将HDFS数据导入到Hive中，会自动创建Hive表，使用hive的默认分隔符。

–hive-overwrite ：对Hive表进行覆盖操作（需配合--hive-import使用，如果Hive里没有表会先创建之），不然就是追加数据。

–hive-partition-key <partition-key>  ：hive分区的key。

–hive-partition-value <partition-value> ：hive分区的值。

–map-column-hive <arg> ：类型匹配，SQL类型对应到hive类型。

HBase arguments:

–column-family < family > ：把内容导入到hbase当中，默认是用主键作为split列。

–hbase-create-table ：创建Hbase表。

–hbase-row-key < col > ：指定字段作为row key ，如果输入表包含复合主键，用逗号分隔。

–hbase-table < table-name > ：指定hbase表。

HCatalog arguments:

HCatalog提供表和存储管理服务，使不同的Hadoop数据处理工具如：Pig，MapReduce，Hive更容易读取和写入数据网格。

看文档比较复杂，暂时用不到，等以后需要的时候再去研究吧o(╯□╰)o

Accumulo arguments:

也没有研究，直接关闭了。

Import使用测试

单表导入HDFS

会在HDFS目录下创建：

单表导入到Hive

Sqoop导数据到hive会先将数据导入到HDFS上，然后再将数据load到hive中，最后吧这个目录再删除掉。当这个目录存在的情况下，就会报错。使用target-dir来指定一个临时目录（如果执行成功会删除这个目录的）。

这里指定了Hive库，所以需要先进行Hive数据库创建。如果不指定库，默认在default库中存放。

执行成功后，去看一下HDFS。

没有Sqoop目录，用完已经删除了。

然后看Hive目录下，sbtest库中已经产生了对应的表：

然后你可以执行Hive，统计看看数据对不对。

但是当MySQL中表有结构变化时，再次执行这个命令，由于Hive中的表没有变化，可能会报错，或者少字段。我还没有找到如果Hive中存在就先删除的指令。

全库导入Hive

删除库的命令：

整机导入脚本

Sqoop使用手册：http://www.cnblogs.com/xiaodf/p/6030102.html#31

喜欢 (1)赏

[资助本站您就扫码 谢谢]

分享 (0)