sqoop功能是非常完善的，兼容性也很好。但是hadoop3版本没有官方的集成jar包版本，所以我通过阅读sqoop的官方文档，解决了如何在配置hadoop3版本的sqoop。核心就两点，从集成包里获取必须的jar包，其余必须的jar包从hadoop和hive中引用即可。

sqoop官方地址：

1.下载sqoop1.4.7两个版本

下载这两个文：

sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz # 只用到里面的jar包

sqoop-1.4.7.tar.gz # 上传到服务器

我这里finalshell为例，服务器环境centos7+hadoop3.2.4+hive3.1.2

将sqoop-1.4.7.tar.gz上传到/home/hadoop/sqoop/目录，并解压

[hadoop@localhost sqoop]$ tar -zxvf sqoop-1.4.7.tar.gz 

提取sqoop-1.4.7.jar放到sqoop-1.4.7根目录，正常纯净版sqoop是没有这个jar包的

提取lib目录下的这三个必须的jar包放到sqoop-1.4.7/lib/目录下，正常纯净版sqoop的lib目录下是没有文件的。我的是存在了前两个

其余的jar包我们不用导入，其余的从本地环境里的hadoop和hive中引用即可。

3.添加sqoop配置信息，引用hadoop，hive的lib库

打开sqoop-1.4.7/conf 目录下的sqoop-env.sh文件追加如下信息

其中HADOOP_COMMON_HOME HADOOP_MAPRED_HOME 环境变量要写你自己的hadoop目录地址

hive的HIVE_HOME HIVE_CONF_DIR同样要写你自己的hive目录地址

最后一条是引用你hive里的lib库

[hadoop@localhost conf]$ mv sqoop-env-template.sh sqoop-env.sh[hadoop@localhost conf]$ vim sqoop-env.sh export HADOOP_COMMON_HOME=/home/hadoop/hadoop-3.2.4export HADOOP_MAPRED_HOME=/home/hadoop/hadoop-3.2.4export HIVE_HOME=/home/hadoop/apache-hive-3.1.2-binexport HIVE_CONF_DIR=/home/hadoop/apache-hive-3.1.2-bin/confexport HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*

[hadoop@localhost conf]$ vim ~/.bashrc #sqoopexport HBASE_HOME=/home/hadoop/sqoop/sqoop-1.4.7export PATH=$PATH:$HBASE_HOME/bin[hadoop@localhost conf]$ source /etc/profile[hadoop@localhost conf]$ sqoop versionbash: sqoop: 未找到命令...[hadoop@localhost conf]$ source ~/.bashrc 

要使import-all-tables工具有用，必须满足以下条件：

1.每个表必须具有主键或使用--autoreset-to-one-mapper选项。

2.导入每张表的所有列。

3.使用默认拆分列，不能使用WHERE。

全库导入sqoop import-all-tables "-Dorg.apache.sqoop.splitter.allow_text_splitter=true" \--connect jdbc:mysql://10.22.171.188:3306/AIDM40W \--username root \--password 890iop*()IOP \--hive-import \--hive-overwrite \--hive-database dz \--fields-terminated-by '\t' \--exclude-tables  'CASE_FUN_TABLE,a1,all_type_label_tables' \--as-parquetfile sqoop import-all-tables --connect "jdbc:mysql://10.22.171.188:3306/AIDM40W" \--username root \--password 123456 \--hive-import \--hive-overwrite \--hive-database dz \--exclude-tables  'user_part_501,user_part_601,user_part_701,user_part_801,CASE_FUN_TABLE,a1,all_type_label_tables,tb_user,test,log,s1,test_t,db_object_constraint_test_01,user_101,user_301,user_302,user_303,user_304,user_part_102,user_part_101,user_part_201,user_part_301,user_part_401,user_part_index_101,user_part_index_102,user_part_index_103,user_part_index_104,user_part_index_201,user_part_index_202,user_part_index_301,user_part_index_302,user_part_index_401,user_part_index_402,user_a3,user_201,user_202,user_203,user_204,user_401,user_402,user_403,user_501,user_502,user_a1,user_a2' \--create-hive-table#带主键aaall_type_label_tablesdb_object_constraint_test_01tb_usertestuser_201user_202user_203user_204user_401user_402user_403user_501user_502user_a1user_a2#--exclude-tables  'drop_table' \        (此参数可以 exclude掉不需要import的表(多个表逗号分隔))#--create-hive-table \  (不能和as-parquetfile共用)#--direct \                (只支持文本格式，不能和as-parquetfile共用)#--as-textfile \sqoop import  --connect "jdbc:mysql://10.22.171.188:3306/AIDM40W" \--username root \--password 123456 \--table all_type_label_tables \--delete-target-dir \--fields-terminated-by '\t' \--m 1 \--hive-import \--hive-overwrite \--hive-database dz \--create-hive-table \--hive-table all_type_label_tables全量备份(hive表不存在，导入时自动创建hive表)sqoop import --connect jdbc:mysql://10.22.171.188:3306/AIDM40W \--username root --password 123456 --table users \--hive-import \--hive-database dz \--create-hive-table \--fields-terminated-by '\t' \--null-string '\\N' \--null-non-string '\\N' \--split-by id \-m 1