微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

day1

用sqoop脚本从MysqL 导入到hive 建立ods层

#将MysqL 中第一张表导入hive 中的ods层
/usr/bin/sqoop import "-Dorg.apache.sqoop.splitter.allow_text_splitter=true" \
--connect 'jdbc:MysqL://106.75.33.59:3306/nev?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true' \#MysqL中的数据库
--username itcast_edu_stu \
--password itcast_edu_stu \
--query "select * from web_chat_ems_2019_07 where 1=1 and \$CONDITIONS" \#MysqL中的表名
--hcatalog-database itcast_ods \#hive中的数据库
--hcatalog-table web_acc_info \#hive数据库中ods层的表名
-m 1
***注意 ods层建表语句 表的字段数和字段名 都要完全和MysqL中相同 随便加个主键就会sqoop导入失败

虚拟机上安装rz
yum install -y lrzsz

然后将shell脚本拖入选最下面的
让后修改shell文件权限 并执行

chmod u+x sqoop_import.sh
sh sqoop_import.sh

 

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐