Sqoop 增量导MySQL数据 至Hive
0 [待解决问题] 通过Sqoop 增量导数据到Hive, 命令如下：
./sqoop-job
--meta-connect jdbc:hsqldb:hsql://127.0.0.1:16000/sqoop
--create t_order_increment_job
-- import --connect jdbc:mysql://127.0.0.1:3306/kevin?serverTimezone=Asia/Shanghai
--username root --password 123456
--append
--table t_order_increment
--columns "id,name,my_time"
--incremental lastmodified
--check-column my_time
--last-value '2019-08-30 21:36:16'
--as-textfile
--target-dir /user/hive/warehouse/t_order_increment
如果同一条记录，被修改后，导入Hive，会出现两条id相同的记录。有什么好办法可以去掉重复的记录？
试过用sqoop-merge命令，但是这个命令需要用新的路径，不能用原来Hive默认的表路径，这样每次都得修改Hive表的location属性，感觉不是个好办法。 Sqoop Hive MySQL 怪侠Kevin | 初学一级 | 园豆： 197
提问于：2020-08-17 18:07 显示帮助
使用"Ctrl+Enter"可进行快捷提交，评论支持部分 Markdown 语法：[link](http://example.com) _italic_ **bold** `code`。
< > 分享
分享您的问题

清除回答草稿
您需要 登录 以后才能回答，未注册用户请先 注册 。