sqoop export “--update-key id \ --update-mode allowinsert”报错

问题描述：

全表导出mysql没问题，加参数“--update-key id \ --update-mode allowinsert”导出，mysql时而生效时而不生效。就算mysql里数据更新成功，控制台也报错。

相关截图：

请老师解答。

慕用7504986 2021-02-06

源自：综合项目：电商数据仓库之用户行为数仓 4-6 Sqoop之数据导出功能

21

收起

2回答

徐老师 2021-02-07 11:19:50

解决了吗？

提问者慕用7504986 #1

未解决，isqoop import可以，sqoop export 不行。各节点可以远程链接mysql

2021-02-07 15:49:34
徐老师回复提问者慕用7504986 #2

加一下慕课官方内部群，在群里联系我一下，我给你远程看一下
加群方式见第1周的1-1小节内容

2021-02-07 16:04:11
提问者慕用7504986 回复徐老师 #3

老师加群了，麻烦通过一下。

2021-02-07 16:26:43

徐老师 2021-02-06 18:20:54

sqoop脚本会转化为mapreduce任务，控制台报的错没有详细信息，你打开yarn的8088界面，然后查看一下这个任务的详细报错信息，把详细报错信息发出来我看下

提问者慕用7504986 #1

一个task失败，三个被kill了

2021-02-06 19:05:38
提问者慕用7504986 #2

这个是失败的task报错。

2021-02-06 19:08:13
徐老师回复提问者慕用7504986 #3

错误日志提示的是连不上mysql，你用的是多节点的分布式集群吧，应该有的节点没有访问mysql的权限，导致任务有时候可以，有时候不可以，你测试一下集群的所有从节点是否都能正确访问mysql

2021-02-06 21:03:19

点开查看后面1条评论

相似问题

update

update报错了

请问表和表相关联的这段代码怎么解读

关于update问题

执行sqoop测试文件报如下错误

登录后可查看更多问答，登录/注册

大数据工程师 2024 版

参与学习 1151 人
提交作业 5960 份
解答问题 1144 个

不用Java初级内容充数！不用与大数据岗位无关内容占课时！我们做的就是“精华版”大数据课程

本课精华内容

问答作业

老师，每个比较大的文件都会分割成块保存在DataNode中，那就说一个datanode坏了导致整个文件不可用，这样不就减低了可靠性吗？

54 2

对多个executor并行处理，对数据进行去重，这样会不会有重复数据

31 1

数据倾斜问题

78 5

并行度调优疑问

29 9

yum install -y ntpdate执行报错

17 20

查看更多本课问答

请稍等 ...

意见反馈帮助中心 APP下载