sqoop同步效率

如何提高sqoop的导入导出效率如果有8000多万的数据怎么提高，大概怎么计算需要执行多久？

GRdreamflying 2021-07-09

源自：Flume从0到高手一站式养成记 5-1 本周总结+寄语

7

收起

1回答

徐老师 2021-07-09 21:47:34

提高sqoop的效率可以通过提高map任务的个数，这样就相当于并行启动多个线程同时执行数据导入导出功能，8千万数据导入到hdfs估计要10-20分钟，具体和mysql服务器的性能也有关系

相似问题

执行sqoop import报错：Could not load org.apache.hadoop.hive.conf.HiveConf

应该是UDP效率比TCP传输效率高，UDP更适合大量数据的传输。

执行sqoop测试文件报如下错误

sqoop导入数据到hdfs报错

rdb同步频率的问题

登录后可查看更多问答，登录/注册

大数据工程师

参与学习 1170 人
提交作业 6111 份
解答问题 1173 个

不用Java初级内容充数！不用与大数据岗位无关内容占课时！我们做的就是“精华版”大数据课程

本课精华内容

问答作业

老师，每个比较大的文件都会分割成块保存在DataNode中，那就说一个datanode坏了导致整个文件不可用，这样不就减低了可靠性吗？

56 2

对多个executor并行处理，对数据进行去重，这样会不会有重复数据

32 1

数据倾斜问题

78 5

并行度调优疑问

29 9

yum install -y ntpdate执行报错

19 22

查看更多本课问答

请稍等 ...

意见反馈帮助中心 APP下载