题目描述:
在MapReduce程序中使用gzip数据压缩方式对程序计算性能进行优化
效果:
提高程序计算效率
任务要求:
1:对map阶段输出数据进行压缩,指定gzip压缩方式
2:对reduce阶段输出数据进行压缩,指定gzip压缩方式
任务提示、思路分析:
1:在执行任务的时候通过命令行动态指定map端输出数据的压缩格式和reduce端输出数据的压缩格式
2:具体如何指定数据压缩格式,需要大家自行查阅资料
题目描述:
在MapReduce程序中使用gzip数据压缩方式对程序计算性能进行优化
效果:
提高程序计算效率
任务要求:
1:对map阶段输出数据进行压缩,指定gzip压缩方式
2:对reduce阶段输出数据进行压缩,指定gzip压缩方式
任务提示、思路分析:
1:在执行任务的时候通过命令行动态指定map端输出数据的压缩格式和reduce端输出数据的压缩格式
2:具体如何指定数据压缩格式,需要大家自行查阅资料