Combiner和Partitioner

在这里插入图片描述

InputFormat 将输出文件拆分为多个 InputSplit，并由 RecordReaders 将 InputSplit 转换为标准的键值对，作为 map 的输出。这一步的意义在于只有先进行逻辑拆分并转为标准的键值对格式后，才能为多个 map 提供输入，以便进行并行处理。

combiner 是 map 运算后的可选操作，它实际上是一个本地化的 reduce 操作，它主要是在 map 计算出中间文件后做一个简单的合并重复 key 值的操作。这里以词频统计为例：

map 在遇到一个 hadoop 的单词时就会记录为 1，但是这篇文章里 hadoop 可能会出现 n 多次，那么 map 输出文件冗余就会很多，因此在 reduce 计算前对相同的 key 做一个合并操作，那么需要传输的数据量就会减少，传输效率就可以得到提升。

但并非所有场景都适合使用 combiner&

相关阅读:
使用kaggle运行机器学习代码的几点注意事项（超重要！！！）
uniapp 运行到 app 报错 Cannot read property ‘nodeName‘ of null
Gitlab 设置页面语言为简体中文
ubantu 安装openssh
WebSocket学习笔记
7.堆内元组（HOT）和仅索引扫描
在vscode中配置ros环境
蓝桥杯（七段码，C++）
基于SSH开发物流仓储调度系统课程设计大作业毕业设计
jbase实现通用码表

原文地址：https://blog.csdn.net/weixin_54707168/article/details/126520477