【Go语言实战】(25) 分布式算法 MapReduce

MapReduce

写在前面

身为大数据专业的学生，其实大学我也多多少少接触过mapreduce，但是当时觉得这玩意太老了，觉得这和php一样会被时代淘汰。只能说当时确实太年轻了，没有好好珍惜那时候的学习资源…

现在回过头来看mapreduce，发现技术这东西和语言不一样，技术万变不离其中，而语言只是实现技术的一种方法而已，用什么语言其实并不重要。

原论文地址：MapReduce: Simplified Data Processing on Large Clusters

总览

这次 lab1 的 mapreduce，其实是在 搜索引擎tangseng 的时候，需要用来构建倒排索引。所以会和课程上所要求的不太一样，这里也没有使用rpc调用，而是为了与项目统一，便改用了grpc进行调用。

这里需要注意几点

• 不同的Map任务之间不会进行通信
• 不同的Reduce任务之间也不会发生任何信息交换
• 所有的数据交换都是通过MapReduce框架自身去实现的

那么如何对 map tasks 和 reduce tasks 进行合理的