IT虾米网

MapReduce

lautakyan007 2022年07月28日 大数据 52 0

http://hadoop.apache.org/docs/r2.9.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html

Overview

一个MapReduce作业通常会将数据输入切分成独立的块,这些块会被map任务并行的处理。框架会对map的输出进行排序,然后再作为reduce任务的输入。典型的,一个任务的输入和输出都会被存储到一个文件系统中。框架关系调度任务,监控它们,并且在任务失败之后重新执行。

典型的,计算节点和存储节点是相同的,因此,MapReduce框架和HDFS通常运行在相同的节点上。可以配置让调度任务高效的处理在数据所在的节点上。

在集群中的每个节点上,MapReduce框架由一个master(ResourceManager)和一个slave(NodeManager)组成。

最简单的,应用指定输入输出的位置,并且通过实现相应的接口或抽象类提供map和reduce功能。

虽然,Hadoop框架是用Java实现的,但MapReduce应用不一定非要用Java来写。

Inputs and Outputs

MapReduce框架只操作键值对<key, value>,因此这个框架中任务的输入和输出都是键值对形式<key, value>

key和value必须是可序列化的,并且需要实现Writable接口。另外,key必须实现WritableComparable接口以提供排序功能

Example: WordCount v1.0

MapReduce - User Interfaces

Payload

典型的,应用程序实现Mapper和Reducer接口,以提供map和reduce方法。这是作业的核心。

Mapper

Mapper的maps输入键值对转换成一系列中间结果键值对

总得来说,通过job.setMapperClass(Class)方法将mapper的实现传递给作业,然后框架调用map(WritableComparable, Writeable, Conetxt)方法执行任务。

Mapper的输出会被排序、分区。分区的总数与作业中reduce任务的数量相同。用户通过实现Partitioner接口来自定义分区逻辑。

可选的,用户可以通过job.setCombiner(Class)来指定一个combiner,这个conbiner会对中间结果输出执行本地聚集操作,这样可以减少从Mapper到Reducer的数据传输。

How Many Maps?

maps的数量由输入文件的总大小决定,也就是说,等于输入文件的block总数。如果你的输入文件大小是10TB,并且Block大小是128M,那么你将有82000个maps。

Reducer

Reducer有3个主要阶段:shuffle, sort and reduce

Shuffle

Reducer的输入时已经排过序的mapper的输出。这个阶段是抓取所有mapper的输出相关的分区

Sort

在这一步,按照key进行分组。shuffle和sort是同时进行的。

maps的数量与block数量相同,分区数量和reducer数量相同 


本文参考链接:https://www.cnblogs.com/cjsblog/p/8110669.html
评论关闭
IT虾米网

微信公众号号:IT虾米 (左侧二维码扫一扫)欢迎添加!

HDFS Architecture