mapreduce编程模型（mapreduce编程模型适合用于实时计算吗）

本文目录

• mapreduce编程模型适合用于实时计算吗
• rdd模型不同的区间
• 公有云计算基础架构的主要技术
• mapreduce和hbase的关系，哪些是正确的
• 云计算通常采用什么编程模式
• mapreduce编程模型键值对的key必须实现哪个接口

mapreduce编程模型适合用于实时计算吗

不是非常适合，MapReduce将作业的整个运行过程分为两个阶段：Map阶段和Reduce阶段
Map阶段由一定数量的Map Task组成
输入数据格式解析：InputFormat
输入数据处理：Mapper
数据分组：Partitioner
Reduce阶段由一定数量的Reduce Task组成
数据远程拷贝
数据按照key排序
数据处理：Reducer
数据输出格式：OutputFormat

rdd模型不同的区间

针对数据处理有几种常见模型，包括：Iterative Algorithms，Relational Queries，MapReduce，Stream Processing。例如Hadoop MapReduce采用了MapReduces模型，MapReduce编程模型是一种简单的并且能够自动处理故障的批处理计算模型，但是它缺乏针对数据共享的高效元语，在实现计算之间（例如两个MapRdeuce作业之间）数据共享只有一个方法，就是将数据写到外部存储，如HDFS，这样会引入数据备份、磁盘I/O以及序列化等开销，从而占用的大部分的执行时间。具体的实现原理上一篇文章讲过了，
高威：MapReduce编程模型
24 赞同 · 0 评论文章
Storm则采用了Stream Processing模型。RDD混合了这四种模型，使得Spark可以应用于各种大数据处理场景。
RDD本质是是一个容错的、并行的数据结构，一个只读的分区记录集合。可以让用户显式地将数据存储到磁盘和内存中，并能控制数据的分区。但是在spark里面对RDD进行了抽象，作为了最底层的编程模型。
Spark设计了统一的编程抽象：RDD，可以使用户直接控制数据的共享，使用户可以指定数据存储到硬盘还是内存，控制数据的分区方法和数据集上的操作。RDD不仅增加了高效的数据共享元语，而且增加了其通用性，相对于MapReduce，其的优势：
在相同的运行环境中，支持迭代、批处理、交互和流处理，系统能更好的发挥性能；
基于RDD的系统比MR有更强的容错性；
对比MR有更快的计算能力；
运行应用程序弹性的扩展和缩减计算资源；
介绍：
RDD编程模型是MR模型的扩展和延伸，其主要解决了MR的缺陷：在并行计算阶段高效地进行数据共享。运用高效的数据共享概念和类似MR的操作方式，使得并行计算能够高效的进行，并可以在特定的系统中的得到关键的优化。
RDD将计算转化为DAG（有向无环图，分布式并行计算框架）的任务集合。这使得在这些模型中国呢能够有效的恢复DAG中的故障和慢节点执行的任务。RDD提供一种基于粗粒度变换（map、filter、join等）的接口，让相同的操作应用到多个数据集中，使得他们可以记录创建数据集的“血统”，而不需要存储真正的数据，从而达到高效的容错性。当某个RDD分区丢失的时候，RDD记录有足够的信息来重新计算，而且只需要计算该分区，这样丢失的数据可以快速的恢复。
同时RDD支持多应用，例如通过RDD可以在同一个程序中同时使用批处理和流处理，这样实现所有模型中的数据共享和容错恢复，同样的，如果一个批处理需要整合多个处理类型，例如，一个应用可能需要SQL提取数据、外部接入数据，在数据集中训练一个机器学习模型，然后对这个模型进行查询，这样计算的开销都停留在系统之间数据共享的分布式文件系统I/O开销上，使得整个查询效率非常低，而使用基于RDD机制的系统，这些计算可以在同一个计算引擎中紧接着执行，不需要额外的I/O操作，提高处理效率。
实现
1、RDD编程接口
Spark中提供了通用接口来抽象每个RDD，接口包括：
分区信息，数据集的最小分片。
依赖关系，指向父RDD。
函数，基于父RDD计算方法。
划分策略和数据位置的元数据。
2、RDD分区
分区是一个逻辑概念，RDD在变换前后的新旧分区在物理上可能是同一块内存或存储，这种优化防止函数式不变性导致的内存需求无限扩张。目的是完成分布式并行计算。
分区是RDD内部并行计算的一个计算单元，RDD的数据集在逻辑上被划分为多个分片，每一个分片称为分区，分区的格式决定了并行计算的粒度，而每个分区的数值计算都是在一个任务中进行的，因此任务的个数，也是由RDD(准确来说是作业最后一个RDD)的分区数决定。
RDD的分区默认是该程序所分配的CPU核数(当文件个数大于CPU核数，那么RDD分区就是读取的文件个数)，当然用户也可以自己去指定分区数。
RDD分区的一个分配原则是：尽可能使得分区的个数，等于集群核心数目或者倍数。
RDD分区分配的另一个分配原则是：尽可能使同一 RDD 不同分区内的记录的数量一致。
RDD分区数决定启动task个数，每一个task的结果都是生成目标RDD的一个partitioner。
比如100个小文件，那么读入后生成的RDD有100个分区，那么计算的时候就会生成100个task，你的资源配置为10个计算节点，每个两2个核，同一时刻可以并行的task数目为20，计算这个RDD就需要5个轮次。
如果计算资源不变，你有101个task的话，就需要6个轮次，在最后一轮中，只有一个task在执行，其余核都在空转。
如果资源不变，你的RDD只有2个分区，那么同一时刻只有2个task运行，其余18个核空转，造成资源浪费。
数据读取阶段，文件个数决定分区的个数
Map阶段保持分区数不变。
在Reduce阶段，RDD的聚合会触发shuffle操作，聚合后的RDD的partition数目跟具体操作有关，例如repartition操作会聚合成指定分区数，还有一些算子是可配置的。
例如：

公有云计算基础架构的主要技术

云计算系统中华运用了许多技术，其中以编程模型、数据管理技术、数据存储技术、虚拟化技术、云计算平台管理技术更为关键。

（1）编程模型

MapReduce是Google开发的java、Python、C++编程模型，它是一种简化的分布式编程模型和高效的任务调度模型，用于大规模数据集（大于1TB）的并行运算。严格的编程模型使云计算环境下的编程十分简单。MapReduce模式的思想是将要执行的问题分解成Map（映射）和Reduce（化简）的方式，先通过Map程序将数据切割成不相关的区块，分配（调度）给大量计算机处理，达到分布式运算的效果，再通过Reduce程序将结果汇整输出。

（2）海量数据分布存储技术

云计算系统由大量服务器组成，同时为大量用户服务，因此云计算系统采用分布式存储的方式存储数据，用冗余存储的方式保证数据的可靠性。云计算系统中广泛使用的数据存储系统是Google的GFS和Hadoop团队开发的GFS的开源实现HDFS。

（3）海量数据管理技术

云计算需要对分布的、海量的数据进行处理、分析，因此，数据管理技术必需能够高效的管理大量的数据。云计算系统中的数据管理技术主要是Google的BT（BigTable）数据管理技术和Hadoop团队开发的开源数据管理模块HBase。

（4）虚拟化技术

通过虚拟化技术可实现软件应用与底层硬件相隔离，它包括将单个资源划分成多个虚拟资源的裂分模式，也包括将多个资源整合成一个虚拟资源的聚合模式。虚拟化技术根据对象可分成存储虚拟化、计算虚拟化、网络虚拟化等，计算虚拟化又分为系统级虚拟化、应用级虚拟化和桌面虚拟化。

（5）云计算平台管理技术

云计算资源规模庞大，服务器数量众多并分布在不同的地点，同时运行着数百种应用，如何有效的管理这些服务器，保证整个系统提供不间断的服务是巨大的挑战。

云计算系统的平台管理技术能够使大量的服务器协同工作，方便的进行业务部署和开通，快速发现和恢复系统故障，通过自动化、智能化的手段实现大规模系统的可靠运营。

mapreduce和hbase的关系，哪些是正确的

MapReduce与HBase没有关系：

MapReduce：

MapReduce是一种编程模型，用于大规模数据集的并行运算。概念＂Map＂和＂Reduce＂，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。

扩展资料：

MapReduce集群中使用了大量的低端服务器。因此，节点硬件故障和软件错误是常态。因此，设计良好、容错性高的并行计算系统不会因为节点故障而影响计算服务的质量。

任何节点的故障不应导致结果的不一致或不确定性；当任何节点失败时，其他节点应该能够无缝地接管失败节点的计算任务。当故障节点被恢复时，它应该能够自动无缝地加入集群，而不需要管理员手动配置系统。

MapReduce并行计算软件框架使用了多种有效的错误检测和恢复机制，如节点自动重启技术，使集群和计算框架对节点失效具有鲁棒性，能够有效地处理失效节点的检测和恢复。

云计算通常采用什么编程模式

1）MapReduce
MapReduce是Google公司的Jeff Dean等人提出的编程模型，用于大规模数据的处理和生成。从概念上讲，MapReduce处理一组输入的key/value对(键值对)，产生另一组输出的键值对。当前的软件实现是指定一个Map(映射)函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce(化简)函数，用来保证所有映射的键值对中的每一个共享相同的键组。程序员只需要根据业务逻辑设计Map和Reduce函数，具体的分布式、高并发机制由MapReduce编程系统实现。
相信大家对MapReduce相关机制已经比较熟悉，这里不做更深入的阐述。
MapReduce在Google得到了广泛应用，包括反向索引构建、分布式排序、Web访问日志分析、机器学习、基于统计的机器翻译、文档聚类等。
Hadoop——作为MapReduce的开源实现——得到了Yahoo!、Facebook、IBM等大量公司的支持和应用。
2）Dryad
Dryad是Microsoft设计并实现的允许程序员使用集群或数据中心计算资源的数据并行处理编程系统。从概念上讲，一个应用程序表示成一个有向无环图(Directed Acyclic Graph，DAG)。顶点表示计算，应用开发人员针对顶点编写串行程序，顶点之间的边表示数据通道，用来传输数据，可采用文件、TCP管道和共享内存的FIFO等数据传输机制。Dryad类似Unix中的管道。如果把Unix中的管道看成一维，即数据流动是单向的，每一步计算都是单输入单输出，整个数据流是一个线性结构，那么Dryad可以看成是二维的分布式管道，一个计算顶点可以有多个输入数据流，处理完数据后，可以产生多个输出数据流，一个Dryad作业是一个DAG。
3）Pregel
Pregel是Google提出的一个面向大规模图计算的通用编程模型。许多实际应用中都涉及到大型的图算法，典型的如网页链接关系、社交关系、地理位置图、科研论文中的引用关系等，有的图规模可达数十亿的顶点和上万亿的边。Pregel编程模型就是为了对这种大规模图进行高效计算而设计。

mapreduce编程模型键值对的key必须实现哪个接口

writablecomparable接口。
MapReduce中的key类型必须实现WritableComparable接口，为了方便用户使用，Hadoop提供有一些内置的key类型。
常见的key类型有IntWritable、LongWritable、Text、FloatWritable等。