2017年12月发布的Hadoop 3标志着数据科学新时代的开始。Hadoop框架是整个Hadoop生态系统的核心,其他各种库都依赖它。

在本文中,我们将讨论Hadoop 3与Hadoop 2相比的主要变化。我们还将解释Hadoop和Apache Spark之间的差异,并建议如何为您的特定任务选择最佳工具。

概要

Hadoop 2和Hadoop 3是用Java开发的数据处理引擎,分别于2013年和2017年发布。创建Hadoop的主要目标是维护磁盘上的数据分析,称为批处理。因此,原生Hadoop不支持实时分析和交互性。

Spark 2.X是Scala开发的处理和分析引擎,于2016年发布。对信息的实时分析变得至关重要,因为许多巨型互联网服务强烈依赖于立即处理数据的能力。因此,Apache Spark是为实时数据处理而构建的,现在很受欢迎,因为它可以在交互模式下有效地处理实时信息流和处理数据。

Hadoop和Spark都是开源的,Apache 2许可。

抽象程度和学习和使用的难度

这些框架之间的主要区别之一是抽象级别,Hadoop低,Spark高。因此,Hadoop的学习和使用更具挑战性,因为开发人员必须知道如何编写大量基本操作。Hadoop只是核心引擎,因此使用高级功能需要其他组件的插件,这使得系统更加复杂。

与Hadoop不同,Apache Spark是一个完整的数据分析工具。它具有许多有用的内置高级功能,可以使用弹性分布式数据集(RDD) - Spark中的核心概念。该框架包含许多有用的库。例如,MLlib允许使用机器学习,Spark SQL可用于执行SQL查询等。

硬件和成本

Hadoop适用于磁盘,因此无需大量RAM即可运行。这可能比拥有大RAM便宜。由于容错提供系统的变化,Hadoop 3比Hadoop 2需要更少的磁盘空间。

Spark需要大量RAM才能在内存模式下运行,因此总成本可能比Hadoop更昂贵。

支持编程语言

两个版本的Hadoop都支持使用Hadoop Streaming的几种编程语言,但主要的是Java。Spark 2.X支持Scala,Java,Python和R。

速度

通常,Hadoop比Spark慢,因为它适用于磁盘。Hadoop无法将数据缓存在内存中。由于向MapReduce添加了map输出收集器的原生Java实现,Hadoop 3的工作速度比Hadoop 2快30%。

Spark在处理内存中信息,所以可以比Hadoop快100倍。如果使用磁盘,Spark比Hadoop快10倍。

安全

由于使用了Kerberos(计算机网络身份验证协议)和访问控制列表(ACL)的支持,Hadoop被认为比Spark更安全。Spark依次使用共享密码提供身份验证。

容错

Hadoop 2中的容错是由复制技术提供的,其中复制每个信息块以创建2个副本。这意味着Hadoop 2存储的信息不是存储1条信息,而是存储3条信息。这引起了浪费磁盘空间的问题。

在Hadoop 3中,通过擦除编码提供容错。该方法允许使用另一个块和奇偶校验块来恢复信息块。Hadoop 3在每两个数据块上创建一个奇偶校验块。这需要的磁盘空间仅为1.5倍,而Hadoop 2中的复制次数则为3倍.Hadoop 3中的容错级别保持不变,但其操作所需的磁盘空间更少。

Spark可以通过重新计算DAG(有向无环图)来恢复信息。DAG由顶点和边形成。顶点表示RDD,边表示RDD上的操作。在某些部分数据丢失的情况下,Spark可以通过将操作序列应用于RDD来恢复它。请注意,每次需要重新计算RDD时,都需要等到Spark执行所有必要的计算。Spark还创建了检查点以防止故障。

YARN版

Hadoop 2使用YARN版本1. YARN(Yet Another Resource Negotiator)是资源管理器。它管理可用资源(CPU,内存,磁盘)。此外,YARN执行作业调度。

YARN在Hadoop 3中更新为版本2.有几个重大变化提高了可用性和可伸缩性。YARN 2支持流 - YARN应用程序的逻辑组,并在流级别提供聚合度量。收集过程(写入数据)和服务过程(读取数据)之间的分离提高了可伸缩性。此外,YARN 2使用Apache HBase作为主要后备存储。

Spark可以在具有YARN的群集上独立运行,也可以与Mesos一起运行。

NameNodes的数量

Hadoop 2支持整个命名空间的单活动NameNode和单备用NameNode,而Hadoop 3支持多个备用NameNode。

Spark在管理SparkContext的主节点上运行驱动程序。

文件系统

主要的Hadoop 2文件系统是HDFS - Hadoop分布式文件系统。该框架还兼容其他几个文件系统,如Amazon S3和Azure存储的Blob存储,以及分布式文件系统。

Hadoop 3支持所有文件系统,如Hadoop 2.此外,Hadoop 3 与Microsoft Azure Data Lake和Aliyun对象存储系统兼容。

Spark支持本地文件系统,Amazon S3和HDFS。

为方便起见,我们创建了一个表格,总结了上述所有信息,并简要比较了两个版本的Hadoop和Spark 2.X的关键参数。
在这里插入图片描述

结论

Hadoop 3和2之间的主要区别在于新版本提供了更好的优化和可用性,以及某些体系结构改进。

Spark和Hadoop主要在抽象层次上有所不同。Hadoop被创建为处理大量现有数据的引擎。它具有较低的抽象级别,允许执行复杂的操作,但可能导致学习和管理困难。Spark更容易,更快捷,具有许多方便的高级工具和功能,可以简化您的工作。Spark在Hadoop之上运行,并且拥有许多优秀的库,如Spark SQL或机器学习库MLlib。总而言之,如果您的工作不需要特殊功能,Spark可能是最合理的选择。