Hadoop 2.x和Hadoop 3.x比较

1.License

Hadoop 2.x - Apache 2.0，开源

Hadoop 3.x - Apache 2.0，开源

2.支持的最低Java版本

Hadoop 2.x - java的最低支持版本是java 7

Hadoop 3.x - java的最低支持版本是java 8

3.容错

Hadoop 2.x - 可以通过复制（浪费空间）来处理容错。

Hadoop 3.x - 可以通过Erasure编码处理容错。

4.数据平衡

Hadoop 2.x - 对于数据平衡使用HDFS平衡器。

Hadoop 3.x - 对于数据平衡使用Intra-data节点平衡器，该平衡器通过HDFS磁盘平衡器CLI调用。

5.支持两个以上的NameNode

Hadoop 2.x - NameNode的HA包含一个active的NameNode和一个Standby的NameNode。解决了系统中NameNode的单点故障问题。

Hadoop 3.x - 允许多个standby状态的NameNode以达到更高级别容错的目的。

6.兼容的文件系统

Hadoop 2.x - HDFS（默认FS），FTP文件系统：它将所有数据存储在可远程访问的FTP服务器上。 Amazon S3（简单存储服务）文件系统Windows Azure存储Blob（WASB）文件系统。

Hadoop 3.x - 它支持所有前面以及Microsoft Azure Data Lake文件系统。

7.基于路由器的HDFS的联邦

Hadoop 2.x - 使用ViewFs挂载表进行联邦路由，由客户端维护

Hadoop 3.x - HDFS基于路由器的联邦添加了一个RPC路由层，该层提供多个HDFS命名空间的联合视图。挂载表由路由层而不是客户端在服务器端进行管理， 简化了对现有HDFS客户端对联邦群集的访问