Hadoop 1.0即第一代Hadoop，由分布式存储系统HDFS和分布式计算框架MapReduce两个核心组件组成，其中，HDFS负责将海量数据进行分布式存储，提供了高可靠性、高扩展性和高吞吐率的数据存储服务；MapReduce对海量的数据提供了计算。HDFS由一个NameNode和多个DataNode组成，MapReduce由一个JobTracker和多个TaskTracker组成，对应Hadoop版本为Hadoop 1.x和0.21.X，0.22.x。

 

       Hadoop 2.0即第二代Hadoop，它包含一个支持NameNode横向扩展的HDFS，一个负责集群资源的统一管理和调度的YARN（Yet Another Resource Negotiator）和一个运行在YARN上的分布式计算框架MapReduce三个核心组件组成。

      为克服Hadoop 1.0中HDFS和MapReduce存在的各种问题而提出的。针对Hadoop1.0中的单NameNode制约HDFS的扩展性问题，提出了HDFS Federation，它让多个NameNode分管不同的目录进而实现访问隔离和横向扩展；针对Hadoop 1.0中的MapReduce在扩展性和多框架支持方面的不足，提出了全新的资源管理框架YARN，它将JobTracker中的资源管理和作业控制功能分开，分别由组件ResourceManager和ApplicationMaster实现，其中， ResourceManager负责所有应用程序的资源分配，而ApplicationMaster仅负责管理一个应用程序。对应Hadoop版本为Hadoop 0.23.x和2.x。

      相比于Hadoop 1.0，Hadoop 2.0功能更加强大，且具有更好的扩展性、性能，并支持多种计算框架。

 

唯众大数据实训平台助你快速掌握大数据关键技术点

       大数据实训平台简介

     大数据实训平台特点

      配置灵活

• 支持集群部署，支持集群内管理云主机，提供高可用特性，自动生成IP池，内置DHCP服务器，自动为云主机分配IP地址
• 支持自定义镜像上传，可满足多种格式镜像上传及管理功能
• 支持批量创建/删除多个云主机，支持云主机基本生命周期控制，
• 支持自定义云主机配置管理

• 同一页面中既包含了各类实操环境，也包含了每个实验对应的实验文档，省去了在同页面间来  回切换的麻烦。
• 学生在实验过程中可以根据学习内容记录学习笔记，并查看他人笔记
• 学生在实验过程中可以将自己遇到的问题进行提问或回答其他同学的问题，老师或其他同学可对起问题进行回答
• 学生在实验结束后在线提交实验报告，并查看成绩以及评语

大数据实训资源