Hadoop一个分布式系统基础架构,由Apache 基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop 实现了一个分布式文件系统File System),简称HDFS。Hadoop 拥有功能丰富的子项目,其中包括HBase、Hive、ZooKeeper 等功能各异的子项目,灵活的使用这些项目可以轻松的做到云计算平台的构建。
Hadoop 采用动态存储资源分配,可以将数据更平衡的分布于不同的Data Node 节点,防止出现数据不平衡而造成部分Data Node 节点请求过多,而其它Data Node 节点没有请求的情况。就算有新的Data Node 节点加入集群,Hadoop 也可以通过一条命令简单的做到数据的重新平衡。当然这个操作最好在使用量低的夜间进行。Hadoop 的数据的交换是不经过Name Node 节点的,Name Node 上保存的文件是直接从Data Node 上收集而来,所以当用户使用Hadoop 集群上的数据时,是直接从Data Node 获取数据,这样做使得Name Node 的压力得到缓解。而且最新版的Hadoop 还支持在一个Hadoop 集群中分别创建多个Name Node节点,每个Name Node 节点分别管理整个HDFS 空间的一部分。使HDFS 中的数据做到有效的隔离,并且当一个Name Node 节点出现问题,不至于影响到整个集群中数据的访问。
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
全部0条评论
快来发表一下你的评论吧 !