ITPub博客

首页 > 大数据 > Hadoop > 什么是HDFS硬盘公链??

什么是HDFS硬盘公链??

原创 Hadoop 作者:chenxiao123 时间:2020-09-07 15:55:52 0 删除 编辑


  Hadoop分布式文件系统 (HDFS) 是指被设计成适合运行在通用硬件 (commodity hardware) 上的分布式文件系统( Distributed File System )。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。 HDFS 是一个高度容错性的系统,适合部署在廉价的机器上。


 



HDFS也是众多分布式存储项目中的一员,但是不同的是, HDFS是一个具备高完成度的项目,当他被矿工发现的时候距离主网上线开始挖矿已经非常之近了。

 

作为分布式存储的项目,他要解决的主要是用户个人数据存储安全、私密、高效的问题,用分布式存储的技术来满足C端的需求。对比与 Fecoin项目, HDFS其实是更加接地气的。

 

廉价的硬盘存储计算机和相关设备均可以加入成为节点

 

HDFS能提供高吞吐量的数据访问 ,非常适合大规模数据集上的应用。所以只需要你加入节点作为贡献,就能得到奖励机制。 HDFS采用的是的 POC+POST的抵押挖矿机制,用户提供硬盘存储空间为主网保存数据以换取HDFS奖励。由于硬盘挖矿的特殊性,为了让矿工能够持续的保存数据于是HDFS采用抵押挖矿原则,每周挖矿的收益延迟一周发放,以此来激励矿工对数据存储。

 

 

数据的容错和恢复机制
满足大于N+3 保证数据完整性

 

HDFS设计成能可靠地在集群中大量机器之间存储大量的文件,它以块序列的形式存储文件。文件中除了最后一个块,其他块都有相同的大小。属于文件的块为了故障容错而被复制。当他的节点超过 3台以上即便有节点损坏,或者关机都不影响文件的丢失和安全,不像 IPFS当节点关机文件也不存在了!


 

HDFS亮点 有哪些?

通讯协议,安全隐秘

所有的节点都是主动点对点P2P,融合区块链特性和机制。

P2P是一种分布式网络,网络的参与者共享他们所拥有的一部分硬件资源(处理能力、存储能力、网络连接能力、 打印机等),这些共享资源需要由网络提供服务和内容,能被其它对等节点( peer)直接访问而无需经过中间实体。 在此网络中的参与者既是资源(服务和内容)提供者( server),又是资源(服务和内容)获取者( clientRPCRemote Procedure Call)抽象地封装了 Client ProtocolDataNode Protocol协议。按照设计, 名字节点不会主动发起一个 RPC,它只是被动地对数据节点和客户端发起的 RPC作出反馈。

 

数据正确性

从数据节点上取一个文件块有可能是坏块,坏块的出现可能是存储设备错误,网络错误或者软件的漏洞。 HDFS 客户端实现了HDFS文件内容的校验。 当一个客户端创建一个HDFS文件时, 它会为每一个文件块计算一个校验码并将校验码存储在同一个HDFS命名空间下一个单独的隐藏文件中。 当客户端访问这个文件时,  它根据对应的校验文件来验证从数据节点接收到的数据。 如果校验失败,客户端可以选择从其他拥有该块副本的数据节点获取这个块。



 


HDFS 的完成度如何

 

作为一个即将上线的项目,HDFS的风头显然没有 Fecoin那么大,很多矿工心里会有疑问, Fecoin都做不出来的事情,凭什么相信你 HDFS就能够做出来?其实 HDFS是一个完成度很高的项目,不同的地方在于 HDFS坚持不公测,不预挖所以没有轰轰烈烈的公测竞赛,但是其真实的价值含量可能超出很多人的想像,目前 HDFS已经接近上线,并且用户端的 APP也接近完工,这样的完成度在业内比较罕见。

 

HDFS 不仅可以实现存储加密货币的买卖记载,还能存储其他类型的数据,破解当前数据存储难题,实现数据与资源的高效共享与应用,在许多行业都能有所运用。

 

 

 

 

 

 

 

 


来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/69979736/viewspace-2717685/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2020-07-22

  • 博文量
    25
  • 访问量
    15682