首页 > 大数据 > Hadoop > 什么是HDFS硬盘公链??
Hadoop分布式文件系统 (HDFS) 是指被设计成适合运行在通用硬件 (commodity hardware) 上的分布式文件系统( Distributed File System )。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。 HDFS 是一个高度容错性的系统,适合部署在廉价的机器上。
HDFS也是众多分布式存储项目中的一员,但是不同的是, HDFS是一个具备高完成度的项目,当他被矿工发现的时候距离主网上线开始挖矿已经非常之近了。
作为分布式存储的项目,他要解决的主要是用户个人数据存储安全、私密、高效的问题,用分布式存储的技术来满足C端的需求。对比与 Fecoin项目, HDFS其实是更加接地气的。
廉价的硬盘存储计算机和相关设备均可以加入成为节点
HDFS能提供高吞吐量的数据访问 ,非常适合大规模数据集上的应用。所以只需要你加入节点作为贡献,就能得到奖励机制。 HDFS采用的是的 POC+POST的抵押挖矿机制,用户提供硬盘存储空间为主网保存数据以换取HDFS奖励。由于硬盘挖矿的特殊性,为了让矿工能够持续的保存数据于是HDFS采用抵押挖矿原则,每周挖矿的收益延迟一周发放,以此来激励矿工对数据存储。
数据的容错和恢复机制
满足大于N+3
保证数据完整性
HDFS设计成能可靠地在集群中大量机器之间存储大量的文件,它以块序列的形式存储文件。文件中除了最后一个块,其他块都有相同的大小。属于文件的块为了故障容错而被复制。当他的节点超过 3台以上即便有节点损坏,或者关机都不影响文件的丢失和安全,不像 IPFS当节点关机文件也不存在了!
HDFS亮点 有哪些?
通讯协议,安全隐秘
所有的节点都是主动点对点P2P,融合区块链特性和机制。
P2P是一种分布式网络,网络的参与者共享他们所拥有的一部分硬件资源(处理能力、存储能力、网络连接能力、 打印机等),这些共享资源需要由网络提供服务和内容,能被其它对等节点( peer)直接访问而无需经过中间实体。 在此网络中的参与者既是资源(服务和内容)提供者( server),又是资源(服务和内容)获取者( client) RPC( Remote Procedure Call)抽象地封装了 Client Protocol和 DataNode Protocol协议。按照设计, 名字节点不会主动发起一个 RPC,它只是被动地对数据节点和客户端发起的 RPC作出反馈。
数据正确性
从数据节点上取一个文件块有可能是坏块,坏块的出现可能是存储设备错误,网络错误或者软件的漏洞。 HDFS 客户端实现了HDFS文件内容的校验。 当一个客户端创建一个HDFS文件时, 它会为每一个文件块计算一个校验码并将校验码存储在同一个HDFS命名空间下一个单独的隐藏文件中。 当客户端访问这个文件时, 它根据对应的校验文件来验证从数据节点接收到的数据。 如果校验失败,客户端可以选择从其他拥有该块副本的数据节点获取这个块。
HDFS 的完成度如何
作为一个即将上线的项目,HDFS的风头显然没有 Fecoin那么大,很多矿工心里会有疑问, Fecoin都做不出来的事情,凭什么相信你 HDFS就能够做出来?其实 HDFS是一个完成度很高的项目,不同的地方在于 HDFS坚持不公测,不预挖所以没有轰轰烈烈的公测竞赛,但是其真实的价值含量可能超出很多人的想像,目前 HDFS已经接近上线,并且用户端的 APP也接近完工,这样的完成度在业内比较罕见。
HDFS 不仅可以实现存储加密货币的买卖记载,还能存储其他类型的数据,破解当前数据存储难题,实现数据与资源的高效共享与应用,在许多行业都能有所运用。
来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/69979736/viewspace-2717685/,如需转载,请注明出处,否则将追究法律责任。